Rilevatore di caratteri invisibili e decodificatore di ASCII smuggling

Come vengono trovati i caratteri nascosti

Unicode definisce molti caratteri che non stampano nulla: spazi e joiner a larghezza zero, marcatori che invertono la direzione del testo, trattini opzionali, spazi di larghezza insolita e i caratteri tag che rispecchiano l'ASCII. Al posto giusto sono utili, in quello sbagliato sono un fastidio o un'arma. Questo strumento legge il testo un punto di codice alla volta e assegna ogni risultato a un tipo, così puoi vedere cosa c'è prima di decidere che cosa fare.

Vengono segnalati sette tipi. I caratteri a larghezza zero comprendono lo spazio a larghezza zero, i joiner e il byte order mark. I controlli della direzione del testo sono gli embedding, gli override, gli isolate e i marcatori usati negli attacchi Trojan Source al codice sorgente. I caratteri tag Unicode sono il blocco U+E0000, usato per infilare istruzioni invisibili nei testi destinati agli assistenti IA; ogni sequenza viene decodificata così puoi leggere l'ASCII che compone. I caratteri di controllo sono i codici C0 e C1 diversi da tabulazione e interruzioni di riga. Gli altri caratteri invisibili comprendono il trattino opzionale, gli operatori matematici invisibili, i caratteri di riempimento e i selettori di variazione, mentre gli spazi insoliti sono lo spazio non separabile, gli spazi em ed en e lo spazio ideografico. Infine, le parole con alfabeti misti sono parole che combinano lettere latine con lettere cirilliche, greche o armene, il modo consueto per falsificare un nome di dominio o un nome utente.

Gli spazi a larghezza zero compaiono anche nei testi generati dall'IA. Gli assistenti di chat e le pipeline di testo a volte lasciano nell'output spazi o joiner a larghezza zero, e gli stessi caratteri possono servire come filigrana invisibile, quindi una risposta incollata può portare con sé più di quanto vedi. Passare il testo da questo controllo mostra esattamente cosa vi è nascosto.

Alcuni di questi caratteri appartengono al testo vero, quindi lo strumento li lascia stare dove sono normali. Una bandiera completa di Inghilterra, Scozia o Galles (una bandiera nera seguita da alcune lettere tag e da un tag di annullamento), uno zero width joiner tra due emoji e un selettore di presentazione emoji dopo un emoji sono tutti normali. Un joiner o un non-joiner dentro parole persiane, hindi o arabe è normale anch'esso, ma viene segnalato, perché lo strumento non può conoscere la lingua del tuo testo.

La copia pulita rimuove i caratteri a larghezza zero, di direzione, tag, di controllo e gli altri caratteri invisibili. Non modifica mai le parole con alfabeti misti, perché sostituire una lettera cambierebbe il testo; correggile a mano dopo aver controllato la parola evidenziata.

Consigli

• Conta ciò che resta con il conta caratteri, che conta caratteri, byte e righe.
• Confronta l'originale con il testo pulito in Confronta testi.
• Per rimuovere ovunque un carattere specifico, usa Trova e sostituisci.