Ich teste, wie einige meiner Code fehlerhafte Daten verarbeiten, und ich brauche ein paar Reihen von Bytes, die UTF-8 ungültig sind.Beispiel ungültige utf8 Zeichenfolge?
Können Sie einige, und im Idealfall eine Erklärung, warum sie schlecht sind/wo Sie sie haben?
Werfen Sie einen Blick auf Markus Kuhn's UTF-8 decoder capability and stress test file
Sie Beispiele von vielen UTF-8 Unregelmäßigkeiten finden, einschließlich einsamen Startbytes, Fortsetzung Bytes, überlang Sequenzen fehlen, usw.
Fuzzing - erzeugt eine Zufallssequenz von Oktetten. Höchstwahrscheinlich werden Sie früher oder später illegale Sequenzen erhalten.
Es gibt nichts Schlimmeres als Heisenbugs oder Eisentests. Tests bestehen 10 Mal, Sie geben das Produkt frei, der Test schlägt fehl. –
@EricDuminil jemals von srand() gehört? – shoosh
Fair genug. Könnten Sie es bitte in der Antwort erwähnen, damit ich meinen Downvote rückgängig machen könnte? –
In PHP:
$examples = array(
'Valid ASCII' => "a",
'Valid 2 Octet Sequence' => "\xc3\xb1",
'Invalid 2 Octet Sequence' => "\xc3\x28",
'Invalid Sequence Identifier' => "\xa0\xa1",
'Valid 3 Octet Sequence' => "\xe2\x82\xa1",
'Invalid 3 Octet Sequence (in 2nd Octet)' => "\xe2\x28\xa1",
'Invalid 3 Octet Sequence (in 3rd Octet)' => "\xe2\x82\x28",
'Valid 4 Octet Sequence' => "\xf0\x90\x8c\xbc",
'Invalid 4 Octet Sequence (in 2nd Octet)' => "\xf0\x28\x8c\xbc",
'Invalid 4 Octet Sequence (in 3rd Octet)' => "\xf0\x90\x28\xbc",
'Invalid 4 Octet Sequence (in 4th Octet)' => "\xf0\x28\x8c\x28",
'Valid 5 Octet Sequence (but not Unicode!)' => "\xf8\xa1\xa1\xa1\xa1",
'Valid 6 Octet Sequence (but not Unicode!)' => "\xfc\xa1\xa1\xa1\xa1\xa1",
);
Von http://www.php.net/manual/en/reference.pcre.pattern.modifiers.php#54805
Die Idee von Mustern schlecht gebildeten Byte-Sequenzen kann aus der Tabelle der wohlgeformten Byte-Sequenzen erhalten werden. Siehe "Table 3-7. Well-Formed UTF-8 Byte Sequences" im Unicode-Standard 6.2.
Code Points First Byte Second Byte Third Byte Fourth Byte
U+0000 - U+007F 00 - 7F
U+0080 - U+07FF C2 - DF 80 - BF
U+0800 - U+0FFF E0 A0 - BF 80 - BF
U+1000 - U+CFFF E1 - EC 80 - BF 80 - BF
U+D000 - U+D7FF ED 80 - 9F 80 - BF
U+E000 - U+FFFF EE - EF 80 - BF 80 - BF
U+10000 - U+3FFFF F0 90 - BF 80 - BF 80 - BF
U+40000 - U+FFFFF F1 - F3 80 - BF 80 - BF 80 - BF
U+100000 - U+10FFFF F4 80 - 8F 80 - BF 80 - BF
Hier sind die Beispiele von U + 24B62 generiert. Ich habe sie für einen Fehlerbericht: Bug #65045 mb_convert_encoding breaks well-formed character
// U+24B62: "\xF0\xA4\xAD\xA2"
"\xF0\xA4\xAD" ."\xF0\xA4\xAD\xA2"."\xF0\xA4\xAD\xA2"
"\xF0\xA4\xAD\xA2"."\xF0\xA4\xAD\xA2"."\xF0\xA4\xAD"
Die Simplifizierung von Bytebereich Hinter ([0x80, 0xBF]) kann in den verschiedenen Bibliotheken zu sehen.
// U+0800 - U+0FFF
\xE0\x80\x80
// U+D000 - U+D7FF
\xED\xBF\xBF
// U+10000 - U+3FFFF
\xF0\x80\x80\x80
// U+100000 - U+10FFFF
\xF4\xBF\xBF\xBF
, war besonders böse. Ich sehe es auf ubuntu kombiniert.
komma breve
Mögliche Duplikat [Wirklich gut, schlecht UTF-8 Beispiel Testdaten] (http://stackoverflow.com/questions/1319022/really-good-bad-utf-8-example- Testdaten) – Claudiu