Wie kann ich UTF-8-Fehler in Ruby ersetzen, ohne in eine andere Kodierung zu konvertieren?

Question

Um einen String in UTF-8 und ersetzen Sie alle Codierungsfehler zu konvertieren, können Sie tun:

str.encode('utf-8', :invalid=>:replace) 

Das einzige Problem dabei ist, es funktioniert nicht, wenn str bereits UTF-8 ist, in denen Fall Fehler bleiben:

irb> x = "foo\x92bar".encode('utf-8', :invalid=>:replace) 
=> "foo\x92bar" 
irb> x.valid_encoding? 
=> false 

das Zitat Ruby Docs:

Bitte beachten Sie, dass die Umwandlung von einer Codierung enc auf die s eine Codierung enc ist ein No-Op, d. h. der Empfänger wird ohne irgendwelche Änderungen zurückgegeben, und es werden keine Ausnahmen ausgelöst, selbst wenn ungültige Bytes vorhanden sind.

ist die offensichtliche Abhilfe zu einer anderen Unicode-Codierung zum ersten konvertieren und dann zurück in UTF-8:

str.encode('utf-16', :invalid=>:replace).encode('utf-8') 

Zum Beispiel: zu tun

irb> x = "foo\x92bar".encode('utf-16', :invalid=>:replace).encode('utf-8') 
=> "foo�bar" 
irb> x.valid_encoding? 
=> true 

Gibt es eine bessere Art und Weise dies ohne Umwandlung in eine Dummy-Codierung?

Answer 1

Rubin 2.1 hinzugefügt eine String#scrub Methode zu ersetzen, das tut, was Sie wollen:

2.1.0dev :001 > x = "foo\x92bar" 
=> "foo\x92bar" 
2.1.0dev :002 > x.valid_encoding? 
=> false 
2.1.0dev :003 > y = x.scrub 
=> "foo�bar" 
2.1.0dev :004 > y.valid_encoding? 
=> true 

Das gleiche begehen auch die Änderungen Verhalten von encode, so dass es funktioniert, wenn die Quell- und dest-Kodierungen sind die gleichen:

2.1.0dev :005 > x = "foo\x92bar".encode('utf-8', :invalid=>:replace) 
=> "foo�bar" 
2.1.0dev :006 > x.valid_encoding? 
=> true 

Soweit ich weiß, dass es nicht in so gebaut ist, dies zu tun, bevor 2.1 etwas Abhilfe Technik verwenden, bis 2.1 freigegeben wird (sonst scrub wäre nicht erforderlich) so müssen Sie und du kannst upgraden.

Answer 2

Try this:

"foo\x92bar".chars.select(&:valid_encoding?).join 
    # => "foobar" 

Oder

"foo\x92bar".chars.map{|c| c.valid_encoding? ? c : "?"}.join 
# => "foo?bar"