Löschen Sie Nicht-UTF-Zeichen aus einer Zeichenfolge in Ruby?

Question

Wie lösche ich Nicht-UTF8-Zeichen aus einer Ruby-Zeichenfolge? Ich habe eine Zeichenfolge, die zum Beispiel "xC2" enthält. Ich möchte dieses Zeichen aus der Zeichenfolge entfernen, so dass es ein gültiges UTF8 wird.

Dies:

text.gsub!(/\xC2/, '') 

gibt einen Fehler zurück:

incompatible encoding regexp match (ASCII-8BIT regexp with UTF-8 string) 

Ich war auf der Suche text.unpack ('U *') und string.pack als gut, aber nicht überall.

Answer 1

Sie können /n, wie in

text.gsub!(/\xC2/n, '') 

um die Regexp Gewalt auf Bytes zu betreiben.

Sind Sie sicher, dass dies das ist, was Sie wollen? Jedes Unicode-Zeichen im Bereich [U + 80, U + BF] hat eine \xC2 in seiner UTF-8-codierten Form.

Answer 2

Sie könnten es tun, wie diese

# encoding: utf-8 

class String 
    def validate_encoding 
    chars.select(&:valid_encoding?).join 
    end 
end 

puts "testing\xC2 a non UTF-8 string".validate_encoding 
#=>testing a non UTF-8 string 

Answer 3

Versuchen Iconv

1.9.3p194 :001 > require 'iconv' 
# => true 
1.9.3p194 :002 > string = "testing\xC2 a non UTF-8 string" 
# => "testing\xC2 a non UTF-8 string" 
1.9.3p194 :003 > ic = Iconv.new('UTF-8//IGNORE', 'UTF-8') 
# => #<Iconv:0x000000026c9290> 
1.9.3p194 :004 > ic.iconv string 
# => "testing a non UTF-8 string" 

Answer 4

Sie kodieren für das verwenden können. text.encode('UTF-8', :invalid => :replace, :undef => :replace)

Für weitere Informationen schauen Sie in Ruby-Docs

Answer 5

data = '' if not (data.force_encoding("UTF-8").valid_encoding?) 

Answer 6

Die beste Lösung für dieses Problem, das ich gefunden habe, diese Antwort auf die gleiche Frage ist: https://stackoverflow.com/a/8711118/363293.

Kurz: "€foo\xA0".chars.select(&:valid_encoding?).join

Answer 7

Sie Text haben ASCII-8BIT Codierung, stattdessen sollten Sie verwenden:

String.delete!("^\u{0000}-\u{007F}"); 

Es wird den gleichen Zweck durchtrennen.