Wie konvertiert man die Zeichencodierung mit Rubin 1.9

Question

Ich habe derzeit Probleme mit den Ergebnissen der Amazon API.

der Dienst gibt einen String mit Unicode-Zeichen: Lernen Objective \ xE2 \ x80 \ x93C auf dem Mac (Learn Series)

mit Ruby 1.9.1 die Zeichenfolge konnte nicht einmal verarbeitet worden:

REXML::ParseException: #<Encoding::CompatibilityError: incompatible encoding regexp match (UTF-8 regexp with ASCII-8BIT string)> 

... 

Exception parsing 

Line: 1 

Position: 1636 

Last 80 unconsumed characters: 

Learn Objective–C on the Mac (Learn Series) 

Answer 1

Wie die Ausnahme angibt, ist Ihre Zeichenfolge ASCII-8BIT-codiert. Sie sollten die Codierung ändern. Es gibt eine long story darüber, aber wenn Sie Interesse an schnellen Lösung sind, nur force_encoding auf der Saite, bevor Sie tun, um jede Verarbeitung:

s = "Learn Objective\xE2\x80\x93C on the Mac" 
# => "Learn Objective\xE2\x80\x93C on the Mac" 
s.encoding 
# => #<Encoding:ASCII-8BIT> 
s.force_encoding 'utf-8' 
# => "Learn Objective–C on the Mac" 

Answer 2

Mladen Lösung funktioniert, wenn alles, was tatsächlich in ASCII-8BIT codiert wird, umgewandelt werden direkt zu UTF-8. Es bricht ab, wenn Zeichen vorhanden sind, die 1) ungültig oder 2) undefiniert in UTF-8 sind. Allerdings wird diese Arbeit (in 1.9.2 oder höher.

new_str = s.encode('utf-8', 'binary', :invalid => :replace, 
    :undef => :replace, :replace => '') 

ASCII-8BIT ist effektiv binär Dieser Code konvertiert die Kodierung UTF-8, während ordnungsgemäß mit ungültigen und nicht definierte Zeichen Umgang Der. Ungültige Option gibt an, dass ungültige Zeichen ersetzt werden sollen Die Option: undef legt fest, dass undefinierte Zeichen ersetzt werden sollen und die Option: replace legt fest, durch welche ungültigen oder undefinierten Zeichen ersetzt werden soll In diesem Fall habe ich mich dafür entschieden, sie einfach zu entfernen