YAML-Datenaustausch Probleme zwischen Perl und Ruby

Question

Ich habe Probleme mit Daten zwischen Perl und Ruby über YAML ausgetauscht werden. Ich habe einige Werte, die wie Nummer: Nummer aussehen, z. B. 1:16.

Perls YAML-Bibliotheken (Tiny und XS) codieren dies als 1:16 ohne Anführungszeichen. Rubys YAML-Bibliothek (Psych) interpretiert dies nicht als String, sondern wird stattdessen zum Fixnum-Wert 4560. Ich kann nicht herausfinden, wie man dieses Umwandlungsproblem auf beiden Seiten beheben kann.

Jeder Wert in der YAML für meinen Anwendungsfall sollte ein Objekt oder eine Zeichenfolge sein. Also könnte ich der Perl YAML-Bibliothek sagen, alle Werte zu zitieren, wenn eine solche Option existiert. Oder gibt es eine Möglichkeit, der Ruby YAML-Bibliothek mitzuteilen, alle Werte als Zeichenfolgen zu interpretieren? Irgendwelche Ideen?

Das Ändern der Sprache auf beiden Seiten ist logistisch keine Option.

Perl:

use YAML::XS qw(DumpFile); 
my $foo={'abc'=>'1:16'}; 
DumpFile('test.yaml',$foo); 

Rubin:

require('yaml') 
foo=YAML.load_file('test.yaml') 
puts(foo['abc']) 

Der Code Ruby 4560 drucken. Einer der Kommentare herausgefunden, wie Sie 4560 von 1:16 bekommen, es ist 1 Stunde, 16 Minuten in Sekunden umgewandelt. Äh, okay.

Answer 1

Nach dem Yaml 1.1 spec, 1:16 eine ganze Zahl in sexagesimal (Basis 60) Format.

Siehe auch http://yaml.org/type/int.html, die sagt:

Verwendung „:“ ermöglicht es ganze Zahlen in der Basis 60, die für die Zeit und Winkelwerte bequem ausdrücken.

Der Yaml Parser in Ruby enthalten, Psych, recognises this format and converts the value into an integer (zu Unrecht, shoud 1:16 71 sein - der Code Psych scheint zu asume, dass alle diese Werte in Form a:b:c sein wird, aber die Regex erzwingt nicht das). Der Perl-Emitter (zumindest YAML :: XS, den ich getestet habe) erkennt dieses Format nicht, daher zitiert er die Zeichenkette nicht beim Schreiben der Datei. YAML :: XS tut erkennen und zitieren einige Ganzzahlen, aber nicht alle. YAML :: XS erkennt auch nicht viele andere Formate (z. B. Daten), die Psych tut.

(Es scheint, dass das sexagesimal Format has been removed from the Yaml 1.2 spec.)

Psych ziemlich viel Flexibilität in seiner Analyse ermöglicht - YAML.load_file ist nur eine einfache Schnittstelle für die gemeinsamen Anwendungsfälle.

Sie könnten die parse Methoden von Psych verwenden, um eine Baumdarstellung des yaml zu erstellen, und diese dann in eine Ruby-Datenstruktur mit einer benutzerdefinierten ScalarScanner konvertieren (das Objekt, das Zeichenfolgen bestimmter Formate in den entsprechenden Ruby-Typ konvertiert). :

require('yaml') 

class MyScalarScanner < Psych::ScalarScanner 
    def tokenize string 
    #this is the same regexp as Psych uses to detect base 60 ints: 
    return string if string =~ /^[-+]?[0-9][0-9_]*(:[0-5]?[0-9])+$/ 
    super 
    end 
end 

tree = YAML::parse_file 'test.yaml' 
foo = Psych::Visitors::ToRuby.new(MyScalarScanner.new).accept tree 

Dies ist im Grunde der gleiche Prozess, wenn Sie YAML.load_file verwenden, außer dass es nutzt die angepasste Scanner Klasse auftritt. Eine ähnliche Alternative wäre, ScalarScanner zu öffnen und die tokenize Methode durch die angepasste zu ersetzen. Dies würde ermöglichen es Ihnen, die einfachere load_file Schnittstelle zu verwenden, aber mit den üblichen Warnungen über Klassen Affe Patchen:

class Psych::ScalarScanner 
    alias :orig_tokenize :tokenize 
    def tokenize string 
    return string if string =~ /^[-+]?[0-9][0-9_]*(:[0-5]?[0-9])+$/ 
    orig_tokenize string 
    end 
end 

foo = YAML.load_file 'test.yaml' 

Beachten Sie, dass diese Beispiele berücksichtigen ausschließlich die Werte mit einem Format wie 1:16. Je nachdem, was Ihr Perl-Programm ausgibt, müssen Sie möglicherweise auch andere Muster überschreiben. Eine besonders, die Sie vielleicht betrachten möchten, ist Sexagesimal Floats (z. B. 1:16.44).

Answer 2

Ruby interpretiert alle YAML-Einträge als Zeichenfolgen, es sei denn, sie passen a handful of special formats. Der Eintrag 1:16 sieht so aus, als ob er für eine bestimmte Zeit dem speziellen Format entspricht, also interpretiert Ruby ihn falsch.

Sie müssen Ruby zwingen, das Feld als Zeichenfolge zu interpretieren. Es gibt zwei Möglichkeiten, dies zu tun. Eine der folgenden YAML Ausgänge sollten Sie das Ergebnis geben, dass Sie wollen:

abc: !str 1:16 
abc: '1:16' 

diese Ausgabe erzeugen, versuchen Sie die folgenden Perl-Code:

my $foo={'abc'=>'!str 1:16'}; 
my $foo={'abc'=>"'1:16'"}; 

Update: Ich konnte passieren Daten zwischen Perl und Ruby mit dem folgenden Code:

Perl:

use YAML::XS qw(DumpFile); 
my $foo={'abc'=>'1:16'}; 
DumpFile('test.yaml',$foo); 

Rubin:

require 'yaml' 
foo=YAML.parse_file('test.yaml') 
foo['abc'].value 
=> "1:16" 
foo['abc'].value.class 
=> String 

Das Ergebnis ist ein wenig komplizierter als die einfache Hash zu verwenden, die load_file zurückkehrt, aber es sieht aus wie es zumindest ist wie erwartet Parsen der Datei.

Answer 3

Es gibt einen Fehler im Parser, den Sie verwenden. Es scheint zu denken, 1:16 ist eine Art Zeit (seit 4560 ist die Anzahl der Sekunden in einer Stunde und 16 Minuten), aber ich finde nichts, das diese Interpretation bestätigt.

Die beste Lösung wäre, einen Parser zu verwenden, der nicht fehlerhaft ist.

libyaml, verwendet von YAML :: XS, hat angeblich Ruby Bindings.

libsyck, von YAML :: Syck verwendet, hat angeblich Ruby Bindings.

Eine Alternative besteht darin, YAML zu generieren, wo die Strings immer in Anführungszeichen stehen (oder zumindest dann, wenn sie als Zeit behandelt werden).

YAML::Syck hat eine Option, genau das zu tun.

$ perl -e' 
    use YAML::Syck qw(Dump); 
    local $YAML::Syck::SingleQuote = 1; 
    print(Dump({abc=>"1:16"})); 
' 
--- 
"abc": '1:16' 

(Sie wissen nicht, wie ich diese Option früher verpasst!)