Strukturvalidierung für Binärdateien

Question

Ich untersuche Möglichkeiten zur formellen Spezifikation des Formats für verschiedene binäre Datenströme und verwende ein Tool, um Datenströme auf Einhaltung der Spezifikation zu überprüfen. Etwas wie XSD + eines der Validierungstools für XML. Oder wie extrem komplizieren grep Ausdruck arbeiten auf einer binären Ebene (vorzugsweise nicht - das wäre wirklich schwer zu lesen).

Kennt jemand eine Spezifikation/Werkzeug, das nützlich wäre?

[Begründung: Wir erhalten viele von Drittanbietern generierte Binärdateien auf einer täglichen Basis und oft verwenden sie schlechte Werkzeuge, die ungültige Dateien erzeugen. Wir wollen, dass sie ein Werkzeug geben, die sie als Prüfung nutzen könnten, und wir wollen kein spezielles Werkzeug für jedes Format schreiben]

Answer 1

Wenn Sie denken, Java Class-Dateien Dokumentation ein gutes Beispiel für eine Spezifikation ist, zu überdenken betrachten Preon. Preon ist capturing it entirely und generiert Dokumentation wie this.

Es gibt tatsächlich ein paar andere Initiativen zur Erfassung der 'Syntax' von binär kodierten Dateien. ASN.1 ist nützlich, aber es bringt Ihnen nicht viele Kilometer, wenn Sie beispielsweise Java-Klassendateien erfassen möchten. Das Gleiche gilt für BSDL, Flavor, BFlavor und einige andere Initiativen.Problem ist: Es gibt eine Million Möglichkeiten, binäre Daten zu verschlüsseln, viele binäre Komprimierungstechniken, und ich denke, das bedeutet, dass nie etwas sein wird, das es vollständig erfasst, es sei denn, die Sprache selbst ist erweiterbar.

Google-Protokoll-Puffer hat grundsätzlich das gleiche Problem. Es definiert so etwas wie Corbas CDR, und es ist gut, solange Sie nicht etwas fortgeschritteneres brauchen. Mit Google-Protokollpuffern können Sie das Klassendateiformat von Java nicht erfassen.

Answer 2

Ich denke, ein gutes Beispiel dafür ist die Spezifikation der Java Class-Dateien. http://java.sun.com/docs/books/jvms/second_edition/html/ClassFile.doc.html

Answer 3

Abstrakte Syntax Notation One: ASN.1. Siehe auch die NCBI Toolbox: http://www.ncbi.nlm.nih.gov/Sitemap/Summary/asn1.html

Answer 4

Dies ist eine interessante Frage, aber ich wäre sehr überrascht, wenn eine solche Spezifikationssprache existiert. Dies liegt daran, dass die Metastruktur-Möglichkeiten von Binärdateien effektiv unendlich sind. Vergleichen Sie dies mit XML, wobei die Meta-Struktur (Tags enthalten andere Tags, nur ein Attribut kann einen Namen haben usw.) streng spezifiziert ist. Und selbst mit dieser Struktur ist es schwierig, XML-Schemas zu schreiben! Der einzige Weg, wie ich mit den unendlichen Möglichkeiten binärer Dateiformate umgehen kann, ist, etwas zu verwenden, das selbst unendliche Variabilität erlaubt - eine Turing-vollständige Programmiersprache.

Das ist natürlich nicht zu sagen, dass für Ihre spezielle Problemdomäne eine nützliche Spezifikationssprache und ein Prozessor dafür nicht produziert werden konnte. Ich denke nur, dass es dir schwer fallen wird, einen vorgefertigten zu finden. Ich hoffe, die Antworten hier beweisen, dass ich falsch liege!

Answer 5

geben einen Versuch zu Preon:

• Annotations angetrieben
• Teile conditionals
• Ausdruckssprache

jeweils kommentierten Klasse ist eine Codec Beschreibung, die sowohl eine Encoder erzeugen kann, und a Decoder.

Answer 6

auch zu prüfen Google Protocol Buffers:

• Java/Python/C++ APIs
• schön DSL