So konvertieren Sie Textdatei in Avro in Apache NIFI

Question

Wir versuchen, Textdatei (Komma getrennt) in avro mit ConvertCSVToAvro in Nifi konvertieren, aber Ausgabe ist eine Textdatei von ConvertCSVToAvro Prozessor.

Answer 1

Hallo @Teekoji Rao BeLkAr,

konvertieren csv zu Avro,

1. Sie müssen den Text zuerst als Zeile für Zeile mit SplitText Prozessor aufgeteilt.
2. Verwenden Sie Regex, um Werte mithilfe des ExtractText-Prozessors zu extrahieren. Es werden Werte als Attribute für die einzelnen Flussdateien ausgegeben.
3. ReplaceText-Prozessor zum Ersetzen der Attribute als Inhalt des Flowfiles.
4. InferAvroSchema-Prozessor, um Schema des Flowfile-Inhalts zu erhalten.

5. ConvertCSVToAvro Prozessor die Flowfile Inhalt in Avro Format Hinweis zu konvertieren: - i Rohr verwendet haben (|) als Trennzeichen in ReplaceText Prozessor für Neuwert, können Sie einen beliebigen Trennzeichen verwenden, wie Sie möchten. Aber das Trennzeichen muss mit InferAvroSchema csv-Header Definition

   Alle Konfigurationen für die Prozessoren in der Verbindung erwähnt werden, entsprechen,

https://community.hortonworks.com/questions/131332/nifi-convert-text-file-consisting-of-key-value-pai.html?childToView=131440#answer-131440][1]