Apache Flume + Hdfs Waschbecken

Question

Können wir ein Trennzeichen für HDFS Sink hinzufügen? Wann wird eine Datei geschrieben, wie können wir einen Datensatztrenner hinzufügen?

Im Folgenden sind die Konfiguration: -

tier1.sinks.hdfssink.type = hdfs 
tier1.sinks.hdfssink.channel = memory 
tier1.sinks.hdfssink.hdfs.path=tmp/kafka/%{topic}/%y-%m-%d 
tier1.sinks.hdfssink.hdfs.rollSize=268435456 
tier1.sinks.hdfssink.hdfs.rollCount=0 
tier1.sinks.hdfssink.hdfs.rollInterval = 0 
tier1.sinks.hdfssink.hdfs.useLocalTimeStamp=true 
tier1.sinks.hdfssink.hdfs.fileType=DataStream 
tier1.sinks.hdfssink.hdfs.inUseSuffix=.tmp 
tier1.sinks.hdfssink.hdfs.batchSize=10000 

Answer 1

Ich würde zuneigen eine Flume EventSerializer mit deren Konfiguration ähnlich wäre als diese:

tier1.sinks.hdfssink.serializer = <your serialization class> 
tier1.sinks.hdfssink.serializer.delimiter = < your delimiter> 

Sie könnten die folgende Github-Website für Details verweisen und Code-Schnipsel.

https://github.com/relistan/flume-serializers

Hope this Hilfe!