0
Ich versuche, Daten von Kafka (schließlich werden wir kafka auf einer anderen Instanz ausgeführt) zu hdfs senden. Ich denke, Gerinne oder eine Art von Ingestion-Protokoll ist notwendig, um Daten in hdfs zu bekommen. Also benutzen wir Cloudera's Kanalservice und HDFs.Brauchen Sie Hilfe Debugging Kafka Quelle zu hdfs sinken mit Gerinne
Dies ist meine Datei "rume-conf". Die andere conf-Datei ist leer
tier1.sources=source1
tier1.channels=channel1
tier1.sinks=sink1
tier1.sources.source1.type=org.apache.flume.source.kafka.KafkaSource
tier1.sources.source1.zookeeperConnect=localhost:2181
tier1.sources.source1.topic=test
tier1.sources.source1.groupId=flume
tier1.sources.source1.channels=channel1
tier1.sources.source1.interceptors=i1
tier1.sources.source1.interceptors.i1.type=timestamp
tier1.sources.source1.kafka.consumer.timeout.ms=100
tier1.channels.channel1.type=memory
tier1.channels.channel1.capacity=10000
tier1.channels.channel1.transactionCapacity=1000
tier1.sinks.sink1.type=hdfs
tier1.sinks.sink1.hdfs.path=/tmp/kafka/test/data
tier1.sinks.sink1.hdfs.rollInterval=5
tier1.sinks.sink1.hdfs.rollSize=0
tier1.sinks.sink1.hdfs.rollCount=0
tier1.sinks.sink1.hdfs.fileType=DataStream
Wenn ich einen kafka Verbraucher beginnen, es Nachrichten von einem kafka Hersteller bekommen kann ganz gut auf localhost: 2181. Aber ich sehe keine Fehler von dem Kanalagent und nichts wird in HDFs geschrieben. Ich kann auch keine Log-Dateien finden.
So starte ich den Agenten.
flume-ng agent --conf /opt/cloudera/parcels/CDH-5.7.0-1.cdh5.7.0.p0.45/lib/flume-ng/conf --conf-file flume-conf --name agent1 -Dflume.root.logger=DEBUG,INFO,console
Hilfe bitte?