Storm 1.0.2 hdfs-bolt acking Tupel, wenn keine Daten an es gesendet werden

Question

Ich habe eine Storm-Topologie implementiert, die JSON-Daten von einem Kafka-Tubus aufnimmt, über zwei Schrauben verarbeitet und dann eine Nachricht an hdfs mit dem hdfs- Bolzen. Mit Storm 0.9.6 mit Kafka 0.8.2.1 und Hadoop 2.5.0 funktionierte das perfekt. Das Produktivsystem, für das ich dies implementiert habe, aktualisiert die Tools auf Storm 1.0.2, Kakfa 0.10.1.0 und Hadoop 2.6.0. Als ich die Paketinformationen für die oben genannten Versionen aktualisiert habe, beginnt die hdfs-Schraube jetzt damit, "Geister" -Tupel anzustecken, bevor ich überhaupt irgendwelche Daten durch die Tülle gesendet habe. Es zeigt weiterhin Acks in der Benutzeroberfläche an, bis die Topologie beendet wird. Außerdem werden die Nachrichten nur manchmal in hdfs geschrieben, wenn ich Daten tatsächlich verarbeite. Meistens wird nichts ausgegeben. Irgendwelche Ideen, welche Unterschiede in den Versionen ein solches Problem verursachen würden?

Answer 1

Nicht sicher, aber es ist wahrscheinlich, dass Sie vor Tick-Tupel stehen, die auf Ihre Schrauben emittiert werden. Versuchen Sie folgende Bedingung in der Ausführungslogik hinzuzufügen, dies zu umgehen:

public void execute(Tuple tuple, BasicOutputCollector oc){  
    if (!TupleUtils.isTick(tuple)) 
    { 
     //Your code 
    } 
}