Unterschied zwischen Kafka und Kafka Direct?

Question

Gibt es einen Unterschied zwischen Kafka und Kafka direkt? Wenn es welche gibt, wann sollte man statt einer anderen verwendet werden und was werden die Vorteile sein?

Answer 1

kafka direct ist eine Optimierung, die bessere Fehlertoleranzgarantien und stärkere Zuverlässigkeitssemantik über die Zeit bietet.
Park 1.2 eingeführt Write Ahead Logs. Es stellt sicher, dass keine Daten, die von irgendwelchen zuverlässigen Datenquellen (d. H. Transaktionsquellen wie Flume, Kafka und Kinesis) empfangen werden, aufgrund von Fehlern verloren gehen (d. H. Mindestens einmalige Semantik). Sogar für unzuverlässige (d. H. Nicht-transaktionale) Quellen wie einfache alte Sockets minimiert es Datenverlust. beziehen sich auf diese link für ein besseres Verständnis

Answer 2

New Direkt API für Kafka - So kann jeder Kafka Rekord genau trotz Ausfälle einmal bearbeitet werden, ohne dass Ahead Logs mit schreiben. Dies macht Spark Streaming + Kafka-Pipelines effizienter und bietet gleichzeitig höhere Fehlertoleranzgarantien.