Kafka Verbindung (Single-Nachricht-Transformation) row Filterung

Question

las ich über Kafka Transformationen in kafka eingeführt verbinden 0.10.2.1 https://kafka.apache.org/documentation/#connect_transforms

I bemerkt, daß alle Transformationen Spalte basierend Transformationen sind. Ich habe einen Anwendungsfall, wo ich Wert-basierte Filterung brauche. Zum Beispiel:

betrachten Sie den folgenden Datensatz von einer Gruppe von Menschen:

{"firstName": "FirstName1", "lastName": "LastName1", "age": 30} 
{"firstName": "FirstName2", "lastName": "LastName2", "age": 30} 
{"firstName": "FirstName3", "lastName": "LastName1", "age": 60} 
{"firstName": "FirstName4", "lastName": "LastName2", "age": 60} 

ich meine Arbeiter will alle diese Datensätze filtern, dessen nachName ist LastName2

Ist es möglich, mit kafka-Verbindung oder I müssen ein separates Programm für diesen Anwendungsfall schreiben.

Dank

Answer 1

gibt keinen Grund, warum Sie das nicht mit Einzelmeldung Wandelt lösen könnte - aber Sie würden ein kundenspezifisches da schreiben müssen, was Sie beschreiben, durch die Transformationen nicht verfügbar ist zur Zeit ausgeliefert.

Dies ist ein nützliches Gespräch hier auf, wenn zu verwenden, und nicht zu verwenden, SMTs: Kafka Summit New York 2017 : Single Message Transformations Are Not the Transformations You’re Looking For (Ewen Cheslack-Postava, Confluent)