confluent-3.2.0 S3 Standardeinstellungen der Connector-Verbindung

Question

Ich konnte erfolgreich meinen Themendatenstrom in meinen S3-Bucket schreiben, die Daten sind jedoch numerisch nummeriert (Partition = 0).

Stromanzeige: (Amazon S3> bucket-name> Themen> test> partition = 0

Ist es möglich, die Daten nach Datum (yyyy-mm-dd) Und wenn ja, wo wäre zu partitionieren das? Konfiguration der Standardpartitionseinstellungen außer Kraft zu setzen.

Vielen Dank für Ihre Hilfe, Warsame

Answer 1

Wie in der documentation erwähnt, hat der Verbinder einen steckbaren Partitionierungs und einen eingebauten in TimeBasedPartitioner, die die Daten auf der Basis der Einnahme partitionieren Die verschiedenen partitioner configuration parameters al Sie können Dinge wie die Verzeichnisstruktur steuern. Es gibt sogar eine DailyPartitioner, die eine Spezialisierung von TimeBasedPartitioner ist, die eine Pfadstruktur wie /year=2017/month=12/day=07 erzeugt.

Wenn nichts davon funktioniert, haben Sie immer die Möglichkeit, eine benutzerdefinierte Partitioner Klasse zu implementieren oder die TimeBasedPartitioner Klasse (oder eine ihrer Unterklassen) zu spezialisieren, wenn das einfacher ist.