2017-05-05 3 views
-1

Kann CSV-Dateien aus dem AWS S3 Eimer direkt in ML zu konfigurierenden gehen oder tun die Dateien irgendwo und dann landen müssen die CSV-Dateien MCLP aufgenommen werden verwenden?CSV-Dateien von AWS S3 bis 8 Marklogic

Antwort

2

Angenommen, Sie haben CSV-Dateien im S3-Bucket und eine Zeile in der CSV-Datei wird als einzelner XML-Datensatz eingefügt ... das war in Ihrer Frage nicht klar, ist aber der häufigste Anwendungsfall. Wenn Sie die Dateien einfach als CSV-Dateien abrufen und persistieren möchten, gibt es undokumentierte XQuery-Funktionen, die für den Zugriff auf den S3-Bucket verwendet werden können und die Dateien aus diesem entfernen. Wie auch immer, die MLCP-Dokumente sind sehr hilfreich, um dieses sehr vielseitige und mächtige Werkzeug zu verstehen.

in die Dokumentation Laut (https://developer.marklogic.com/products/mlcp) die unterstützten Datenquellen sind:

  • lokales Dateisystem
  • HDFS
  • Marklogic Archive
  • Eine weitere Marklogic-Datenbank

Sie könnten möglicherweise montieren der S3 Bucket zu einem lokalen Dateisystem auf EC2 um die Notwendigkeit zu umgehen, die f zu machen für MLCP zugänglich. Google ist dein Freund, wenn das wichtig ist. Ich persönlich habe dafür keine produktionsstabile Methode gesehen, aber es ist lange her, seit ich es versucht habe.

Egal, müssen Sie diese Dateien auf einer unterstützte Quelle, höchstwahrscheinlich eine Position im Dateisystem in diesem Fall zur Verfügung stellen, wo MLKP ausgeführt werden kann und die Dateien erreichen. Ich nehme an, du hast damit gemeint, die Dateien irgendwo landen zu lassen. MLCP kann Dateien mit Trennzeichen im Importmodus verarbeiten. Die Dokumentation ist sehr gut für das Verständnis aller Optionen.