google-hadoop

9Hitze

1Antwort

Ich kann keine Google Storage-Datei mit GSC-Connector von Spark verbinden

Ich habe einen Spark-Job auf meinem lokalen Rechner geschrieben, der die Datei aus Google Cloud-Speicher mit google hadoop-Connector wie gs: //storage.googleapis.com/ als liest erwähnt in https://clou

java apache-spark google-cloud-storage service-accounts google-hadoop 2017-09-25

---

0Hitze

1Antwort

Google Cloud Connector für Hadoop funktioniert nicht mit Pig

Ich verwende Hadoop mit HDFS 2.7.1.2.4 und Pig 0.15.0.2.4 (Hortonworks HDP 2.4) und versuche Google Cloud Storage Connector for Spark and Hadoop (bigdata-interop auf GitHub) zu verwenden . Es funktion

hadoop apache-pig google-hadoop 2016-04-13

---

0Hitze

1Antwort

Google Hadoop-Dateisystem-Verschlüsselung

Im normalen Betrieb einen Verschlüsselungsschlüssel zum Google-Speichern api zur Verfügung stellen kann eine bestimmten Eimer/Blob zu verschlüsseln: https://cloud.google.com/compute/docs/disks/custome

google-cloud-platform google-cloud-dataproc google-hadoop 2017-02-20

---

2Hitze

1Antwort

Lesen von BigQuery in Spark auf effiziente Weise?

Bei der Verwendung von BigQuery Connector zum Lesen von Daten aus BigQuery habe ich festgestellt, dass alle Daten zuerst in Google Cloud Storage kopiert werden. Dann liest diese Daten parallel in Spar

apache-spark google-bigquery google-cloud-dataproc google-hadoop 2017-01-04

---

9Hitze

1Antwort

BigQuery Connector für pyspark über Hadoop Input Format Beispiel

Ich habe eine große Datenmenge in einer BigQuery-Tabelle gespeichert und möchte es in eine pypark RDD für ETL-Datenverarbeitung laden. I erkennen, dass die BigQuery Hadoop Input/Output-Format https://

apache-spark google-bigquery pyspark google-hadoop google-cloud-dataproc 2015-07-14

---