So löschen Sie doppelte Datensätze aus der Hive-Tabelle?

Question

Ich versuche zu lernen, doppelte Datensätze aus einer Hive-Tabelle zu löschen.

My Hive Tabelle: ‚dynpart‘ mit Spalten: ID, Name, Technologie

Id Name Technology 
1 Abcd Hadoop 
2 Efgh Java 
3 Ijkl MainFrames 
2 Efgh Java 

Wir haben Optionen wie ‚Distinct‘ in einer Auswahlabfrage zu verwenden, aber eine ausgewählte Abfrage ruft nur Daten aus der Tabelle . Kann jemand sagen, wie man eine Löschungabfrage benutzt, um die doppelten Zeilen von einer Hive Tabelle zu entfernen.

Sicher, dass es nicht empfohlen oder nicht der Standard zum Löschen/Aktualisieren von Datensätzen in Hive. Aber ich möchte lernen, wie wir es machen.

Answer 1

Sie können Insert überschreiben verwenden Auszugsdaten zu aktualisieren

insert overwrite table dynpart select distinct * from dynpart; 

Answer 2

Sie verschiedene Datensätze in einer anderen Tabelle einfügen können

create table temp as select distinct * from dynpart