So erzwingen Sie, dass Zeilen gleichmäßig verteilt werden, um in einer partitionierten Tabelle von einer anderen Tabelle unter den Reduzierern Zeilen zu verteilen, um die Leistung zu verbessern

Question

Ich möchte in eine partitionierte Strukturtabelle aus einer anderen Strukturtabelle einfügen. Die Daten werden in einer einzigen Partition in der Zieltabelle gespeichert. Das Problem ist, dass alle Reduzierstücke sehr schnell fertig sind, aber einer der Reduzierstücke nimmt viel Zeit in Anspruch, da alle Arbeiten an diesen einzelnen Reduzierer gehen.

Ich möchte einen Weg finden, eine Arbeit gleich verteilt unter allen Reduzierern zu setzen. Gibt es einen Weg dazu? Wie kann ich die Leistung des Insert-Überschreibens verbessern?

Quelle Tabelle DDL:

CREATE EXTERNAL TABLE employee (id INT,first_name String,latst_name String,email String,gender String) STORED AS TEXTFILE '/emp/data' 

TARGET DDL TABLE:

CREATE EXTERNAL TABLE employee_stage (id INT,first_name String,latst_name String,email String,gender String) PARTITIONED BY (batch_id bigint) STORED AS ORC LOCATION '/stage/emp/data' 

ist hier, um die Daten-Snapshot

1 Helen Perrie hperrie0@lulu.com Female 
2 Rafaelita Jancso rjancso1@cdbaby.com Female 
3 Letti Kelley lkelley2@slideshare.net Female 
4 Adela Dmisek admisek3@state.gov Female 
5 Lay Reyner lreyner4@wired.com Male 
6 Robby Felder rfelder5@microsoft.com Male 
7 Thayne Brunton tbrunton6@sun.com Male 
8 Lorrie Roony lroony7@oracle.com Male 
9 Hodge Straun hstraun8@w3.org Male 
10 Gawain Tomblett gtomblett9@toplist.cz Male 
11 Carey Facher cfachera@ca.gov Male 
12 Pamelina Elijahu pelijahub@goo.ne.jp Female 
13 Carmelle Dabs cdabsc@bizjournals.com Female 
14 Moore Baldrick mbaldrickd@yandex.ru Male 
15 Sheff Morin smorine@purevolume.com Male 
16 Zed Eary zearyf@livejournal.com Male 
17 Angus Pollastrone apollastroneg@wikispaces.com Male 
18 Moises Hubach mhubachh@usnews.com Male 
19 Lilllie Beetham lbeethami@diigo.com Female 
20 Mortimer De Hooge mdehoogej@ucoz.com Male 

Die Quelltabelle mehr als 100 Millionen Datensätze enthält.

Hier ist die Hql, die ich verwende.

insert overwrite table employee_stage 
PARTITION (batch_id) 
SELECT 
    id, 
    first_name, 
    latst_name, 
    email, 
    gender, 
    123456789 as batch_id 
FROM employee; 

Die Daten werden in einer einzigen Partition gespeichert.

Bitte lassen Sie mich in diesem Zustand wissen, wie kann ich die Leistung verbessern? Gibt es eine Möglichkeit, die Zeilen gleichmäßig auf alle Reduzierungen zu verteilen?

Answer 1

Ich nehme an, Sie tun keine Joins oder andere schwere Transformationen in Ihrer insert overwrite Abfrage und Skew ist wirklich während des Einfügens passiert. Denn wenn du das tust, sollte die Frage nicht über Einfügen sein.

Versuchen Sie, distribute by batch_id Ihrer Einfügeabfrage hinzuzufügen und erneut auszuführen. Wenn Sie immer noch mit Schräglauf laufen, überprüfen Sie Ihre Daten. Es gibt zu viele Daten für eine bestimmte batch_id oder vielleicht haben Sie eine Menge Nullen. Es gibt verschiedene Ansätze, mit schiefen Daten umzugehen. Eine davon besteht darin, schiefe Schlüssel herauszufiltern und sie separat zu laden. Überprüfen Sie, dass die lang laufenden Reduziergeräte den Job-Tracker protokollieren. Dadurch erhalten Sie mehr Informationen darüber, wo ein Problem besteht.