Ressourcen überschritten während Abfrageausführung

Question

Ich versuche, eine Abfrage zu führen, die 2 große Sätze von Daten verbindet, und ich treffe die Ressourcen überschritten während der Abfrage Ausführungsfehler. Ich habe gelesen, dass es Arbeit gibt, wenn Sie Join Each und Group Each verwenden, aber nicht, was diese Workaround wäre.

SELECT 
    year(users.firstseen) as first_year, 
    month(users.firstseen) as first_month, 
    DATEDIFF(orders.timestamp,users.firstseen) as days_elapsed, 
    count(orders.user_key) as count_orders 
FROM 
    [project.orders] as orders 
JOIN EACH 
    [project.users] AS users 
ON 
    orders.user_key = users.user_key 
WHERE orders.store = 'ios' 
GROUP EACH BY 1,2,3 

Edit: das bearbeitete folgende:

SELECT 
    year(users.firstseen) as firstyear, 
    month(users.firstseen) as firstmonth, 
    DATEDIFF(orders.timestamp, users.firstseen) as days_elapsed, 
    COUNT(users.firstseen) AS count_orders FROM [project.orders] as orders 
JOIN EACH(SELECT user_key, firstseen FROM [project.users] 
WHERE store_key = 'ios') as users ON orders.user_key = users.user_key 
GROUP BY firstyear, firstmonth, days_elapsed 
ORDER BY firstyear, firstmonth, days_elapsed 

Answer 1

EACH JOIN kann fehlschlagen, wenn Sie Ihre Schlüssel kommen (in diesem Fall user_key) sind ungleich verteilt. Wenn beispielsweise ein Benutzerschlüssel ungewöhnlich oft angezeigt wird, erhalten Sie vom Knoten, der diesen Schlüssel verarbeitet, den Fehler "Ressourcen überschritten". Alternativ können Sie versuchen, die Abfrage über einen kleineren Satz von Benutzerschlüsseln auszuführen, indem Sie einen Teil der Benutzerschlüssel vor dem Join ausfiltern.

Gruppe EACH BY kann fehlschlagen, wenn Sie zu viele verschiedene Gruppenschlüssel haben. Sie könnten versuchen, die Join-Ausgabe zu verkleinern, indem Sie einige weitere WHERE-Klauseln hinzufügen, um zu sehen, ob dies der Fall ist.

Grundsätzlich würde ich empfehlen, die Eingaben entweder auf JOIN EACH oder GROUP EACH BY zu reduzieren, bis die Abfrage funktioniert, und dann haben Sie ein besseres Gespür für die Limits, mit denen Sie konfrontiert werden . Sobald Sie das wissen, können Sie (hoffentlich) Ihre Abfragen strukturieren, um die verfügbaren Ressourcen optimal zu nutzen.

(BTW, wir erwarten, dass diese Operationen in der nahen Zukunft abzustimmen einige der Grenzen entfernen Sie schlagen können!)