HIVE: Count distinct Fensterfunktion wirft Fehler

Question

Ich versuche, die Anzahl der Fensterfunktionen im Bienenstock zu unterscheiden und Fehler zu bekommen.

Die Abfrage wird wie folgt verwendet:

select user, dt, count(distinct dt) over(partition by user) as dates 
FROM table 

Es führt den folgenden Fehler:

FAILED: SemanticException [Error 10025]: Line 1:123 Expression not in GROUP BY key 'user' 

Ich denke, dass ich die Syntax verwenden wie im Bienenstock angegeben language manual

Was genau mache ich falsch?

Answer 1

Zwei Möglichkeiten,

1. Sie nicht user und dt in Ihrer Abfrage auswählen können, wenn distinct verwenden, entfernen user und dt die Abfrage gut funktionieren wird.

2. Sie können nicht distinct in diesem Kontext verwenden, wenn Sie distinct in der obigen Abfrage entfernen, wird dies gut funktionieren. Wenn Sie die verschiedenen und seine Zählung nehmen möchten, können Sie für Sub-Abfrage wie unten gehen,

   select dates.distinct dt from (select dt, count(distinct dt) over(partition by user) as dates FROM table)

Lassen Sie mich wissen, ob das hilft.

Answer 2

Die folgende Lösung funktioniert wie eine Zählung. Die dichte Rangfunktion gibt einen Rang für distinkte c innerhalb der Partitionen. Die höchste dichte Rangnummer ist die Anzahl der einzelnen Einträge von c. Nein ruhig die beste Leistung durch die Durchführung von zwei Fensterfunktionen, aber für mich war es die einzige Möglichkeit, es auf Hive < 2.1.0 zu arbeiten.

select src.a, src.b, src.c, max(src.cnt_dens_rank) over (PARTITION BY src.a, src.b) as cnt_distinct 
from 
(
select a, b, c, DENSE_RANK () OVER (PARTITION BY a, b order by c) cnt_dens_rank 
) src