Wie implementiert man "Group-by" Sampling in Hive?

Question

einen Hive Tabelle:

create table mock 
(user string, 
url string 
); 

Wie für jederuser einen bestimmten Prozentsatz der url (etwa 50%) oder bestimmte Anzahl von url probieren?

Answer 1

Es gibt eine built-in query, um Proben aus einer Tabelle zu extrahieren.

SELECT * FROM mock TABLESAMPLE(50 PERCENT) 

Hier ist eine alternative Lösung mit row_number(). Erste Nummer jeweils Reihen für jeden Benutzer

with numbered as (
    SELECT user, url, row_number() OVER (PARTITION BY user ORDER BY user) as rn FROM mock 
) 

Dann wählen Sie einfach entweder die ungeraden oder geraden Reihen pmod 50% Probe zu erhalten mit

SELECT user, url FROM numbered where pmod(rn,2) = 0