Wie doppelte Datensätze in PostgreSQL finden

Question

ich eine PostgreSQL-Datenbank-Tabelle „user_links“ genannt habe, die derzeit folgende doppelte Felder erlaubt:

year, user_id, sid, cid 

Die eindeutige Einschränkung ist derzeit das erste Feld „id“ genannt, aber ich Ich suche nun nach einer Einschränkung, um sicherzustellen, dass die , und cid alle eindeutig sind, aber ich kann die Einschränkung nicht anwenden, da bereits doppelte Werte existieren, die diese Einschränkung verletzen.

Gibt es eine Möglichkeit, alle Duplikate zu finden?

Answer 1

Die Grundidee wird eine verschachtelte Abfrage mit Count-Aggregation werden:

select * from yourTable ou 
where (select count(*) from yourTable inr 
where inr.sid = ou.sid) > 1 

Sie können einstellen, die where-Klausel in der inneren Abfrage um die Suche einzuschränken.

---

Es ist auch eine gute Lösung für den in den Kommentaren erwähnt, (aber nicht jeder liest sie):

select Column1, Column2, count(*) 
from yourTable 
group by Column1, Column2 
HAVING count(*) > 1 

Oder kürzer:

SELECT (yourTable.*)::text, count(*) 
FROM yourTable 
GROUP BY yourTable.* 
HAVING count(*) > 1 

Answer 2

Sie zu denselben beitreten Tabelle auf den Feldern, die dupliziert werden und dann Anti-Join auf dem ID-Feld. Wählen Sie das ID-Feld aus dem ersten Tabellenalias (tn1) und verwenden Sie dann die Funktion array_agg für das ID-Feld des zweiten Tabellenalias. Damit die Funktion array_agg ordnungsgemäß funktioniert, gruppieren Sie die Ergebnisse nach dem Feld tn1.id. Dies erzeugt eine Ergebnismenge, die die ID eines Datensatzes und ein Array aller IDs enthält, die zu den Join-Bedingungen passen.

select tn1.id, 
     array_agg(tn2.id) as duplicate_entries, 
from table_name tn1 join table_name tn2 on 
    tn1.year = tn2.year 
    and tn1.sid = tn2.sid 
    and tn1.user_id = tn2.user_id 
    and tn1.cid = tn2.cid 
    and tn1.id <> tn2.id 
group by tn1.id; 

Offensichtlich ids, die für eine ID in der duplicate_entries Array sein wird, wird auch ihre eigenen Einträge in der Ergebnismenge. Sie müssen diese Ergebnismenge verwenden, um zu entscheiden, welche ID zur Quelle der Wahrheit werden soll. Der einzige Datensatz, der nicht gelöscht werden sollte. Vielleicht könnten Sie etwas tun:

with dupe_set as (
select tn1.id, 
     array_agg(tn2.id) as duplicate_entries, 
from table_name tn1 join table_name tn2 on 
    tn1.year = tn2.year 
    and tn1.sid = tn2.sid 
    and tn1.user_id = tn2.user_id 
    and tn1.cid = tn2.cid 
    and tn1.id <> tn2.id 
group by tn1.id 
order by tn1.id asc) 
select ds.id from dupe_set ds where not exists 
(select de from unnest(ds.duplicate_entries) as de where de < ds.id) 

Auswahl der niedrigsten Nummer ID, die Duplikate (vorausgesetzt, die ID int PK erhöht wird) haben. Dies wären die IDs, die Sie behalten würden.

Answer 3

Von "Find duplicate rows with PostgreSQL" ist hier intelligente Lösung:

select * from (
    SELECT id, 
    ROW_NUMBER() OVER(PARTITION BY column1, column2 ORDER BY id asc) AS Row 
    FROM tbl 
) dups 
where 
dups.Row > 1