SAS: Umgang mit Duplikaten, ohne variable Informationen zu verlieren

Question

Ich muss Duplikate aus einem Datensatz löschen. Mein Problem ist, dass sobald ich die Daten sortiere und die Duplikate markiere (unter Verwendung der Verzögerungsfunktion), einige Informationen über Variablen innerhalb der doppelten Beobachtung und einige innerhalb der ursprünglichen Beobachtung vorhanden sind. Ich muss Informationen über alle Variablen behalten und gleichzeitig die Duplikate löschen.

Mein Gedanke war, zuerst alle Informationen zwischen dem Original und dem Duplikat zu füllen, bevor das Duplikat gelöscht wurde.

Beispiel von Beobachtungen nach Daten und das Markieren von Duplikaten (gefälschte Datenwerte) Sortierung:

Province AGE BRTHYEAR Trans_id Morb_id VarX flag_duplicate 
AB  36 1980  45654  .   .   0 
AB  36 1980   .  .  2135   1 
ON  26 1990   .  .  8868   0 
ON  26 1990   .  35464  8868   1 

Was ich will:

Province AGE BRTHYEAR Trans_id Morb_id VarX flag_duplicate 
AB  36  1980  45654  .  2135   0 
AB  36  1980  45654  .  2135   1 
ON  26  1990   .  35464  8868   0 
ON  26  1990   .  35464  8868   1 

So kann ich Duplikate löschen und schließlich haben diese:

Province AGE BRTHYEAR Trans_id Morb_id VarX flag_duplicate 
AB   36  1980  45654  .  2135   0 
ON   26  1990   .  35464  8868   0 

Ich habe Lag und Lead-Variablen erstellt, um zu versuchen, Informationen auszufüllen, aber es wird nur angezeigt ms, um an einem Teil des Datensatzes zu arbeiten. Hier

ist der Code für die Lead-Variablen:

data uncleaned_data; 
merge uncleaned_data 
    uncleaned_data(
    firstobs=2 
    keep= TRANS_ID MORB_ID Varx 
    rename=(TRANS_ID=lead_TRANS_ID MORB_ID=lead_MORB_ID Varx=lead_Varx)); 

if lag(flag_duplicate=1) then do; 

    if TRANS_ID=. then do; 
    TRANS_ID= lead_TRANS_ID; 
    end; 

if MORB_ID=. then do; 
    MORB_ID= lead_MORB_ID; 
    end; 

if Varx=. then do; 
    Varx= lead_Varx; 
    end; 

end; 
run; 

Ich habe die gleiche Art der Sache für Verzögerung Variablen außer meinem ersten if-Anweisung ist ‚wenn flag_duplicate = 1, dann tun;‘

Diese Methode scheint nicht für viele doppelte Paare in meinem Datensatz zu funktionieren.

Gibt es eine bessere Möglichkeit, mein Problem insgesamt anzugehen? möglicherweise durch proc SQL?

Vielen Dank für das Lesen und einen Ratschlag angeboten!

Answer 1

Ich gehe davon aus, dass Sie nicht verschiedene Werte von TRANS_ID verfügen, zum Beispiel für die gleiche Provinz. Wenn dies der Fall ist, können Sie die ursprünglichen Daten in einem Rutsch reduzieren, um Ihr Ziel zu erreichen, indem Sie eine update Anweisung mit einer by Anweisung verwenden. In meinem Code erstellt der erste Verweis auf das Dataset mit obs=0 nur die Variablen, der zweite Verweis die Werte und die by-Anweisung stellt sicher, dass nur eine Zeile pro Providence aktualisiert wird.

Mit dieser Methode müssen die doppelten Werte nicht vorher identifiziert werden.

data have; 
input Province $ AGE BRTHYEAR Trans_id Morb_id VarX flag_duplicate; 
datalines; 
AB  36 1980  45654  .   .   0 
AB  36 1980   .  .  2135   1 
ON  26 1990   .  .  8868   0 
ON  26 1990   .  35464  8868   1 
; 
run; 

data want; 
update have(obs=0) have; 
by province; 
run; 

Answer 2

So etwas sollte funktionieren ...

proc sort data=uncleaned_data; by Province AGE BRTHYEAR; run; 

data cleaned_data (DROP=TRANS_ID RENAME=(KEEP_TRANS_ID=TRANS_ID) ...); 
set uncleaned_data; 
by Province AGE BRTHYEAR; 
if first.BRTHYEAR then do; 
keep_TRANS_ID=TRANS_ID; 
... 
end; 
else do; 
if keep_TRANS_ID=. then keep_TRANS_ID=TRANS_ID; 
... 
end; 
if last.BRTHYEAR then output; 
run;