Überspringen-over/ignorieren doppelte Zeilen auf Insert

Question

ich die folgenden Tabellen:

DataValue

DateStamp ItemId Value 
---------- ------ ----- 
2012-05-22 1  6541 
2012-05-22 2  12321 
2012-05-21 3  32 

tmp_holding_DataValue

DateStamp ItemId Value 
---------- ------ ----- 
2012-05-22 1  6541 
2012-05-22 4  87 
2012-05-21 5  234 

DateStamp und ItemId die Primärschlüsselspalten sind.

Ich mache einen Einsatz, der in regelmäßigen Abständen den ganzen Tag läuft (in einer Stored Procedure):

insert into DataValue(DateStamp, ItemId, Value) 
select DateStamp, ItemId, Value from tmp_holding_DataValue; 

Dies verschiebt Daten vom Haltetisch (tmp_holding_DataValue) über in die Hauptdatentabelle (DataValue). Der Haltetisch wird dann abgeschnitten.

Das Problem besteht darin, dass die Warteschlangentabelle, wie im Beispiel, Elemente enthalten kann, die bereits in der Haupttabelle vorhanden sind. Da der Schlüssel keine doppelten Werte zulässt, schlägt die Prozedur fehl.

Eine Option wäre, eine where-Klausel in den insert proc einzufügen, aber die Hauptdatentabelle hat 10 Millionen + Zeilen, und das könnte lange dauern.

Gibt es eine andere Möglichkeit, die Prozedur dazu zu bringen, die Duplikate einfach zu überspringen/zu ignorieren, während sie versucht einzufügen?

Answer 1

INSERT dbo.DataValue(DateStamp, ItemId, Value) 
SELECT DateStamp, ItemId, Value 
FROM dbo.tmp_holding_DataValue AS t 
WHERE NOT EXISTS (SELECT 1 FROM dbo.DataValue AS d 
WHERE DateStamp = t.DateStamp 
AND ItemId = t.ItemId); 

Answer 2

In SQL Server 2008+:

MERGE 
INTO dataValue dv 
USING tmp_holding_DataValue t 
ON  t.dateStamp = dv.dateStamp 
     AND t.itemId = dv.itemId 
WHEN NOT MATCHED THEN 
INSERT (dateStamp, itemId, value) 
VALUES (dateStamp, itemId, value) 
/* 
WHEN MATCHED THEN 
UPDATE 
     value = t.value 
*/ 
-- Uncomment above to rewrite duplicates rather than ignore them 

Answer 3

Sie konnten die PK zuweisen als Duplikate Key ignorieren = Ja. Dann gibt es nur einen Warnhinweis, der ignoriert wird, und ignoriert den Vorgang. Ich rate nicht. Ich habe das getestet.

Was ich gefunden habe ist, dass ich dies nicht tun kann, ist SMSS. Sie müssen den Index über das Skript löschen und neu erstellen. Aber Sie können mit der rechten Maustaste auf den Index klicken, Drop wählen und neu erstellen, und dann einfach Ignore Duplicate Key = Yes ändern. Für mich hat SMSS die Änderung nicht sofort angezeigt.

IF EXISTS (SELECT * FROM sys.indexes WHERE object_id = OBJECT_ID(N'[dbo].[PKallowDup]') AND name = N'PK_PKallowDup') 
ALTER TABLE [dbo].[PKallowDup] DROP CONSTRAINT [PK_PKallowDup] 
GO 

USE [test] 
GO 

/****** Object: Index [PK_PKallowDup] Script Date: 05/22/2012 10:23:13 ******/ 
ALTER TABLE [dbo].[PKallowDup] ADD CONSTRAINT [PK_PKallowDup] PRIMARY KEY CLUSTERED 
(
    [PK] ASC 
)WITH (PAD_INDEX = OFF, STATISTICS_NORECOMPUTE = OFF, SORT_IN_TEMPDB = ON, IGNORE_DUP_KEY = ON, ONLINE = OFF, ALLOW_ROW_LOCKS = ON, ALLOW_PAGE_LOCKS = ON) ON [PRIMARY] 
GO 

Oder ich denke, Sie eine äußere

INSERT dbo.DataValue(DateStamp, ItemId, Value) 
SELECT t.DateStamp, t.ItemId, t.Value 
    FROM dbo.tmp_holding_DataValue AS t 
    left join dbo.DataValue AS d 
    on d.DateStamp = t.DateStamp 
    AND d.ItemId = t.ItemId 
WHERE d.DateStamp is null 
    and d.ItemId in null 

Answer 4

Ich lief in eine ähnliche Anforderung beitreten verwenden könnte, die den gleichen doppelten Schlüssel Fehler werfen beendet, und dann war die Idee, mehrere Spalten auszuwählen, die distinct (Primary), während der Rückkehr auch andere Spalten, check:

INSERT INTO DataValue(DateStamp, ItemId, Value) 
SELECT DISTINCT DateStamp, ItemId, MAX(Value) AS Value 
FROM tmp_holding_DataValue 
GROUP BY DateStamp, ItemId 

In der Tat könnte das Ziel ohne Distinct als auch seit dem Aggregat Spaß erreicht werden ction MAX wählt einen einzelnen Wert aus.