AWS DMS gibt keine 100% ige Migration

Question

HI alles, was wir migrieren aus Datenbank von vor Ort zu Amazon Aurora.Our Datenbankgröße ist um 136GB darüber hinaus einige Tabellen haben über Millionen von Datensätzen jeder. Wie nach der Volllast-Vollendung von Millionen Reihen werden 200.000 bis 300.000 Zeilen migriert. Wir wissen nicht, wo wir fallen, seit wir neu bei DMS sind. Jeder weiß, wie wir die genaue Anzahl von Zeilen migrieren können.

migration type :full load 

Hier sind unsere AWS DMS Aufgabeneinstellungen

{ 
    "TargetMetadata": { 
    "TargetSchema": "", 
    "SupportLobs": true, 
    "FullLobMode": true, 
    "LobChunkSize": 64, 
    "LimitedSizeLobMode": false, 
    "LobMaxSize": 0, 
    "LoadMaxFileSize": 0, 
    "ParallelLoadThreads": 0, 
    "BatchApplyEnabled": false 
    }, 
    "FullLoadSettings": { 
    "FullLoadEnabled": true, 
    "ApplyChangesEnabled": false, 
    "TargetTablePrepMode": "TRUNCATE_BEFORE_LOAD", 
    "CreatePkAfterFullLoad": false, 
    "StopTaskCachedChangesApplied": false, 
    "StopTaskCachedChangesNotApplied": false, 
    "ResumeEnabled": false, 
    "ResumeMinTableSize": 100000, 
    "ResumeOnlyClusteredPKTables": true, 
    "MaxFullLoadSubTasks": 15, 
    "TransactionConsistencyTimeout": 600, 
    "CommitRate": 10000 
    }, 
    "Logging": { 
    "EnableLogging": true, 
    "LogComponents": [ 
     { 
     "Id": "SOURCE_UNLOAD", 
     "Severity": "LOGGER_SEVERITY_DEFAULT" 
     }, 
     { 
     "Id": "SOURCE_CAPTURE", 
     "Severity": "LOGGER_SEVERITY_DEFAULT" 
     }, 
     { 
     "Id": "TARGET_LOAD", 
     "Severity": "LOGGER_SEVERITY_DEFAULT" 
     }, 
     { 
     "Id": "TARGET_APPLY", 
     "Severity": "LOGGER_SEVERITY_DEFAULT" 
     }, 
     { 
     "Id": "TASK_MANAGER", 
     "Severity": "LOGGER_SEVERITY_DEFAULT" 
     } 
    ], 
    "CloudWatchLogGroup": "dms-tasks-krishna-smartdata", 
    "CloudWatchLogStream": "dms-task-UERQWLR6AYHYIEKMR3HN2VL7T4" 
    }, 
    "ControlTablesSettings": { 
    "historyTimeslotInMinutes": 5, 
    "ControlSchema": "", 
    "HistoryTimeslotInMinutes": 5, 
    "HistoryTableEnabled": true, 
    "SuspendedTablesTableEnabled": true, 
    "StatusTableEnabled": true 
    }, 
    "StreamBufferSettings": { 
    "StreamBufferCount": 3, 
    "StreamBufferSizeInMB": 8, 
    "CtrlStreamBufferSizeInMB": 5 
    }, 
    "ChangeProcessingDdlHandlingPolicy": { 
    "HandleSourceTableDropped": true, 
    "HandleSourceTableTruncated": true, 
    "HandleSourceTableAltered": true 
    }, 
    "ErrorBehavior": { 
    "DataErrorPolicy": "LOG_ERROR", 
    "DataTruncationErrorPolicy": "LOG_ERROR", 
    "DataErrorEscalationPolicy": "SUSPEND_TABLE", 
    "DataErrorEscalationCount": 0, 
    "TableErrorPolicy": "SUSPEND_TABLE", 
    "TableErrorEscalationPolicy": "STOP_TASK", 
    "TableErrorEscalationCount": 0, 
    "RecoverableErrorCount": -1, 
    "RecoverableErrorInterval": 5, 
    "RecoverableErrorThrottling": true, 
    "RecoverableErrorThrottlingMax": 1800, 
    "ApplyErrorDeletePolicy": "IGNORE_RECORD", 
    "ApplyErrorInsertPolicy": "LOG_ERROR", 
    "ApplyErrorUpdatePolicy": "LOG_ERROR", 
    "ApplyErrorEscalationPolicy": "LOG_ERROR", 
    "ApplyErrorEscalationCount": 0, 
    "FullLoadIgnoreConflicts": true 
    }, 
    "ChangeProcessingTuning": { 
    "BatchApplyPreserveTransaction": true, 
    "BatchApplyTimeoutMin": 1, 
    "BatchApplyTimeoutMax": 30, 
    "BatchApplyMemoryLimit": 500, 
    "BatchSplitSize": 0, 
    "MinTransactionSize": 1000, 
    "CommitTimeout": 1, 
    "MemoryLimitTotal": 1024, 
    "MemoryKeepTime": 60, 
    "StatementCacheSize": 50 
    } 
} 

Mapping Methode:

{ 
    "rules": [ 
    { 
     "rule-type": "selection", 
     "rule-id": "1", 
     "rule-name": "1", 
     "object-locator": { 
     "schema-name": "dbo", 
     "table-name": "%" 
     }, 
     "rule-action": "include" 
    }, 
    { 
     "rule-type": "transformation", 
     "rule-id": "2", 
     "rule-name": "2", 
     "rule-target": "schema", 
     "object-locator": { 
     "schema-name": "dbo" 
     }, 
     "rule-action": "rename", 
     "value": "smartdata_int" 
    } 
    ] 
} 

Answer 1

Sie sollten die Möglichkeit für jeden DMS Aufgabe einrichten Cloudwatch-Protokolle haben. Haben Sie die Protokolle für diese Aufgabe überprüft? Haben Sie Varchar/Text Spalten> 32KB? Diese werden abgeschnitten, wenn Daten wie Rotverschiebung in ein Ziel migriert werden. Beachten Sie also, dass dies zu Ihrer Fehleranzahl zählt.