Welcher Komprimierungsalgorithmus für hochredundante Daten verwendet wird

Question

Dieses Programm verwendet Sockets, um hochredundante 2D-Byte-Arrays (bildähnlich) zu übertragen. Während die Übertragungsrate vergleichsweise hoch ist (10 Mbps), sind die Arrays auch hochredundant (z. B. kann jede Zeile mehrere folglich ähnliche Werte enthalten). Ich habe versucht, zlib und lz4 und die Ergebnisse waren vielversprechend, aber ich denke immer noch an eine bessere Komprimierungsmethode und bitte denken Sie daran, dass es relativ schnell sein sollte wie in lz4. Irgendwelche Vorschläge? wenn die Daten in Reihen

Answer 1

Sie Ihre eigene Gruppe gründen könnte, ähnlich wie Sie eine Ressource/Index Karte erstellen können somit reduziert erhebliche Größe, so etwas wie diese

Original-Datei:
Zeile 1: 1212, 34, 45,1212,45,34,56,45,56
Zeile 2: 34,45,1212,78,54,87, ....

Sie eine Liste von eindeutigen Werten, als die Verwendung schaffen könnten und Index in Ersatz,

34,45,54,56,78,87,1212

Zeile 1: 6,0,2,6,1,0, .....

das Sie über 30% oder mehr Datenübertragung sparen potantialy kann, aber es hängt davon ab, wie überflüssig die Daten

UPDATE

Hier ist eine einfache Implementierung

std::set<int> uniqueValues 
DataTable my2dData; //assuming 2d vector implementation 
std::string indexMap; 
std::string fileCompressed = ""; 

int Find(int value){ 
    for(int i = 0; i < uniqueValues.size; ++i){ 
    if(uniqueValues[i] == value) return i; 
    } 
    return -1; 
} 

//create list of unique values 
for(int i = 0; i < my2dData.size; ++i){ 
    for(int j = 0; j < my2dData[i].size; ++j){ 
    uniqueValues.insert(my2dData[i][j]); 
    } 
}  

//create indexes 
for(int i = 0; i < my2dData.size; ++i){ 
    std::string tmpRow = ""; 
    for(int j = 0; j < my2dData[i].size; ++j){ 
    if(tmpRow == ""){ 
     tmpRow = Find(my2dData[i][j]);  
    } 
    else{ 
     tmpRow += "," + Find(my2dData[i][j]); 
    } 
    } 
    tmpRow += "\n\r"; 
    indexMap += tmpRow; 
} 

//create file to transfer 
for(int k = 0; k < uniqueValues.size; ++k){ 
    if(fileCompressed == ""){ 
     fileCompressed = "i: " + uniqueValues[k];  
    } 
    else{ 
     fileCompressed += "," + uniqueValues[k]; 
    } 
} 
fileCompressed += "\n\r\d:" + indexMap; 

jetzt auf der Empfängerseite Sie das Gegenteil nur tun, wenn die Linie beginnen mit „i“ der Index erhalten, wenn sie beginnen mit " d "du bekommst Die Daten

Answer 2

Sie sollten die vor der Komprimierung betrachten. Sie sind einfache bis ausgeklügeltere Methoden zur Vorhersage von Werten in einem 2D-Array basierend auf vorherigen Werten. In dem Maße, in dem die Vorhersagen gut sind, kann die Filterung zu dramatischen Verbesserungen im nachfolgenden Komprimierungsschritt führen.

Sie sollten diese Filter einfach auf Ihre Daten testen und dann an lz4 füttern.