Ich habe eine große (10-100GB) Datendatei von 16-Bit-Integer-Daten, die von einer Datenerfassungseinrichtung eine Zeitreihe darstellt. Ich möchte ein Stück Python-Code schreiben, der es durchsucht und ein bewegliches Fenster von einigen Sekunden dieser Daten aufzeichnet. Im Idealfall möchte ich, dass dies so kontinuierlich wie möglich ist.Scan Plot durch eine große Datendatei mit Python
Die Daten werden bei 4 MHz abgetastet, so ein paar Sekunden von Daten plotten beinhaltet auf einem Diagramm ~ 10 Millionen Datenpunkte Plotten. Leider kann ich nicht wirklich Downsample, da die Features, die ich sehen möchte, in der Datei spärlich sind.
matplotlib ist nicht wirklich dafür ausgelegt. Es ist technisch möglich, und ich habe eine semiprofessionelle Matplotlib-Lösung, die es mir erlaubt, ein bestimmtes Zeitfenster zu zeichnen, aber es ist viel zu langsam und umständlich, einen fortlaufenden Scan von sich inkrementell ändernden Daten zu machen - das erneute Zeichnen dauert einige Sekunden viel zu lang.
Kann jemand vorschlagen, ein Python-Paket oder Ansatz dies tun?
Oh es gibt viele Feature-Erkennung mich zur Verfügung, aber ich würde einen schnellen Scan durch die Daten haben gerne zu sehen, wenn es vor der Anwendung komplexe Algorithmen nützlich ist. Downsampling ist hier nicht wirklich eine Option (könnte mit einem Faktor von 3 oder so wegkommen). – KBriggs