Holen Sie alle Zeilen, die einen String enthalten, in eine riesige Textdatei - so schnell wie möglich?

Question

In Powershell, wie die letzte Zeile (oder alle Zeilen), die eine bestimmte Zeichenfolge in einer großen Textdatei (ca. 200000 Zeilen/30 MB) enthält, so schnell wie möglich zu lesen und zu erhalten? Ich verwende:

get-content myfile.txt | select-string -pattern "my_string" -encoding ASCII | select -last 1 

Aber es ist sehr, sehr lang (ca. 16-18 Sekunden). Ich habe Tests ohne das letzte Rohr "select -last 1", aber es ist die gleiche Zeit.

Gibt es einen schnelleren Weg die letzte Vorkommen (oder alle Vorkommen) einer bestimmten Zeichenfolge in riesigen Datei zu bekommen?

Vielleicht ist es die benötigte Zeit ... Oder gibt es eine Möglichkeit, die Datei schneller vom Ende zu lesen, wie ich das letzte Vorkommen wollen? Danke

Answer 1

Haben Sie versucht mit [System.IO.File]::ReadAllLines();? Diese Methode ist "roher" als die PowerShell-ähnliche Methode, da wir uns direkt an die Microsoft .NET Framework-Typen anschließen.

$Lines = [System.IO.File]::ReadAllLines(); 
[Regex]::Matches($Lines, 'my_string_pattern'); 

Answer 2

Try this:

get-content myfile.txt -ReadCount 1000 | 
foreach { $_ -match "my_string" } 

, dass Ihre Datei in Blöcken von 1000 Datensätze auf einmal gelesen werden, und die Spiele in jedem Brocken finden. Dadurch erhalten Sie eine bessere Leistung, da Sie bei der Speicherverwaltung nicht viel CPU-Zeit verschwenden, da jeweils nur 1000 Zeilen in der Pipeline sind.

Answer 3

Haben Sie versucht:

gc myfile.txt | % { if($_ -match "my_string") {write-host $_}} 

Oder können Sie eine "grep" -ähnliche Funktion erstellen:

function grep($f,$s) { 
    gc $f | % {if($_ -match $s){write-host $_}} 
    } 

Dann können Sie einfach Ausgabe: grep $myfile.txt $my_string