Optimieren einer Satzsuche über mehrere Dokumente

Question

Ich habe Probleme bei der Optimierung einer Suche, die ich in PHP erstellt habe, diese Suche wird nur einmal verwendet, daher ist Flexibilität nicht so wichtig.

Ich habe eine Reihe von Sätzen, wie:

$arr = [ 
    'potato', 
    'hi my name is Ivan' 
    .. 
]; 

Das Array etwa 1k Sätze enthält.

Und ich habe eine Festplatte mit 200 GB Dateien.

Ich muss alle Dateien durchsuchen und sehen, ob einige dieser Sätze in den Dateien sind, und wenn ja, den Pfad, eine Prüfsumme usw. in einem bestimmten Format auszudrucken.

Die Frage, die ich bin vor ist die Suchzeit, wenn so etwas wie dies zu tun, was ineffizient scheint: Selbst

$objections = []; 
foreach ($files as $file) { 

    if (!in_array($file->getExtension(), $allowedExt)) 
     continue; 

    $txt = file_get_contents($file); 

    foreach ($words as $word) { 
     if (stripos($txt, $word) !== false || 
      stripos($file->getFilename(), $word) !== false 
      ) { 
      $file->c_md5 = getCMD5($file); 
      $objections[] = $file; 
     } 
    } 
} 

Die Suche ist im Alter von 1 h +, und ich bin an einem neuen MacBook mit dem neuesten i7 unter . Mit PHP Speicher usw. maxed.

Es ist nicht relevant, welches Wort in der Wortgruppe übereinstimmt, also habe ich mich gefragt, ob es eine cleverere Möglichkeit gibt, die Suche durchzuführen, als die Wörter innerhalb der Dateischleife zu durchlaufen. Wäre ein sehr langer REGEX-String mit ODERs schneller?

Oder gibt es einen dritten Weg, der sehr schnell ist.

Answer 1

Definitiv Antwort ist eine Regex. Sie sollten wahrscheinlich in drei Phasen aufgeteilt:

1. Konvertieren Sie Ihre Liste der Sätze in einer großen regex oder eine Liste von regulären Ausdrücken in einer Schleife ausgeführt werden. Sie können Leerzeichen in Whitespaces \s konvertieren und die Suche un-gierig machen /regex/U.

2. Iterieren Sie Dateien und entfernen Sie Zeilenenden, indem Sie sie durch Leerzeichen ersetzen. Nur für den Fall, dass ein Satz über mehrere Zeilen verteilt wird.

3. Verwenden Sie preg_match, um herauszufinden, ob der Satz in der Datei enthalten ist. Sie können es in der Schleife tun, wenn Sie sich für mehrere Regex entscheiden.

Answer 2

Ein Regex wird Sie wenig oder nichts sparen.

Sie können bei einem Treffer aus der Schleife ausbrechen.

Foreach{ 
    If(hit){ 
     Break; 
    } 
} 

Was wäre die Suche nach dem Rest sparen. Wenn Sie also auf die zweite Iteration klicken, müssen Sie keine weiteren 998 Iterationen dieses Dokuments durchführen.

Das Problem, das Sie immer haben werden, ist das Öffnen eines Dokuments, das ohne Zweifel die meisten Ihrer Leistung verloren geht.

Wenn es sich um eine Operation handelt, die mehrmals ausgeführt werden muss, ist es wahrscheinlich eine Überlegung wert, alle Ihre Dateien in eine Datenbank für die Volltextsuche ElasticSearch zu indizieren. In Ihrer Datenbank können Sie dann einfach einen Verweis auf die physische Datei für den nächsten Vorgang beibehalten. Das anfängliche Laden und Indexieren all dieser Dateien wird zwar einige große Ressourcen und Zeit beanspruchen.Aber sobald Sie fertig sind, werden Ihre Suchen wirklich schnell sein.

Answer 3

können Sie verwenden exec

eine test.php Datei erstellen und versuchen, diesen Code

<?php 
    exec('grep '.escapeshellarg('end').' '."./test.php",$result);    
    print_r($result); 
    /* serach for some sentences 
    * keep seraching 
    * end of comment */ 
    ?> 

Ofcourse müssen Sie seine Leistung zuerst testen passen Sie es dann auf Ihre Bedürfnisse