Wie erstellt man ein Skript, um mehrere Greps über eine Datei zu machen?

Question

Ich möchte ein Skript machen, dass die folgenden automatisch tun können:

grep 'string1' file.txt | grep 'string2' | grep 'string3' ... | grep 'stringN' 

Die Idee ist, dass das Skript wie folgt ausgeführt werden können:

myScript.sh file.txt string1 string2 string3 ... stringN 

und das Skript hat alle Linien zurück von file.txt, die alle Zeichenfolgen enthalten.

Zum Beispiel, wenn file.txt sieht wie folgt aus:

hello world 
hello world run 
hello planet world 

Und ich kann ein grep wie diese machen:

grep hello file.txt | grep world 

und ich bekomme:

hello world 
hello world run 
hello planet world 

Ich möchte Machen Sie ein Skript, das dies automatisch vornimmt, mit einer undefinierten Anzahl von Strings als Parameter.

Ich fand, dass es schwierig ist, dies zu erreichen, da die Anzahl der Strings variabel sein kann. Zuerst habe ich versucht, ein Array args wie dies in myScript.sh genannt zu schaffen: mit dem Zweck

#!/bin/bash 
args=("$@") 

der Argumente zu speichern. Ich weiß, dass die meine file.txt sein wird und der Rest sind die Saiten, die ich in den verschiedenen Greps verwenden muss, aber ich weiß nicht, wie man vorgeht und ob dies der beste Ansatz ist, um das Problem zu lösen. Ich würde mich über jeden Vorschlag freuen, wie dies zu programmieren ist.

Answer 1

sed ist in der Lage, dies perfekt mit einem einzigen Prozess zu tun, und vermeidet diese eval shenanigans. Das resultierende Skript ist eigentlich ziemlich einfach.

#!/bin/sh 
file=$1 
shift 
printf '\\?%s?!d\n' "$@" | 
sed -f - "$file" 

Wir generieren eine Zeile von sed Skript für jeden Ausdruck; Wenn der Ausdruck nicht gefunden wird (!), löschen wir (d) diese Eingabezeile und beginnen mit der nächsten Zeile.

Dies setzt voraus, dass sed- als Argument an -f akzeptiert, um das Skript von der Standardeingabe zu lesen. Dies ist nicht vollständig tragbar; Sie müssen das generierte Skript möglicherweise stattdessen in einer temporären Datei speichern, wenn dies ein Problem ist.

Dies verwendet ? als interne Regex-Trennzeichen. Wenn Sie ein Literal ? in einem der Muster benötigen, müssen Sie Backslash-escape. Im allgemeinen Fall wäre vielleicht das Erstellen eines Skripts, das ein alternatives Trennzeichen findet, das sich in keinem der Suchausdrücke befindet, möglich, aber an diesem Punkt würde ich stattdessen zu einer geeigneten Skriptsprache wechseln (Python wäre meine Präferenz).

Answer 2

Sie können das Muster des Betriebs erzeugen und es in einer Variablen speichern:

pattern="$(printf 'grep %s file.txt' "$1"; printf ' | grep %s' "${@:2}" ; printf '\n')" 

und dann

eval "$pattern" 

Beispiel:

% cat file.txt               
foo bar 
bar spam 
egg 

% grep_gen() { pattern="$(printf 'grep %s file.txt' "$1"; printf ' | grep %s' "${@:2}" ; printf '\n')"; eval "$pattern" ;} 

% grep_gen foo bar       
foo bar 

Answer 3

Sie können den Befehl erstellen in einer Schleife und dann eval verwenden, um i auszuwerten t. Dies verwendet cat, so dass Sie alle grep gruppieren können.

#! /bin/bash 

file="$1" 
shift 
args=("$@") 


cmd="cat '$file'" 
for a in "${args[@]}" 
do 
    cmd+=' | ' 
    cmd+="grep '$a'" 
done 

eval $cmd 

Answer 4

EVAL freie Alternative:

#!/bin/bash 

temp1="$(mktemp)" 
temp2="$(mktemp)" 

grep "$2" "$1" > temp1 
for arg in "${@:3}"; do 
    grep "$arg" temp1 > temp2 
    mv temp2 temp1 
done 

cat temp1 
rm temp1 

mktemp erzeugt eine temporäre Datei mit einem eindeutigen Namen und gibt seinen Namen; es sollte allgemein verfügbar sein.

Die Schleife führt dann grep für jedes Argument aus und benennt die zweite temporäre Datei für die nächste Schleife um.

Answer 5

Dies ist die Optimierung von Diego Torres Milano Code und die Antwort auf meine ursprüngliche Frage:

#! /bin/bash 
file=$1 
shift 
cmd="cat '$file'" 
for 'a' in "$@" 
do 
    cmd+=" | grep '$a'" 
done 
eval $cmd