schnelle Shell finden

Question

Ich habe eine einfache Suche Befehl, die durch Millionen von Dateien auf einem Server gehen müssen und einige mit einem gegebenen Suffix zu finden. Die Dateien werden im Laufe der Zeit sehr häufig geschrieben und gelöscht. Ich frage mich nur, ob es einen Weg gibt, um schneller zu finden. Die Verwendung von locate kommt nicht in Frage, da eine Datenbank für das Lokalisieren sehr teuer ist.

find /myDirWithThausandsofDirectories/ -name *.suffix 

Auf einigen Servern dauert dieser Befehl Tage!

Irgendwelche Gedanken?

Danke,

Answer 1

Sie das Audit-Subsystem verwenden können, das Erstellen und Löschen von Dateien zu überwachen. Wenn Sie dies mit einem ersten Lauf von find kombinieren, sollten Sie eine Datenbank mit Dateien erstellen können, die Sie in Echtzeit aktualisieren können.

Answer 2

Teilen und erobern? Angenommen, ein MP os und Prozessor spawnen mehrere find Befehle für jeden Unterordner.

for dir in /myDirWithThausandsofDirectories/* 
do find "$dir" -name "*.suffix" & 
done 

abhängig von der Anzahl der subdirs Sie können steuern, wie viele Prozesse (find Befehle) zu einem bestimmten Zeitpunkt ausgeführt werden. Das wird ein bisschen schwieriger, aber machbar (dh mit einer Bash-Shell, halten Sie ein Array mit den PIDs der erzeugten Prozesse $! und erlauben nur neue, abhängig von der Länge des Arrays). Auch die oben genannten sucht nicht nach Dateien im Stammverzeichnis, nur ein kurzes Beispiel für die Idee.

Wenn Sie nicht wissen, wie die Verwaltung zu tun ist, Zeit zu lernen;) This ist ein wirklich guter Text zu diesem Thema. This ist, was Sie eigentlich brauchen. Aber lesen Sie das Ganze, um zu verstehen, wie es funktioniert.

Answer 3

Da Sie einen einfachen Glob verwenden, können Sie Bashs rekursive Globbing verwenden. Beispiel:

shopt -s globstar 
for path in /etc/**/**.conf 
do 
    echo "$path" 
done 

könnte schneller sein, da sie mit viel weniger Flexibilität als find eine interne Shell-Fähigkeit ist verwenden.

Wenn Sie nicht Bash verwenden, aber Sie haben eine Grenze für die Pfadtiefe, können Sie explizit die verschiedenen Tiefen Liste:

for path in /etc/*/*.conf /etc/*/*/*.conf /etc/*/*/*/*.conf 
do 
    echo "$path" 
done 

Answer 4

Hier ist der Code:

find /myDirWithThausandsofDirectories/ -d type maxdepth 1 > /tmp/input 
IFS=$'\n' read -r -d '' -a files < /tmp/input 


do_it() { 
    for f; do find $f -name *.suffix | sed -e s/\.suffix//g ; done 
} 

# Divide the list into 5 sub-lists. 
i=0 n=0 a=() b=() c=() d=() e=() 
while ((i < ${#files[*]})); do 
    a[n]=${files[i]} 
    b[n]=${files[i+1]} 
    c[n]=${files[i+2]} 
    d[n]=${files[i+3]} 
    e[n]=${files[i+4]} 
    ((i+=5, n++)) 
done 

# Process the sub-lists in parallel 
do_it "${a[@]}" >> /tmp/f.unsorted 2>/tmp/f.err & 
do_it "${b[@]}" >> /tmp/f.unsorted 2>/tmp/f.err & 
do_it "${c[@]}" >> /tmp/f.unsorted 2>/tmp/f.err & 
do_it "${d[@]}" >> /tmp/f.unsorted 2>/tmp/f.err & 
do_it "${e[@]}" >> /tmp/f.unsorted 2>/tmp/f.err & 
wait 
echo Find is Done! 

Die Das einzige Problem, das ich damit habe, sind einige der Dateinamen (sehr kleiner Prozentsatz) sind teilweise aus. Ich habe keine Ahnung, was der Grund wäre!