pattern matching UNIX

Question

Ich versuche, eine Mustererkennung in Perl-Code zu erreichen. Ich werde ein Beispiel geben, damit es leichter erklärt werden kann.

Ich versuche, den folgenden Link in samtools zu verwenden -Blick:

ftp://ftp.1000genomes.ebi.ac.uk/vol1/ftp/data/HG00132/alignment/HG00132.mapped.SOLID.bfast.GBR.low_coverage.20111114.bam

samtools erlaubt nur eine bestimmte datasline mit folgenden Syntax abgerufen werden:

samtools -h sieht ftp://ftp.1000genomes.ebi.ac.uk/vol1/ftp/data/HG00132/alignment/HG00132.mapped.SOLID.bfast.GBR.low_coverage.20111114.bam 1 : 123-1234

Es gibt 1000 von ihnen und das 'GBR' Bit der Verbindung ändert sich. Also schrieb ich ein einfaches Perl-Skript und ersetzte den Link durch 'ftp://ftp.1000genomes.ebi.ac.uk/vol1/ftp/data/HG00132/alignment/HG00132.mapped.SOLID.bfast.*.bam'. Aber es erkennt den Link nicht. Ich habe mich also gefragt, ob es eine ähnliche Möglichkeit gibt, * in Unix zu verwenden, die Sie in der Mitte des Textes und nicht am Ende verwenden können. Deshalb möchte ich GBR mit einem Stern ersetzen und halten auch die ‚bam‘ Bit am Ende des Dateinamens (ich brauche nicht um die Datei herunterzuladen.)

Danke im Voraus

Answer 1

Verwenden LWP FTP zu suchen. Da keine Hyperlinks vorhanden sind, müssen Sie die Liste analysieren, um zwischen den Dateien zu unterscheiden, die Sie spiegeln möchten. Shell-Globs wie * funktionieren nicht, aber Regex sind geeignet.

Nicht getestetes Beispiel: Sammeln aller bam URIs aus dem angegebenen Verzeichnis.

use File::Listing qw(parse_dir); 
use LWP::UserAgent qw(); 

my @bam_files; 

my $base = 'ftp://ftp.1000genomes.ebi.ac.uk/vol1/ftp/data/HG00132/alignment/'; 
my $ua = LWP::UserAgent->new; 
my $index = $ua->get($base); 
for my $entry (parse_dir $index->decoded_content) { 
    my $filename = $entry->[0]; 
    next unless $filename =~ /bam$/; 
    push @bam_files, $base . $filename; 
} 

Es ist unmöglich, eine FTP-Datei zu verwenden, ohne sie herunterzuladen ersten (method get in LWP::UserAgent sehen). Dies bedeutet nicht, dass es auch auf dem lokalen Dateisystem gespeichert wird (das wäre die Methode mirror).

samtools müssen dies auch hinter den Kulissen tun, vielleicht mithilfe von Protokollerweiterungen, um nur Bereiche herunterzuladen, nicht die vollständige Datei.

Answer 2

Von wget advanced usage examples :

You want to download all the GIFs from an HTTP directory. 
wget http://host/dir/*.gif doesn't work, since HTTP retrieval does not support 
globbing. In that case, use: 

wget -r -l1 --no-parent -A.gif http://host/dir/