Mit wget alle zip-Dateien auf einer shtml-Seite herunterladen

Question

Ich habe versucht, alle ZIP-Dateien auf dieser Website auf einen EC2-Server herunterzuladen. Es erkennt jedoch die Links nicht und lädt nichts herunter. Ich denke, es liegt daran, dass die shtml-Datei erfordert, dass SSI aktiviert ist, und das verursacht irgendwie ein Problem mit wget. Aber ich verstehe das Zeug nicht wirklich.

Dies ist der Code, den ich erfolglos verwendet habe.

wget -r -l1 -H -t1 -nd -N -np -A.zip -erobots=off http://www.fec.gov/finance/disclosure/ftpdet.shtml#a2015_2016 

Danke für jede Hilfe, die Sie zur Verfügung stellen können!

Answer 1

Die Zip-Links sind nicht im Quellcode vorhanden, deshalb können Sie sie nicht über wget herunterladen, sie werden über javascript generiert. Die Dateiliste „befindet sich“ innerhalb http://fec.gov//finance/disclosure/tables/foia_files_summary.xml unter Knoten <fec_file status="Archive"></fec_file>

Sie ein Script-Code können die xml Datei und wandeln die Knoten mit den tatsächlichen Verbindungen zu analysieren, weil sie ein Muster haben.

---

UPDATE:

Wie @cyrus erwähnt, sind die Dateien auch auf ftp.fec.gov/FEC/, Sie wget -m zur Spiegelung des ftp und -A zip verwenden können, um den Download zu beschränken Dateien zip, das heißt:

wget -A zip -m --user=anonymous --password=test@test.com ftp://ftp.fec.gov/FEC/ 

Oder wget -r

wget -A zip --ftp-user=anonymous --ftp-password=test@test.com -r ftp://ftp.fec.gov/FEC/*