Wie wird eine CSV-Datei von einer Website mithilfe einer Java-Anwendung abgerufen?

Question

Also ich habe ein Problem. Ich möchte ein Programm entwerfen, das automatisch eine CSV-Datei von einer bestimmten Website abruft. Die Sache ist, ich habe keine Ahnung, wie ich das machen soll. Es scheint, dass die Schaltfläche, die zum Herunterladen der CSV-Datei verwendet wird, nicht auf diese Datei zeigt, sondern auf eine Funktion verweist, die ihre Aufgabe erledigt und eine CSV-Datei zurückgibt. Wie kann ich diese CSV-Datei von der Website abrufen? Anscheinend hat das etwas mit einem Servlet zu tun, aber ich bin mir nicht ganz sicher. Danke

Edit: Es scheint, dass es nicht wirklich einen Link wie bla.com/.../myfile.csv aber eher bla.com/.../getReport.do und unabhängig davon, was ich in die Eingabe Textboxen, die auf der Website zur Verfügung gestellt werden, bleibt der Link bla.com/.../getReport.do. Das Problem, das ich habe, ist, dass ich nicht einfach die Standard-IO-Bibliotheken in Java verwenden kann, um die CSV-Datei herunterzuladen, weil ich keine Ahnung habe, wie man die Datei tatsächlich erhält, ohne sie manuell herunterzuladen.

Answer 1

1. Verwenden Sie Chrome.
2. Drücken Sie F12, um das Entwicklerfenster zu öffnen - sehen Sie sich die Registerkarte Netzwerk an.
3. Laden Sie Ihre CSV herunter und achten Sie auf die gewünschte Datei in der Anzeige.
4. Rechtsklick auf Ihrer CSV-Datei im Netzwerk Registerkarte Sie Lage sein sollte, wie cURL zu kopieren
5. Sie diesen Befehl in eine CMD-Eingabeaufforderung einfügen können (unter Windows) oder einen Bash-Terminal (in Linux oder Mac).
6. Unter Linux richten Sie einen Cron-Job ein, um diesen Befehl regelmäßig auszuführen.

Um die Ausgabe in eine Datei zu senden ... addieren > file.txt des Befehls bis zum Ende.

curl 'http://app.toronto.ca/tmmis/getAdminReport.do' -H 'Accept: text/html, application/XHTML + xml, application/xml; q = 0,9, image/webp, /; q = 0,8' -H 'Referrer: http://app.toronto.ca/tmmis/getAdminReport.do' -H 'Ursprung: http://app.toronto.ca' -H 'Upgrade-Insecure-Anfragen: 1' -H 'User-Agent: Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, wie Gecko) Chrome/49.0.2623.112 Safari /537.36' -H 'Content-Type: application/x-www-form-urlencoded' --data ‚Funktion = getMemberVoteReport & download = csv & page = 0 & ItemsPerPage = 50 & sortBy = & sortOrder = & exportPublishReportId = 2 & termId = 6 & memb ERID = 2 & decisionBodyId = 0 & VonDatum = 2014.12.31 & toDate = 2016.05.10' --compressed > file1.txt