Wie mehrere Seiten der Suchergebnisse mit R

Question

kratzen Ich möchte eine Website kratzen, die alle Qualifikationen in Südafrika aufgeführt (http://allqs.saqa.org.za/search.php)

Wenn Sie zuerst auf den Link gehen, werden Sie bemerken, dass seine eine Seite mit Suchkriterien. Ich möchte alle Ergebnisse scrappen, also gebe ich nichts in die Suchkriterien ein - klicke einfach auf "GO", was dann die Suchergebnisse zurückgibt, die ich abkratzen möchte. Die Ergebnisse werden für 20 Datensätze angezeigt und es gibt 16521 Ergebnisseiten. Zu diesem Zeitpunkt ist die URL immer noch wie oben.

Ist es möglich, diese Ergebnisse zu kratzen? Von der Online-Suche, die ich gemacht habe, habe ich Lösungen gefunden, wo die Suchkriterien der Seite Ergebnisse in der URL definiert sind. Doch für die Seite, die ich dies kratzen wollen, ist nicht Option

Ideal für andere Vorschläge bin ich offen aber Ich mag würde R verwenden, um die Schaben zu tun, wenn es nicht möglich, in R

Vielen Dank Ria

Answer 1

R hat ein Curl-Paket, das die POST-Methode unterstützt. Der folgende Code sollten Sie den Einstieg:

library(curl) 
h = new_handle() 
handle_setopt(h, copypostfields = "cat=qual&GO=Go") 
req = curl_fetch_memory("http://allqs.saqa.org.za/search.php", handle=h) 
cat(rawToChar(req$content)) 

Hinweis: dieser spuckt nur den Inhalt der Web-Seite nach dem Absenden des Formulars. Das Parsen der Daten in einen Datenrahmen wird als Übung überlassen. Tippe "? Curl" in R, um ein Tutorial zu sehen.