2016-12-20 8 views
0

In einer anderen Frage verwendete ein Benutzer this url(1), der eine Datentabelle enthält und irgendwie den Code in this url(2) umwandelte, um mit json und schöner Suppe zu kratzen.Herausfinden, wie man diese spezifische URL bekommt

Meine Frage ist, wie erhalten Sie die zweite URL, die kratzen freundlich ist, die erste URL gegeben?

Der Benutzer, der irgendwie die 2. URL bekam, wurde gefragt, wie er es bekommen hat und es ist eine Weile her und er hat nie geantwortet..Hier ist ein link zum ursprünglichen Thread.

Antwort

0

Sie können dies tun, indem Sie Google Chrome Developer Tools (und auch mit anderen Browsern) verwenden.

  1. öffnen Google Chrome-Browser und navigieren Sie zu den ersten URL
  2. öffnen Developer Tools (⌘ + Option + i)
  3. Head to "Netzwerk" Tab
  4. Klicken Sie auf " Protokoll beibehalten "und auf" XHR "(da es sich um eine XMLHttpRequest handelt) enter image description here
  5. die Seite neu laden, und Sie werden die XMLHttpRequest auf den zweiten URL enter image description here

Hinweis sehen: In diesem Fall habe ich gedacht, dass es von einem XHR geladen wurde, aber ich würde empfehlen, klicken "Alle" anstelle von "XHR" beim nächsten Mal. Sie werden mehr Ergebnisse sehen, und Sie müssen filtern und/oder brauchen etwas mehr Zeit, um den Anruf/die Anfrage in dieser Angelegenheit zu finden, aber es wird genauer sein.

+0

Perfekter Dank! Weißt du, ob es eine Möglichkeit gibt, den Prozess in Python zu automatisieren, um diese URL zu bekommen? – johndoez232a

+0

Die Sache ist, dass wir dies normalerweise tun (die Site studieren), bevor wir einen Scraper erstellen, und das liegt daran, dass dieser Aufruf zu dieser bestimmten URL irgendwo im gesamten HTML (einschließlich src zu anderen JavaScripts) sein kann. Also ich denke, das konnte nicht automatisiert werden. Hoffe das hilft! –

+0

Ich weiß, das ist völlig vom Thema der ursprünglichen Frage, so dass Sie nicht antworten müssen, aber da es nicht automatisiert werden kann, fragte ich mich, ob Sie eine Möglichkeit empfehlen könnten, die Datentabelle der ersten URL zu kratzen? – johndoez232a

Verwandte Themen