Wie man einen Webcrawler in scrapy herstellt, um .mp3 Verbindungen zu holen

Question

Ich möchte einen Webcrawler machen, der .mp3 Links von einer Web site holen kann. Der Inhalt ist jedoch in der Beispielsite http://raagtune.net/ dynamisch. In dieser Site wird der Inhalt von "http://raag.me//music/data/ .. einige zufällige. Mp3" wie können wir die gesamte Website crawlen und alle MP3-Links mit scrapy in Python? Oder gibt es alternative Methoden?

Answer 1

Sie können beautifulsoup Paket von Python verwenden.

import httplib2 from BeautifulSoup import BeautifulSoup, SoupStrainer http = httplib2.Http() status, response = http.request('http://www.nytimes.com') for link in BeautifulSoup(response, parseOnlyThese=SoupStrainer('a')): if link.has_attr('href'): print link['href']

Genau prüfen, ob diese URL .mp3 in dieser Verbindung hat. Wenn ja, speichern Sie es in der Liste, sonst fahren Sie fort.

Hoffe, das hilft!