Datenextraktion aus dem Web

Question

Ich plane eine Datenextraktion aus Webquellen (Web-Scrapping) als Teil meiner Arbeit. Ich möchte Informationen über den Umkreis von 10km meiner Firma extrahieren.

Ich möchte Informationen wie Eigentumswohnungen, seine Adresse, Anzahl der Einheiten und seinen Preis pro Quadratfuß extrahieren. Andere Dinge wie Anzahl der Schulen und Kindergärten in der Gegend und Hotels.

Ich verstehe, ich muss aus wenigen Quellen/Webseiten extrahieren. Ich werde auch Python benutzen.

Ich würde gerne wissen, welche Bibliothek oder Bibliotheken sollte ich verwenden. Ist das Verschrotten von Webseiten das einzige Mittel? Können wir Informationen aus Google Maps extrahieren?

Auch, wenn jemand irgendwelche Erfahrung hat, werde ich wirklich schätzen, wenn Sie mich dazu führen können.

Vielen Dank, Leute.

Answer 1

Probieren Sie für Google Maps die API aus. Die Verwendung von Web-Scraping-Tools für die Google Maps-Datenextraktion wird von Google TOS dringend empfohlen.

Wenn Sie Python verwenden, hat es sehr schöne Bibliotheken BeautifulSoup und Scrapy für diesen Zweck.

Andere Mittel? Sie können POIs aus OSM-Daten extrahieren. Probieren Sie die Open-Source-Tools aus. Immobilien-Info? Möglicherweise ist es für Ihren Landkreis/Staat von Govt Office verfügbar, versuchen Sie es.