Liste der Seiten von wikipedia

Question

Ich baue eine Anwendung, die Sie zu Themen, die Sie möchten, wählen, sollten diese Themen in DB sein.

Es gibt Millionen "Likes"! (Pizza, PHP, Manchester United, irgendeinen Film .. ich weiß es nicht), also habe ich beschlossen, diese "Likes" in meine DB mit Wikipedia einzufügen.

Nun, es gibt eine Möglichkeit, all diese "Likes" zu bekommen (mit der API habe ich ein Limit [500 pro Suche denke ich)? oder eine andere Lösung?

Vielen Dank.

Answer 1

Werfen Sie einen Blick auf die technische Dokumentation der WikiMedia. Es gibt einen Abschnitt, der über query continuation spricht.

Alternativ können Sie eine Wikipedia-Dump herunterladen, Ihre eigene Kopie von WikiMedia installieren und nach Herzenslust abfragen. Die Speicherauszüge sind riesig, aber abhängig davon, wie viel Material Sie extrahieren möchten, kann dies die Aufgabe schneller und mit weniger Auswirkungen auf den Wikipedia-Dienst beenden.

Answer 2

Es ist ein wenig unklar, welche Informationen Sie tatsächlich aus Wikipedia abrufen möchten. Seitentitel?

Wikimedia stellt XML-Dateien mit allen Seitentiteln für alle ihre Projekte unter download.wikimedia.org zur Verfügung. (Leider scheinen die Dumps aufgrund von Hardwareproblemen momentan nicht verfügbar zu sein). Sie könnten die XML-Datei analysieren und alle Titel in Ihrer eigenen Datenbank speichern.

Answer 3

Dumps sind in verschiedenen Formaten mit unterschiedlichen Detaillierungsgraden aus Wikipedia verfügbar.

Wählen Sie eine, die Ihren Anforderungen am besten entspricht, und parsen Sie sie.