Unfähig, eine MySQL-Datenbank von SO Fragen von Python

Question

Brent's answer zu machen, schlägt mir vor, dass eine Datenbank von SO-Fragen gemacht hat, so dass er schnell die Fragen analysieren kann.

Ich bin daran interessiert, eine ähnliche Datenbank von MySQL zu erstellen, so dass ich MySQL mit ähnlichen Abfragen wie Brent üben kann.

Die Datenbank sollte mindestens die folgenden Felder enthalten (ich rate hier, da die API von SO's API scheint). Ich beabsichtige, nur relevante Variablen aufzulisten, die es mir erlauben würden, ähnliche Analysen wie Brent durchzuführen.

• Fragen
• Question_id (private Schlüssel)

• Question_time

• Kommentare

• comment_id (private Schlüssel)

• COMMENT_TIME

• User_id (pri vate Schlüssel)

• User_name

Wir kratzen offenbar brauchen, um die Daten von Python Schöne Soap weil Brent Datenbank scheinbar versteckt.

Wie kann man solch eine MySQL-Datenbank von Python Schöner Soap machen? **

Answer 1

Ich bin sicher, es ist möglich, direkt mit dem XML-Daten-Dump @RichieHindle Erwähnungen arbeiten, aber ich war viel glücklicher mit @ nobody_ sqlite Version - vor allem nach dem Hinzufügen der Indizes als die README-Datei in dieser SQLITE-Version sagt.

Wenn Sie die vollständige, indizierte sqlite-Version haben und die Python-getaggte Teilmenge in eine MySQL-Datenbank laden möchten, kann dies als einfache, aber saubere Übung bei der Verwendung von zwei DB-API-Instanzen gesehen werden Schreiben auf MySQL (persönlich fand ich die sqlite-Leistung völlig zufriedenstellend, sobald das Index-Building fertig ist, also habe ich keine Subset-Extraktion noch irgendwelche anderen DB-Engines) - keine Soup noch Soap für diesen Zweck benötigt. In jedem Fall war es für mich viel einfacher und schneller, als direkt von XML zu laden, trotz Lxml und allem.

Natürlich, wenn Sie immer noch die Subset-Load durchführen wollen, und wenn Sie irgendwelche Probleme bei der Codierung it up, Fragen (mit Schema und Code Beispiele, Fehlermeldungen, etc) und SOers versuchen werden antwort, wie immer! -)

Answer 2

Ich weiß nicht, die Details, wie die Daten in MySQL zu importieren, aber die Rohdaten von Stack-Überlauf ist frei verfügbar: http://blog.stackoverflow.com/2009/06/stack-overflow-creative-commons-data-dump/

Es gibt keine geheime API und keine Notwendigkeit, Beautiful Soup zu verwenden.