Wie konfiguriert man Solr und den vollständigen Datenimport von MySQL mit Python?

Question

Ich muss den vollständigen Import oder Delta-Import programmgesteuert mit Python und MySQL ausführen. Ich kenne den Prozess in Java. Wir können es auf folgende Weise tun:

CommonsHttpSolrServer server = new CommonsHttpSolrServer("http://localhost:8983/solr"); 
ModifiableSolrParams params = new ModifiableSolrParams(); 
params.set("command", "full-import"); 
QueryRequest request = new QueryRequest(params); 
request.setPath("/dataimport"); 
server.request(request); 

Ich versuche, es in Python zu implementieren. Können Sie den entsprechenden Code in Python oder einer Solr Python API vorschlagen, die dies unterstützt?

Answer 1

Sie lösen den DataImportHandler aus, indem Sie eine einzelne HTTP-Anfrage machen, und das Java-Beispiel ist nur eine Möglichkeit, dies mit dem SolrJ-Paket zu tun.

In nativer python3 können Sie dies tun, indem urllib.request mit:

import urllib.request 
urllib.request.urlopen('http://localhost:8983/solr/collection/dataimport?command=full-import') 

In python2 gleicher Funktion unter urllib2 verfügbar:

import urllib2 
urllib2.urlopen('http://localhost:8983/solr/collection/dataimport?command=full-import') 

Oder wenn Sie die requests Bibliothek verwenden (die kann installiert werden durch pip install requests):

import requests 
requests.get('http://localhost:8983/solr/collection/dataimport?command=full-import') 

Answer 2

Es gibt ein paar Python-APIs, aber ich benutze mysolr (http://mysolr.readthedocs.io/en/latest/user/userguide.html), weil Sie Json bei der Indizierung verwenden können, was es schneller macht.

from mysolr import Solr 

    ## For full index, delete all data after final commit: 
    solr.delete_by_query('*:*', commit=False) 

    solr = Solr("http://localhost:8983/solr/collection", version=4) 
    documents = [ 
     {'id' : 1, 
     'field1' : 'foo' 
     }, 
     {'id' : 2, 
     'field1' : 'bar' 
     } 
    ] 

    solr.update(documents, 'json', commit=False) 
    solr.commit() 

Sie können in einer Zeit wie 1000 Datensätze abfragen, um eine Liste von ihnen („Dokumente“ weiter oben) erstellen und sie an den solr Index schicken. Wenn Sie fertig sind, machen Sie das Commit. Wenn es sich um eine vollständige Abfrage handelt, können Sie alle Daten löschen, ohne zu committen, und die alten Daten werden gelöscht, sobald Sie das endgültige Commit durchgeführt haben.