Ich habe etwa 30 Word2Vec-Modelle. Wenn sie in ein Python-Skript geladen werden, verbrauchen sie jeweils ein paar GB RAM, so dass es unmöglich ist, alle auf einmal zu verwenden. Gibt es eine Möglichkeit, die Modelle zu verwenden, ohne das komplette Modell in den Arbeitsspeicher zu laden?word2vec - reduzieren RAM-Verbrauch beim Laden Modell
Ich bin nicht vertraut mit der word2vec Implementierung in gensim, aber das Modell, einmal trainiert, sollte im Grunde auf ein Wörterbuch von (Wort -> Vektor) Paare herunterkochen. Diese Funktionalität wird von der Klasse gensim.models.KeyedVectors bereitgestellt und ist unabhängig vom Trainingsalgorithmus, der zum Ableiten der Vektoren verwendet wird.
Sie können diese Klasse so erweitern, dass sie die Vektoren bei der Erstellung aus einer Datenbank (z. B. SQLite) bei Bedarf statt in den Speicher lädt.
Wahrscheinlich am besten, wenn Sie ein Problem auf GitHub öffnen und eine Diskussion mit den Kernentwicklern zu diesem Thema beginnen.
Hat das getan, danke. https://groups.google.com/forum/#!topic/gensim/hqW_cf0jdDI – barisdad