sklearn Logistische Regression mit n_jobs = -1 eigentlich nicht parallelisieren

Question

Ich versuche einen riesigen Datensatz mit Sklearns logistischer Regression zu trainieren. Ich habe den Parameter n_jobs = -1 (habe auch versucht n_jobs = 5, 10, ...), aber wenn ich htop öffnen, kann ich sehen, dass es immer noch nur einen Kern verwendet.

Bedeutet dies, dass die logistische Regression nur den Parameter n_jobs ignoriert?

Wie kann ich das beheben? Ich brauche diesen Prozess wirklich, um parallelisiert zu werden ...

P.S. Ich verwende sklearn 0.17.1

Answer 1

das parallele Prozess-Backend hängt auch von der Solver-Methode. Wenn Sie Multi Core verwenden möchten, wird das multiprocessing Backend benötigt.

aber Solver wie 'sag' kann nur threading Backend verwenden.

und auch meistens, kann es wegen einer Menge Vorverarbeitung blockiert werden.