Spark & ​​Drools - Wie Kiebase mit Kryo zu serialisieren

Question

Ich bin in einer Ausnahme versucht, ein KieBase Objekt in Spark zu serialisieren.

Wenn ich führen den folgenden Code:

val kieBase = kieContainer.getKieBase 
val broadcastKieBase = spark.sparkContext.broadcast(kieBase) 

A ConcurrentModificationException wird

angehoben

Exception in thread "main" com.esotericsoftware.kryo.KryoException: java.util.ConcurrentModificationException

Beim Umschauen fand ich auch this is a known problem, aber immer noch keine Lösung.

Kann jemand eine KieBase Instanz mit Kryo serialisieren?

Answer 1

KieBase kann nicht serialisiert werden. Erstellen Sie stattdessen eine Singleton-Klasse und lassen Sie die KieBase im Executor inited. Jeder Executor hat eine eigene Instanz.