funken nur ein Kern auf Parallelität Aufgabe mit

Question

ich diesen Code So haben:

conf = SparkConf().setAll((
    ("spark.python.profile", "true" if args.profile else "false"), 
    ("spark.task.maxFailures", "20"), 
    ("spark.driver.cores", "4"), 
    ("spark.executor.cores", "4"), 
    ("spark.shuffle.service.enabled", "true"), 
    ("spark.dynamicAllocation.enabled", "true"), 
)) 

# TODO could this be set somewhere in cosr-ops instead? 
executor_environment = {} 
if config["ENV"] == "prod": 
    executor_environment = { 
     "PYTHONPATH": "/cosr/back", 
     "PYSPARK_PYTHON": "/cosr/back/venv/bin/python", 
     "LD_LIBRARY_PATH": "/usr/local/lib" 
    } 

sc = SparkContext(appName="Common Search Index", conf=conf, environment=executor_environment) 

# First, generate a list of all WARC files 
warc_filenames = list_warc_filenames() 

# Then split their indexing in Spark workers 
warc_records = sc.parallelize(warc_filenames, 4).flatMap(iter_records) 

Während es lounches alle Funken stopfen es alle Kerne verwendet.

Aber wenn es beginnt, die Aufgabe (Indizierung) zu tun, dann verwendet es nur 1 Kern auf 100%.

Wie man eine Funkenaufgabe macht, benutze alle Kerne?

Answer 1

Problem war in der Python selbst nicht alle Kerne verwenden. Ich habe Multithreading implementiert.

Danke für alle, die geholfen haben.