2016-11-11 2 views
0
Training

Ich verwende UR und ich frage mich, warum während es trainiert die meiste Zeit verwenden nur 4 Kerne, wenn 8 verfügbar istUniversalRecommender nicht nutzen alle verfügbaren Kerne während

Ausbildung meisten Zeit stecken in Job 17 "take at EsSpark.scala: 60" Stage45 "flatMap at Atb.scala: 234"

Kann jemand erklären, was genau es in dieser Phase tut und kann es alle 8 Kerne (nicht nur 4) verwenden?

Ich nehme an, es ist nicht genug RAM, weil es alle verfügbaren 64 G RAM, verwenden, aber wenn ich dies auf einem Cluster von Funken (2 Instanzen) die Situation nicht ändert, es auch 4 Kerne in Summe verwenden.

cpu usage

+0

es kann, weil auf Spalttisch sein, auf 4 Teile: '16.11.11 11.37.19 INFO TableInputFormatBase: Input Split Länge: 8,5 G Bytes. 16/11/11 11:37:19 INFO TableInputFormatBase: Eingangsspaltlänge: 4,2 G Bytes. 16/11/11 11:37:19 INFO TableInputFormatBase: Eingangsspaltlänge: 1,3 G Bytes. 16/11/11 11:37:19 INFO TableInputFormatBase: Eingangsspaltlänge: 7.2 G Bytes.' Aber wie kann ich dieses Verhalten ändern? – Igor

Antwort

0

Das Problem war, dass Prediction IO TableInputFormatBase verwenden, die RDD standardmäßig machen mit der Anzahl der Partitionen = # Regionen in hbase

So Anzahl der Partitionen von RDD zu erhöhen, ist es posible oder Teilbereiche in hbase verwenden RDD.partition (#of Partitionen)

Verwandte Themen