HBase scheint auf einen einzelnen Knoten im Cluster zu schreiben

Question

Ich habe einen kleinen Cluster von 3 Knoten, mit Hbase auf allen 3 der Knoten bereitgestellt. Es sieht so aus, als ob beim Schreiben von Daten in den Hbase-Cluster zunächst alles zum selben Knoten geht.

Das folgende ist mein relevant hbase-site.xml

<property> 
    <name>hbase.cluster.distributed</name> 
    <value>true</value> 
</property> 

<property> 
    <name>hbase.rootdir</name> 
    <value>hdfs://server1:8020/hbase</value> 
</property> 

<property> 
    <name>hbase.zookeeper.property.clientPort</name> 
    <value>2181</value> 
</property> 


<property> 
    <name>hbase.zookeeper.quorum</name> 
    <value>server1,server2,server3</value> 
</property> 

<property> 
    <name>hbase.zookeeper.property.dataDir</name> 
    <value>/opt/hadoop/zookeeper</value> 
</property> 

Die Region-Server-Logs zeigen immer, dass Dateien in denselben hinzugefügt werden

2016-10-28 15:31:07,990 INFO [MemStoreFlusher.0] regionserver.HStore:  
    Added hdfs://server1 
2016-10-28 15:31:19,195 INFO [MemStoreFlusher.0] regionserver.HStore: Added 
hdfs://server1 

ich jemand hoffen, einen kleinen Einblick bieten können in Dies.

Answer 1

Ihre Eigenschaft hbase.rootdir besagt, dass alle Ihre Daten in diesem spezifischen Knoten in HDFS (unter/hbase) gespeichert sind.

Sie wollen wahrscheinlich durch die Definition eines Name-Service für den Cluster, und legen Sie hbase.rootdir um so etwas wie

<property> 
    <name>hbase.rootdir</name> 
    <value>hdfs://yournameservice/hbase</value> 
</property> 

Siehe here für weitere Details HA für HDFS konfigurieren.

Die ausgeglichene Datenverteilung in HBase hängt auch von Ihrem Zeilenschlüssel-Design ab. Ein falsches Zeilenschlüsseldesign könnte möglicherweise Hotspots erstellen.