Accumulo-Cluster in AWS mit s3 nicht wirklich stabil

Question

Wir betreiben einen accumulo-Cluster auf AWS mit s3 anstelle von hdfs, ab und zu können wir die Shell nicht mehr anmelden. Wir haben verschiedene Clustereinstellungen mit dem gleichen Ergebnis ausprobiert, manchmal bricht etwas und wir können nicht mehr damit arbeiten. Ich habe mich gefragt, ob s3 Probleme verursachen könnte.

Dies ist das Protokoll, das zu einer WARN führt: Es gibt keine tablet Server: überprüfen, dass zookeeper und acumulo ausgeführt werden.

Wir können nicht sehr nützliche Informationen sehen weder auf den Protokollen oder im Internet‘

Irgendwelche Ideen?

2016-04-13 14: 57: 56.587 [client.ClientConfiguration] Warn: Gefunden keine client.conf in Standardpfaden. Verwenden der Standard-Clientkonfiguration Werte. 2016-04-13 14: 57: 56,591 [client.ClientConfiguration] WARN: Found keine Client.conf in Standardpfaden. Standard-Client Konfigurationswerte verwenden. 2016-04-13 14: 57: 58,42 [fs.EmrFileSystem] INFO : Konsistenz deaktiviert, mit com.amazon.ws.emr.hadoop.fs.s3n.S3NativeFileSystem als Dateisystem Implementierung 2016-04-13 14:57 : 59.018 [amazonaws.latency] INFO: Servicename = [Amazon S3], Statuscode = [200], ServiceEndpoint = [test-accumulo.s3.amazonaws.com], AWSRequestID = [null], HttpClientPoolPendingCount = 0, HttpClientPoolAvailableCount = 0, Request = 1, HttpClientPoolLeasedCount = 0, ResponseProcessingTime = [1,219], ClientExecuteTime = [347,47], HttpClientSendRequestTime = [2,211], HttpRequestTime = [247,724], RequestSigningTime = [38,773], HttpClientReceiveResponseTime = [32,567 ], 2016-04-13 14: 57: 59,023 [s3n.S3NativeFileSystem] INFO: listStatus s3: // test-accumulo/instance_id mit rekursiv false 2016-04-13 14: 57: 59.039 [amazonaws.latenz] INFO: ServiceName = [Amazon S3], StatusCode = [200], ServiceEndpoint = [test-accumulo.s3.amazonaws.com], AWSRequestID = [null], HttpClientPoolPendingCount = 0, HttpClientPoolAvailableCount = 1, Request = 1, HttpClientPoolLeasedCount = 0, ResponseProcessingTime = [0,007], ClientExecuteTime = [14,182], HttpClientSendRequestTime = [1,802], HttpRequestTime = [12.222], RequestSigningTime = [0,915], HttpClientReceiveResponseTime = [8,026], 2016.04.13 14: 57: 59.165 [amazonaws.latency] INFO : ServiceName = [ Amazon S3], AWSErrorCode = [404 Nicht gefunden], StatusCode = [404], ServiceEndpoint = [test-accumulo.s3-eu-west-1.amazonaws.com], Ausnahme = [com.amazonaws.services. s3.model.AmazonS3Exception: Nicht Gefunden (Service: Amazon S3; Statuscode: 404; Fehlercode: 404 Nicht Gefunden; Anfrage-ID: 5AF8579AA42CF9BE), S3 Erweiterte Anforderungs-ID: hOWVSRu + ukai8IMHUvBbnQzGp3SvhXgHRiqzIzGrwJKhiJLRTM3 + i4JiawJg7eFH1vk4mbPrKW8 =], AWSRequestID = [5AF8579AA42CF9BE], HttpClientPoolPendingCount = 0, HttpClientPoolAvailableCount = 1, Request = 1, Exception = 1, HttpClientPoolLeasedCount = 0, ClientExecuteTime = [125,731], HttpClientSendRequestTime = [1.991], HttpRequestTime = [118.59], RequestSigningTime = [0,276], HttpClientReceiveResponseTime = [36,485], 2016.04.13 14: 57: 59.309 [amazonaws.latency] INFO: Servicename = [Amazon S3], StatusCode = [200], ServiceEndpoint = [test-accumulo.s3.amazonaws.com], AWSRequestID = [4EA22D07E9553B58], HttpClientPoolPendingCount = 0, HttpClientPoolAvailableCount = 2, Request = 1, HttpClientPoolLeasedCount = 0, ResponseProcessingTime = [24,253], ClientExecuteTime = [141,373], HttpClientSendRequestTime = [0,727], HttpRequestTime = [110.592], RequestSigningTime = [0.358], HttpClientReceiveResponseTime = [104.977], 2016-04-13 14: 57: 59,313 [cse.CSEUtils] INFO: Job-ID kann nicht von extraInstanceData.json abgerufen werden. Einstellung jobflowId = Unbekannt. 2016-04-13 14: 57: 59,329 [client.ClientConfiguration] WARN: Keine client.conf in Standardpfaden gefunden. Standardmäßige Clientkonfigurationswerte verwenden 2016-04-13 14: 57: 59,530 [trace.DistributedTrace] INFO: SpanReceiver org.apache.accumulo.tracer.ZooTraceClient wurde erfolgreich geladen. 2016-04-13 14: 57: 59,577 [impl.ServerClient] WARN: Es gibt keine tablet Server: überprüfen, dass zookeeper und acumulo ausgeführt werden.

Answer 1

Ja, ich würde erwarten, dass das Ausführen von Accumulo mit S3 zu Problemen führen würde. Obwohl S3 über eine FileSystem-Implementierung verfügt, verhält es sich nicht wie ein normales Dateisystem. Einige Beispiele für die Unterschiede sind, dass Operationen, die wir für atomar halten würden, in S3 nicht atomar sind. Ausnahmen können andere Dinge bedeuten als wir erwarten, und wir gehen davon aus, dass unsere Ansicht von Dateien und deren Metadaten konsistent ist und nicht die Konsistenz, die S3 bietet. Es ist möglich, dass diese Probleme gemildert werden können, wenn wir einige Änderungen am Accumulo-Code vorgenommen haben, aber soweit ich weiß, hat niemand versucht, Accumulo auf S3 auszuführen, um die Probleme herauszufinden und ob diese behoben werden konnten oder nicht.

Answer 2

wir versuchen auch, accumulo mit s3 zu verwenden, danke @billie, um uns diese wichtigen Gedanken zu geben, über "Operationen, von denen wir erwarten würden, Atom zu sein, sind nicht atomar in S3", können Sie uns ein Beispiel geben? vielleicht etwas wie WALs begehen?

über die Konsistenz, ja, haben wir gesehen, dass EMRFS bietet Consistent View, so dass diese "konsistente Ansicht" wird das Konsistenzproblem lösen oder?

und in der Konsistente Sicht Seite, heißt es, Konsistenz nur ein Problem von Update sein wird (überschreiben setzen) und Operationen löschen, ist dies möglich Anfrage auf den Tabletten während der Dateisystem-Update zu blockieren und Operationen ein wenig löschen länger (lass es kurz offline gehen), um Konsistenzprobleme zu vermeiden? Vielleicht lohnt es sich, diese Option als Config-Eigenschaft zu machen?

btw ... der Staat>

Probleme gemildert werden könnten, wenn wir einige Änderungen an den Accumulo Code gemacht

wirklich machen uns Sorgen ... ist es nicht möglich, die zu lösen Problem? Sie können nur gemildert werden?

Vielen Dank.