S3 NoSuchKey-Fehler beim Zugriff auf das yum-Repository für Apache Ambari 2.5.1

Question

Ich habe Apache Ambari 2.5.1 in CentOS 6.9 erstellt und installiert. (Von Installation Guide for Ambari 2.5.1).

Ich öffnete die Ambari UI nach dem Start "Ambari-Server" und "Ambari-Agent". Das standardmäßige öffentliche Repository von Apache Ambari 2.5.1 lautet "http://s3.amazonaws.com/dev.hortonworks.com/HDP/centos6/2.x/BUILDS/2.6.3.0-63" und "http://s3.amazonaws.com/dev.hortonworks.com/HDP-UTILS-1.1.0.21/repos/centos6". Ich öffnete den Browser und gab die URL ein. Der Browser zeigte, dass der angegebene Schlüssel nicht existierte. Also ich denke, das Apache Ambari 2.5.1 Public Repository existiert nicht.

<Error> 
    <Code>NoSuchKey</Code> 
    <Message>The specified key does not exist. </Message> 
    <Key>HDP/centos6/2.x/BUILDS/2.6.3.0-63</Key>  
    <RequestId>81EA7B258C7ACDB4</RequestId> 
    <HostId> 
    3DEhVcTN7/LxCsa8doX8LNm1ltXGEvUI/5o4hOtKAooNU9iC58NeT8SwJPdE2ZbvXEGb4Hk7mIc= 
    </HostId> 
</Error> 

Können Sie mir helfen, dieses Problem herauszufinden? Vielen Dank!

Answer 1

Dies sind in der Tat gültige yum-Repositories. Ein yum Repo kann über HTTP bedient werden. Ambari verwendet einen AWS S3-Bucket als bequeme Möglichkeit, Dateien über HTTP als Yum-Repo bereitzustellen.

Der Grund, warum Sie in Ihrem Browser beim Navigieren zur URL nichts sehen können, ist, dass S3 Dateien in einer Verzeichnishierarchie nicht wirklich verwaltet, wie ein herkömmlicher Webserver, der statische Inhalte bereitstellt. Stattdessen bietet es eine Zuordnung von Schlüsseln zu Objekten, und Anwendungen verwenden normalerweise eine Konvention von /, um Verzeichnisse zu simulieren.

Auch wenn die URL in Ihrer Frage keinen aussagekräftigen Inhalt für einen Browser liefert, können wir AWS Command Line Interface verwenden, um den Bucket zu überprüfen. (Die folgende Ausgabe wird der Kürze halber getrimmt.)

> aws s3 ls s3://dev.hortonworks.com/HDP/centos6/2.x/BUILDS/2.6.3.0-63/ 
          PRE RPM-GPG-KEY/ 
          PRE accumulo/ 
          PRE atlas/ 
          ... 
          PRE hadoop/ 
          ... 
          PRE hive/ 
          PRE hive2/ 
          ... 
2017-07-17 18:03:01  2630 HDP-2.6.3.0-63.xml 
2017-07-17 18:03:01  20366 artifacts.txt 
2017-07-17 18:03:01  542 build.id 
2017-07-17 18:03:01  8473 build_metadata.txt 
2017-07-17 18:03:01  908 hdp-canary.repo 
2017-07-17 18:03:01  602 hdp.repo 
2017-07-17 18:03:01  578 hdp_private.repo 
2017-07-17 18:03:01  574 hdp_public.repo 
2017-07-17 18:03:01  612 hdpbn.repo 
2017-07-17 18:03:09  497 hotfix_index.html 
2017-07-17 18:03:06  502 index.html 
2017-07-17 18:03:08  494 private_index.html 
2017-07-17 18:03:07  493 public_index.html 

Wir können sehen, gibt es verschiedene Unterverzeichnisse für Komponenten im Ökosystem Apache Hadoop. Wir können auch das Vorhandensein einer Datei index.html sehen, so dass diese URL funktioniert in Browsern:

http://s3.amazonaws.com/dev.hortonworks.com/HDP/centos6/2.x/BUILDS/2.6.3.0-63/index.html

Wir sehen auch .repo-Dateien, die diese als gültige yum Repo definieren:

> curl http://s3.amazonaws.com/dev.hortonworks.com/HDP/centos6/2.x/BUILDS/2.6.3.0-63/hdp.repo 
#VERSION_NUMBER=2.6.3.0-63 
[HDP-2.6.3.0] 
name=HDP Version - HDP-2.6.3.0 
baseurl=http://s3.amazonaws.com/dev.hortonworks.com/HDP/centos6/2.x/updates/2.6.3.0 
gpgcheck=1 
gpgkey=http://s3.amazonaws.com/dev.hortonworks.com/HDP/centos6/2.x/updates/2.6.3.0/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins 
enabled=1 
priority=1 


[HDP-UTILS-1.1.0.21] 
name=HDP-UTILS Version - HDP-UTILS-1.1.0.21 
baseurl=http://s3.amazonaws.com/dev.hortonworks.com/HDP-UTILS-1.1.0.21/repos/centos6 
gpgcheck=1 
gpgkey=http://s3.amazonaws.com/dev.hortonworks.com/HDP/centos6/2.x/updates/2.6.3.0/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins 
enabled=1 
priority=1