Gibt es einen Unterschied zwischen YARN und MR2?

Question

Ich bin etwas verwirrt zwischen YARN und MR2. Sind sie gleich? Ich habe YARN als Plattform zum Ausführen verteilter Anwendungen in einigen Dokumentationen und MapReduce als solche verteilte Anwendung gesehen. Was ist damit gemeint? Ist das eine MapReduce Anwendung, die von einem Programmierer erstellt wurde (zB: Programm)? Wieder habe ich gesehen wie 'Schreiben Sie Ihre eigene YARN Anwendung', was ist damit gemeint? Zu welcher Kategorie gehört ein Wordcount-Programm, eine YARN Anwendung oder eine MR2 Anwendung?

Bitte correct Frage, wenn es nicht in der Stackoverflow-Standard ist, versuchte ich alle meine Zweifel auszudrücken.

Answer 1

Zuerst YARN eingeführt in HADOOP 2 weiter.In Hadoop 1, verwaltet eine einzige Name-Knoten den gesamten Namespace für einen Hadoop-Cluster.Mit der Einführung von YARN (NOCH EIN ANDERER RESOURCE MANAGER) Cluster-Ressourcen-Management wird von YARN gesorgt.

Sie können davon ausgehen, dass YARN über HDFS läuft und auf dem YARN andere Datenverarbeitungskomponenten wie mapreduce und othes laufen. In Hadoop 1 hatten Benutzer die Möglichkeit, MapReduce-Programme in Java, Python oder anderen Skriptsprachen mithilfe von Streaming oder mithilfe von Pig, einer Datenumwandlungssprache, zu schreiben. Unabhängig davon, welche Methode verwendet wurde, beruhte alles grundlegend auf dem MapReduce-Verarbeitungsmodell.

YARN unterstützt mehrere Verarbeitungsmodelle zusätzlich zu MapReduce. Einer der wichtigsten Vorteile besteht darin, dass wir nicht länger auf das MapReduce-Framework mit häufig I/O-intensiven und hohen Latenzzeiten beschränkt sind.

Jetzt Ihre Frage - "Ihre eigene YARN-Anwendung schreiben", was ist damit gemeint?

Jetzt auf YARN können wir jede der verteilten Anwendung schreiben. MR2 ist eine der verteilten Anwendungen, die für die Ausführung von MapReduce Framework verantwortlich sind. Das Word-Count-Programm gehört zur MR2-Anwendung, die dafür verantwortlich ist, dieses mapreduce frmework auszuführen.

Answer 2

YARN und MR2 sind verwandt, aber nicht dasselbe.

MapReduce ist ein Berechnungsansatz, und in der Hadoop-Welt ist MapReduce auch ein Name für Hadoop 1.0; in Hadoop 1.0, sofern MapReduce sowohl Ressourcen-Management und die Ausführung Rahmen für die Ausführung von „MapReduce“ (1,0) Anwendungen

Mit Hadoop 2.0, Ressourcenmanagement und die Ausführung Rahmen aufgeteilt wurden zwei getrennte Einheiten sein, YARN (Yet Another Ressourcen Negotiator) ein allgemeines Ressourcenverwaltungssystem für Clusterrechenressourcen und MapReduce 2.0 (abgekürzt als MR2) eine Ausführungsmaschine.

• MR2 ist eine YARN Anwendung
• Sie können einen "MapReduce" schreiben (2.0) basierte Anwendung, die auf YARN
• laufen Wenn Sie auf einem Hadoop 2 sind.und 0 Cluster so etwas wie Pig oder Hive mit dem Standard-Ausführungs-Engine verwenden, MR2, werden sie als MR2 Anwendungen laufen auf YARN

Einen Teil der Begründung für diese Spaltung in Hadoop 2.0 war für andere Ausführungsmaschinen zu ermöglichen, darüber hinaus MR2; Heute umfasst dies auch Apache Tez und Apache Spark, die auf YARN laufen können.