Apache Spark vs Apache Spark 2

Question

Was sind die Verbesserungen Apache Spark2 im Vergleich zu Apache Spark?

1. Von der Architektur Perspektive
2. Aus anwendungstechnischer Sicht
3. oder mehr

Answer 1

Apache Spark-2.0.0-APIs haben 1.X weitgehend ähnlich geblieben Spark 2.0 0,0 hat Brechen API ändert

Apache Spark 2.0.0 ist die erste Veröffentlichung auf der 2.x-Linie. Die wichtigsten Updates sind API-Usability, SQL 2003-Unterstützung, Leistungsverbesserungen, strukturiertes Streaming, R UDF-Unterstützung sowie operative Verbesserungen.

Neu in Funken 2:

• Die größte Veränderung, die ich sehen kann, ist, dass DataSet und Dataframe APIs zusammengeführt werden.
• Die neuesten und besten von Spark wird eine ganze Menge effizient im Vergleich zu den Vorgängern sein. Spark 2.0 wird sich auf eine Kombination aus Parkett und Caching konzentrieren, um einen noch besseren Durchsatz zu erzielen.
• Strukturiertes Streaming ist eine andere große Sache!
• Es wird die erste Version sein, die sich auf ETL konzentrieren wird.Aufeinander folgende Versionen werden mehr Operatoren und Bibliotheken für ETL hinzufügen

Sie können die Spark release 2.0.0 durchlaufen, wo Updates in folgenden Punkte erläutert werden:

• API Stabilität
• Kern und Funken SQL
• MLlib
• SparkR
• Streaming
• Abhängigkeit, Verpackung und Operationen
• Umzüge, Verhaltensänderungen und Veraltet
• Bekannte Probleme

Answer 2

Es ist nicht viel Unterschied in Bezug auf die Architektur als die aller Kürze noch DAG und RDD ist, das ist die wichtiger Teil davon!

Obwohl Spark 2.0 ist viel mehr optimiert und hat DataSet Api, die den Entwicklern viel mächtiger gibt. Also ich würde sagen, die Architektur ist gleich, es ist nur der Spark 2.0 bietet viel optimiert und hat eine reiche Reihe von Api!

Dies sind die wichtigsten Dinge, die von Apache zur Verfügung stellt 2,0 Funken:

• Die größte Veränderung, die ich sehen kann, ist, dass DataSet und Dataframe APIs werden zusammengeführt.
• Die neuesten und besten von Spark wird eine ganze viel effizienter im Vergleich zu den Vorgängern sein. Spark 2.0 wird auf konzentrieren sich auf eine Kombination von Parkett und Caching, um einen noch besseren Durchsatz zu erreichen .
• Strukturiertes Streaming ist eine andere große Sache!
• Es wird die erste Version sein, die sich auf ETL konzentrieren wird. Aufeinander folgende Versionen werden mehr Operatoren und Bibliotheken für ETL

Für weitere Informationen hinzufügen, bitte hier eine lok nehmen: https://www.quora.com/What-are-special-features-and-advantages-of-Apache-Spark-2-0-over-earlier-versions