Apache Spark wird häufig spontan als Lösung für alle Herausforderungen im Bereich Loading...Big Data propagiert. Aber trifft dies wirklich zu?
Apache Spark – das universelle Schweizer Taschenmesser für Analytics. Zu schön um wahr zu sein?
Spark als Universallösung für alle analytischen Herausforderungen im Big Data Kontext zu positionieren hört sich erst einmal vielversprechend und einfach an. Eigentlich wissen wir aber, dass dieser Bereich viel zu komplex und vielschichtig ist, um pauschal mit einem Tool adressiert werden zu können. Dennoch lieben wir natürlich einfache Antworten auf komplexe Fragestellungen.
Dies mag auch der Grund sein warum ich letzter Zeit häufiger Gespräche ähnlich dem folgenden führe:
Interessent:
Wie würden Sie Spark mit Exasol vergleichen?
Ich:
Spark ist eine universelle Plattform, die sehr vielseitig einsetzbar ist und auf einem modernen In-Memory Ansatz für verteilte Datenverarbeitung basiert. Wir von Exasol halten Spark für eine hervorragende Ergänzung zu Loading...Hadoop und in Teilen auch einen hervorragenden Ersatz einiger klassischer Hadoop-Komponenten und -Konzepte. Exasol lässt sich gut mit Spark integrieren. Grundsätzlich adressieren Spark und Exasol aber unterschiedliche Anwendungsgebiete und verfolgen verschiedene Ansätze.
Interessent:
zunehmend beunruhigt Aber es ist doch auch eine Loading...In-Memory Datenbank? Genau wie Exasol!
Ich:
Nun, es gibt in der Tat ein Datenbankmodul namens Spark SQL, welches auf der Standard Spark Plattform läuft.
Interessent:
(fast panisch) Wie können Sie dabei so ruhig bleiben!? Wer wird noch Exasol kaufen wenn es mit Spark eine kostenlose In-Memory-Datenbank gibt? Niemand!
Ich:
(beruhigend) Bitte atmen Sie nun wieder langsam und gleichmäßig und setzen sich 😉 Lassen Sie uns einfach gemeinsam einen Blick auf die Fakten werfen:
| Analytische Datenbank EXASOL | Apache Spark | |
|---|---|---|
| Was ist es? | Die Lösung wurde von Grund auf als analytische In-Memory Datenbank für Big Data entwickelt. | Spark wurde als Plattform konzipiert, für vielfältige Einsatzmöglichkeiten in der Verarbeitung von Big Data. |
| Worauf basiert die Technologie? | EXASOL ist in C++ geschrieben und stützt sich auf Algorithmen die gleichzeitig niedrige Latenz und hohe Performance sicherstellen sowie auf spezialisierte Subsysteme. | Spark und Spark SQL sind auf JVM Basis geschrieben (um genau zu sein in Scala). Scala ermöglicht zwar schnelle Entwicklungszyklen, eignet sich aber nicht unbedingt für Anwendungen in Echtzeit. |
| Optimierung | Optimiert für schnelle Abfragen, hohen Datendurchsatz, sowie parallel Verarbeitung | Da Spark SQL mit Spark auf einer GPP basiert, kann die Lösung nur eingeschränkt zu Datenbankenzwecken optimiert werden. |
| Performance | Schnellste Loading...relationale Datenbank auf dem Markt (1) | Ziemlich schnell, aber nicht die schnellste Datenbank auf Hadoop (2) und ein vielfaches langsamer als EXASOL. |
| Marktreife | In 2000 gegründet. Erster Kunde 2006 produktiv. Eine Vielzahl an Kunden setzt die Lösung zur Analyse geschäftskritische Bereiche ein. | Entwicklung begann 2013. Erste Version wurde in 2014 veröffentlicht. |
| Benutzerfreundlichkeit | Einfach zu installieren und zu verwalten. Schwerpunkt liegt auf auf niedriger TCO. | Äußerst technisch und als Share-Plattform konzipiert – daher ist gewissenhaftes Ressourcenmanagement ein Muss. |
| Nutzen für Unternehmen | Umfangreiche Backupmöglichkeiten, Fernwartungsinterfaces, externe Datenbankreplikation und viele weitere Enterprise-Features. Über 100 Kunden setzten bei ihren Analysen bereits auf EXASOL. | Keine auf Geschäftskunden zugeschnittenen Features vorhanden. |
(1) Basierend auf TPC-H Ergebnissen: www.exasol.com/en/in-memory-database/tpc-h/
Interessent:
OK, also ist Spark keine echte Alternative zu Exasol, wenn es um maximale Abfragegeschwindigkeit geht oder wenn die Lösung in unternehmenskritischen Bereichen eingesetzt werden soll? Wieso macht sie Spark dann nervös?
Ich:
Ich hab niemals behauptet, dass wir uns ernsthaft Sorgen machen. Denn wir wissen, dass Exasol viel besser geeignet ist als Spark für Datenanalysen bei großen, komplexen Datenmengen. Punkt.
Interessent:
OK, aber denken Sie, dass sich Spark für die Datenverarbeitung gut eignet?
Ich:
Ja definitiv. Spark hat das schwerfällige MapReduce Konzept von Hadoop in eine Form transformiert, die viel besser in das Internetzeitalter mit seinen kurzen Entwicklungszyklen passt. Für „Data Streaming“ und polystrukturierte Daten ist es eine hervorragende Lösung.
Interessent:
Habe ich nun aber nicht zwei Lösungen, die voneinander isoliert sind? Exasol als hoch performante relationale Datenbank im Backend für unternehmenskritische Anwendungen und Spark für meine Datenverarbeitung?
Ich:
Wir integrieren Spark und Hadoop auf verschiedenen Ebenen.
- Beim Datenimport – üblicherweise werden zuerst Rohdatenbestände analysiert in Spark/Hadoop, die in verschiedenen Formaten vorhanden sind. Anschließend müssen die Daten für interaktive Analyse oder für ein weiteres Verarbeiten zur Verfügung stehen. Dafür importieren sie einfach parallel die Daten in Exasol (mehrere GB pro Sekunde) vom HDFS mithilfe unseres parallelen Importer oder importieren Sie diese direkt aus Hive, Impala, Spark SQL via JDBC.
- Sie möchten Ihre Daten nicht replizieren? Sie wollen Zugriff auf genau die Daten haben, die ihre Spark-Plattform gerade vor einigen Sekunden generiert hat? Hier kommt unser Datenvirtualisierungs-Framework zum Einsatz. Verbinden Sie einfach Spark SQL mit Exasol durch ein „virtuelles Schema“ und die Spark SQL Schemas sind sofort in Exasol sichtbar.
Aus Kundensicht ist es völlig transparent, ob die Daten in Exasol oder extern in Spark gespeichert sind. Der Kunde sieht alles als eine einzige Datenquelle, nämlich als Exasol. Sobald man auf ein virtuell verbundenes Schema zugreift, wird die Abfrage auf Spark SQL weitergeleitet, dann die (Unter)Abfrage ausgeführt und anschließend das Ergebnis an Exasol gesendet. Und wenn Sie noch schnelleren Zugriff auf ihre Daten möchten? Kein Problem: Materialisieren Sie einfach die Daten, die Sie aus der Spark SQL Abfrage erhalten in Exasol und nutzen Sie die blitzschnelle In-Memory Analyse in der Exasol Datenbank.
Haben Sie alles Verstanden?
Interessent:
Ja, besten Dank.
Weitere Informationen und eine kostenlose Testversion finden Sie unter www.exasol.com/download-exasol