10 Fragen, 10 Antworten : Der TPC-H Benchmark

1. Was ist das TPC-Gremium?

DasTransaction Processing Performance Council (TPC) ist ein Non-Profit-Konsortium und wurde im August 1988 gegründet. Seit zwei Jahrzehnten hat das TPC großen Einfluss auf Industriestandard-Benchmarks der IT-Branche. Hersteller nutzen TPC-Benchmarks, um die Wettbewerbsfähigkeit ihrer Produkte zu veranschaulichen und um die Leistung ihrer zukünftigen Produkte vergleichen und verbessern zu können. Viele Käufer ziehen die TPC-Benchmark Ergebnisse als Vergleichsmittel beim Kauf von neuen Rechner-Systemen heran.

2. Klingt das nicht alles zu theoretisch?

Weit gefehlt – die Arbeit des TPC-Gremiums hat zu einem verstärkten Wettbewerb zwischen den Anbietern geführt und dient den Herstellern als Anreiz, Ihre Technologien bis an die Grenzen zu testen und auszureizen.

3. Wer ist das TPC?

Dem TPC-Gremium gehören namhafte Datenbankhersteller wie z.B. IBM, Microsoft, Oracle und HP an.

Das Unternehmen EXASOL ist kein Mitglied dieses Konsortiums und hat somit keinen Einfluss auf die Benchmark-Spezifikation.

4. Welche Benchmarks werden durchgeführt?

Bereits in den 80er Jahren wurden die ersten Benchmarks im Bereich der OLTP-Systeme (Online-Transaction-Processing) durchgeführt. Seit 1990 wandte man sich verstärkt den DSS-Systemen (Decision Support Systems) zu.

1994 erschien der erste TPC-D Benchmark, der aber durch einen technologischen Wandel im Jahr 1999 überholt und letztendlich durch den heute bekannten TPC-H Benchmark ersetzt wurde. Der TPC-H Benchmark testet dieLeistungsfähigkeit von Datenbankmanagementsystemen aus dem Decision-Support-Bereich.

5. Wieso wurde der TPC-D Benchmark hinfällig?

Features wie „Join Indices“, „Summary Table“, „Materialized Views“ usw. entwickelten sich über die Jahre weiter. Das führte dann dazu, dass bestimmte Abfragen relativ aussageschwach wurden und es keinen Sinn mehr machte, hier noch einen Vergleich anzustellen.

Darüber hinaus waren die TPC-D Benchmarks für ein maximales Datenvolumen von bis zu 3 TB ausgelegt. Heutzutage könnte man dieses überschaubare Datenvolumen bereits über ein Data-Mart abbilden.

6. Warum wird der TPC-H Benchmark auch „ad hoc decision support“ Benchmark genannt?

Decision Support Systems (DSS) sind Systeme die „ad hoc“ – also sofort – wichtige Entscheidungsgrundlagen für geschäftskritische Fragen liefern sollen.

Geschäftskritische Fragen können beispielsweise sein:

  • Wie haben sich die Umsatzzahlen zwischen Kalenderwoche 1 und 2 entwickelt?
  • Welche Umsatzzahlen lassen sich auf Grund neuer Produktverkäufe vorhersagen?
  • Wie lassen sich diverse Entscheidungen bewerten, wenn man Erfahrungswerte aus der Vergangenheit heranzieht?

Die „Ad hoc DSS“ sind weitaus interessanter und anspruchsvoller als die wiederkehrenden „institutionellen DSS“.

7. Warum ist der TPC-H Benchmark so ein guter Leistungstest für Datenbank-Managementsysteme?

Weil er Unternehmen objektive Vergleichswerte an die Hand gibt. Im Mittelpunkt stehen ja zunehmend Systeme, die extrem große Datenmengen verarbeiten, hochkomplexe Abfragen bewältigen und wichtige Entscheidungsgrundlagen für geschäftskritische Fragen liefern können.

In den vergangenen Jahren wurden über 220 TPC-H Benchmarks durchgeführt. Die meisten Hersteller testeten ihre Datenbanken auf unterschiedlicher Hardware und mit diversen Skalierungsfaktoren.

Durch die standardisierte Datengenerierung und fest spezifizierten Ad-hoc Abfragen lassen sich die Ergebnisse der Hersteller besser vergleichen. Man sieht auf einem Blick, wie schnell eine Datenbank arbeitet und wie gut sie skalieren kann, auch wenn sie auf unterschiedlicher Hardware läuft.

Darüber hinaus sind die Abfragen und die Datenbankinhalte so gestaltet, dass sie branchenübergreifende Relevanz haben.

8. Wie läuft so ein typischer TPC-H Benchmark ab?

In der offiziellen Spezifikation wird auf 137 Seiten alles exakt definiert (Download als PDF). Hier nur einkurzer Überblick:

  • Das Datenbankschema liegt in der dritten Normalform (3NF) vor und enthält acht Tabellen.
  • Der Benchmark kann auf verschiedenen Daten-Volumina ausgeführt werden, den so genannten „Scale-Faktoren“. Jede Größe entspricht der Rohdatenmenge des Data Warehouses.
  • Sechs der acht Tabellen wachsen linear mit der Datenbank-Größe und enthalten gleichverteilte Werte.
  • Jeweils 22 komplexe und langlaufende Anfragen sowie zwei Beladungs-Prozesse (INSERT und UPDATE) werden in parallelen Sessions ausgeführt, um die Nebenläufigkeit (Concurrency) zu testen.
  • Die Anzahl an parallelen Sessions steigt mit dem Daten-Volumen ndash; z.B. müssen mindestens elf parallele Sessions im 100 TB Benchmark ausgeführt werden.
  • Ein Großteil der 137 Seiten befasst sich mit dem Verbot von unerlaubten Methoden, die Abfragen künstlich beschleunigen würden. Mogeleien werden somit verhindert.
  • Bevor ein Benchmark-Ergebnis veröffentlicht werden kann, muss die Kombination aus Hardware und Software von unabhängigen externen Prüfern zertifiziert werden, um sicherzustellen, dass alle Anforderungen korrekt eingehalten werden.

9. Ist der TPC-DS Benchmark eigentlich nicht noch besser als der TPC-H?

Dieser Benchmark wurde vor dem Hintergrund entwickelt, eine möglichst breite Palette an Features testen zu können. Da aber bisher kein einziger Hersteller ein Resultat veröffentlicht hat, besitzt dieser Benchmark wenig Aussagekraft.

Einige Hersteller haben vereinzelt interne Ergebnisse veröffentlicht, die daraufhin hinweisen, dass sie den Benchmark durchgeführt haben. Allerdings werden dann zumindest die Einfachsten der 99 möglichen Abfragen rausgepickt. Es wird auch nicht offengelegt, wie viele der 99 Abfragevarianten die Datenbank überhaupt ausführen kann. Zudem sind solche Ergebnisse auch nicht zertifiziert und müssen daher immer mit Vorsicht genossen werden.

Übrigens: EXASolution kann sämtliche 99 Abfragen des TPC-DS Benchmarks ausführen.

10. Wie schneidet EXASOL beim TPC-H Benchmark ab?

Auf diese Frage habe ich gewartet!

Unsere Ergebnisse von vor drei Jahren finden Sie hier.

Zusammenfassend lässt sich sagen, dass wir um ein Vielfaches schneller sind als unser Wettbewerb. Vielleicht hätten Sie den einen oder anderen Konkurrenten vor uns vermutet, aber wir können mit Stolz verkünden, dass wir selbst namhafte, renommierte Hersteller besiegt haben.

Tatsächlich konnten unsere Ergebnisse aus 2011 nur einmal geschlagen werden …

… nämlich von uns selbst. Unsere neuesten Ergebnisse von 2014 sind aktuell hier veröffentlicht.

Somit sind wir Sieger in allen existierenden Datenvolumen-Kategorien – und das immer mit einem extremen Vorsprung vor dem Wettbewerb.

Einen ersten grafischen Vergleich sehen Sie hier.

So funktioniert die schnellste Datenbank der Welt

Das technische Whitepaper erklärt, warum EXASOL im TPC-H Benchmark 2014 die Konkurrenz weit hinter sich ließ.

play_arrow Jetzt herunterladen

Abonnieren Sie unser Blog