Seit einigen Jahren ist von Big Data die Rede. Es werden immer mehr Daten – und im modernen Geschäftsalltag dreht sich alles um die Analyse und Nutzung dieser Daten. Entscheidend ist die schnelle Analyse und Reaktion auf Ereignisse, um die richtigen Geschäftsentscheidungen zu treffen und sich im Wettbewerb zu behaupten.
So haben die Marktforscher von SNS Telecom & IT in einer aktuellen Studie nur die Big-Data-Investitionen der Versicherungsbranche allein in diesem Jahr auf 2,4 Milliarden US-Dollar hochgerechnet. Auch andere Branchen haben sich von der Big-Data-Euphorie anstecken lassen. Um das Potenzial von Big Data wirklich nutzen zu können, müssen Unternehmen jedoch das riesige, weiterwachsende Volumen, die zunehmende Geschwindigkeit und die Vielfalt dieser Daten zeitnah bewältigen und die Daten sinnvoll verarbeiten.
Neuer Ansatz in der Datenverarbeitung
Stream Processing, also Datenstromverarbeitung, ist eine Big-Data-Technologie und steht für einen neuen Ansatz in der Datenverarbeitung. Der Begriff findet noch nicht lange und auch nicht einheitlich Gebrauch, so ist unter anderem auch von Real-Time Analytics (Echtzeitanalytik), Streaming Analytics, oder (Complex) Event Processing, also (komplexer) Ereignisverarbeitung die Rede. Der grundlegende Ansatz unterscheidet sich von allen bisher verwendeten Technologien zur Datenverarbeitung, zuletzt der Batch-Verarbeitung oder Stapelverarbeitung.
Klassische Datenbanken basieren auf dem Ansatz, dass Daten zunächst abgespeichert werden müssen, um diese zu verarbeiten. Durch Geschäftsanalysesoftware, wie etwa Business-Intelligence-Lösungen, konnten Unternehmen früher nur rückblickend Erkenntnisse aus den Daten gewinnen, um dann – mit entsprechender Verzögerung, quasi im Nachhinein – Massnahmen zu ergreifen. Mit dem enormen Wachstum an verfügbaren Daten hat sich einiges verändert. Die heute immensen Datenmengen sind oft nur kurzfristig im Umlauf und können gar nicht erst langfristig gespeichert werden. Stream Processing bewältigt diese Herausforderung, indem riesige Mengen an Daten, sobald sie generiert werden, in Bewegung – als Datenstrom – verarbeitet werden können.
Was bedeutet dies in der Praxis? Kontinuierlich stattfindende Ereignisse – wie etwa Finanztransaktionen, Website-Verhalten oder Sensordaten aus dem Internet der Dinge – lassen sich nun mit sehr geringer Verzögerung, nahezu in Echtzeit, verarbeiten. Moderne Unternehmen können davon profitieren, weil sie dadurch in der Lage sind, unmittelbar auf diese Ereignisse zu reagieren, sobald sie stattfinden, und somit, wenn sie am kritischsten sind. Ein Beispiel wäre ein Betrugserkennungsprogramm für Kreditkartentransaktionen, das rund um die Uhr läuft. Es erfasst Ereignisse in Echtzeit und liefert wertvolle Einblicke, wenn es Anzeichen auf Kreditkartenbetrug erkennt. Dadurch kann verhindert werden, dass der Betrug tatsächlich stattfinden kann.
Technologischen Wandel vorantreiben
Diesen Wandel in der Datenverarbeitung voranzutreiben, hat sich Data Artisans zum Ziel gesetzt. Das Unternehmen wurde von den Entwicklern von Apache Flink, ein mittlerweile weit verbreitetes Open-Source-Framework für die Stream-Verarbeitung, gegründet. Unterstützt wird Data Artisans von den Gründungskapitalgebern Intel Capital, B-to-V Partners und Tengelmann Ventures. Das Startup hat seinen Hauptsitz in Berlin und betreibt eine Niederlassung in San Francisco. Apache Flink ist eine schlüsselfertige Lösung für die Stream-Verarbeitung, die auch globale Unternehmen wie Alibaba, ING, Netflix und Uber einsetzen.
So wird Apache Flink bereits für die grössten Stream-Processing-Anwendungsfälle der Welt herangezogen. Typische Anwendungsfälle sind Echtzeitanalytik, maschinelles Lernen, Such- und Content-Ranking sowie Betrugserkennung. Anwendungsfälle im Finanzdienstleistungssektor sind beispielsweise Stammdatenmanagement, Kapitalrisikomanagement sowie Echtzeit-Empfehlungen im E-Commerce. Ein weiteres prominentes Beispiel ist Netflix. Das Medienunternehmen verarbeitet mit Flink mehr als fünf Billionen Ereignisse pro Tag, also mehr als 50 Millionen Ereignisse pro Sekunde, auf Tausenden von Prozessorkernen.
Was ist das Erfolgsrezept von Apache Flink? Im Vergleich zu seinen Vorgängern Apache Kafka und Apache Spark wurde Apache Flink von Grund auf als Stream-Processing-Framework mit hohem Durchsatz, geringer Latenzzeit und exakter Semantik konzipiert. Andere Frameworks haben – wie im Falle von Spark – ihre Ursprünge in der Batch-Verarbeitung oder – im Falle von Kafka – in der der Speicherung und Verteilung von Nachrichten und wurden erst später um die Fähigkeit der Datenstromverarbeitung ergänzt.
Es geht flink vorwärts
Apache Flink profitiert somit von der Gunst der jüngsten Entwicklungsgeneration und weist die am schnellsten wachsende Akzeptanzrate unter vielen anderen Open-Source-Projekten auf. Immer mehr anspruchsvolle Anwendungen, die sich die Vorteile des erfolgreichen Frameworks zunutze machen, bilden so eine sich ständig erweiternde Landschaft. Flink wird von der dynamischen und wachsenden Open-Source-Community der Apache Software Foundation entwickelt und unterstützt, in der mehr als 360 Teilnehmer aktiv sind.
Wie zuletzt im September auf der Flink Forward in Berlin bekannt gegeben, wird die Community das Framework in Bezug auf Interoperabilität, SQL-Unterstützung, Skalierung und Robustheit weiterentwickeln. Ziel ist es, die Nutzergruppe von Apache Flink um Anwender mit SQL-Kenntnissen zu vergrössern und den Implementierungsaufwand für viele gängige Anwendungsfälle weiter zu reduzieren. Darüber hinaus möchte die Community den Umgang mit verschiedenen Datenquellen, seien es Echtzeit- oder historische Daten, so einfach wie möglich gestalten. Spannende Neuigkeiten sind auch auf der nächsten Flink Forward im Dezember 2018 und im März 2019 in San Francisco zu erwarten.