Die auf Software im Umfeld von Apache Hadoop ausgerichtete Cloudera hat mit "Dataflow" einen Cloud-nativen Datenfluss-Service zur Verarbeitung hybrider Streaming-Workloads auf der Cloudera Data Platform (CDP) lanciert. Mit Cloudera Dataflow für die Public Cloud sollen Anwender nun komplexe Datenflussvorgänge automatisieren, die betriebliche Effizienz von Streaming-Datenflüssen mit automatischen Skalierungsfunktionen steigern und Cloud-Kosten senken können, indem die Dimensionierung der Infrastruktur nicht länger auf Vermutungen beruht, verspricht das Unternehmen mit Sitz in Palo Alto im Silicon Valley.
Laut IDC's "Worldwide Global Datasphere IoT Device and Data Forecast", 2021-2025, wird ein exponentielles Wachstum des Data-in-Motion-Volumens von bis zu 79 ZB über alle Branchen hinweg erwartet. Viele Unternehmen nutzen demnach bereits Apache Nifi, um Daten über hybride Cloud-Architekturen durch die visuelle Gestaltung von No-Code-Datenflüssen zu erfassen und zu verarbeiten. Auch wenn die Cloud eine einfache Möglichkeit zur Verarbeitung oder Speicherung grosser Datenmengen biete, gebe es mehrere Herausforderungen, die es zu bewältigen gelte. Die Bereitstellung zahlreicher anspruchsvoller Datenströme in einem einzigen Cluster könne Betriebs- und Monitoring-Probleme verursachen. Wenn mehrere Nifi-Flows um dieselben Ressourcen konkurrierten, könne dies zu Leistungsproblemen führen.
"Cloudera Dataflow automatisiert und verwaltet Cloud-native Datenflüsse auf Kubernetes – und das bieten nur wir an", betont Dinesh Chandrasekhar, Head of Product Marketing, Data-in-Motion bei Cloudera. "Damit können unsere Kunden die betriebliche Effizienz ihrer Streaming-Workloads ganz einfach steigern und Infrastrukturkosten in der Public Cloud einsparen."
"Unternehmen müssen den Spagat zwischen Effizienz und Leistung auf der einen Seite und Kostenkontrolle auf der anderen Seite schaffen, wenn sie ihre Streaming-Workloads skalieren", erklärt wiederum Maribel Lopez, Founder and Principal Analyst bei Lopez Research. "Die Einführung von Hybrid-Cloud-Architekturen verstärkt diese Herausforderung zusätzlich. Technologieführer benötigen intelligente Lösungen, die ihnen helfen, den Ausführungs- und Verwaltungsprozess von Workloads in der Cloud zu optimieren."
Einige wichtige Betriebs- und Monitoring-Funktionen von Cloudera Dataflow:
- Zentraler Datenfluss-Katalog für Verwaltbarkeit, Erkennung und Versionskontrolle
- Zentrales Dashboard für Monitoring, zur Fehlerbehebung und zur Leistungsoptimierung von Datenströmen über mehrere Cloud-Cluster hinweg
- Einfacher Bereitstellungsassistent und robuste APIs für die automatische Skalierung von Datenflüssen auf Kubernetes, die von der Cloudera Data Platform (CDP) verwaltet werden
- Vordefinierte Abläufe, so genannte "Readyflows", für einige der gängigsten Streaming-Anwendungsfälle
Cloudera Dataflow für die Public Cloud ist ab sofort auf AWS verfügbar. Weitere Informationen zu Preisen finden auf der Preisübersicht!!
