Überblick
Auf dem Höhepunkt des Tech Booms schien Big Data-Computing der Traum eines jeden Datenwissenschaftlers zu sein. Doch wegen unzureichender Tools und komplexer Systeme wurde Big Data schnell zu einem IT-Albtraum. Teradata ist mit Lösungen in die Branche eingestiegen, die kontinuierlich Antworten auch in großem Maßstab liefern.
Das Versprechen von Big Data
Eine der frühesten Erwähnungen von "Big Data" kam auf dem Höhepunkt des Tech Booms, als das Internet, die Vernetzung sowie Datenverarbeitungs- und Speicherkapazitäten immer größer wurden. Wie einige bekannte Informatiker schrieben: "So wie Suchmaschinen den Zugang zu Informationen verändert haben, können und werden andere Formen des Big Data-Computings die Aktivitäten von Unternehmen, wissenschaftlichen Forschern und Ärzten sowie des Verteidigungsministeriums und von Geheimdiensten unseres Landes verändern. Big Data-Computing ist vielleicht die größte Innovation im Computing in den letzten zehn Jahren."
Das Versprechen von Big Data lautete, alle Daten eines Unternehmens in einem beispiellosen Umfang zu erfassen und zu sammeln. Unternehmen können Daten aufbewahren, die sie zuvor möglicherweise weggeworfen hätten, um das Kundenverhalten besser zu verstehen, Vorhersagen über Markt- und Umweltergebnisse zu treffen und vieles mehr. Analysten prognostizierten, dass Big Data einen Gesamtumsatz von 50 Milliarden US-Dollar oder mehr generieren würde.
Das Problem mit Big Data
Nachdem Unternehmen jedoch Plattformen wie Apache Hadoop für die Stapelverarbeitung von Big Data und die Ausführung von ETL-Aufträgen (Extract, Transform and Load) eingesetzt hatten, stießen sie auf Hindernisse. Tools wie Hadoop unterstützten die traditionellen Analysen, die für den täglichen Betrieb erforderlich sind, nicht ausreichend. Es meldeten sich keine SQL-Datenbank- und Object Storage-Anbieter, um diese Speicher- und Verwaltungslücke zu schließen und agile Plattformen für Echtzeit-, Geodaten- und andere Analyseanwendungsfälle bereitzustellen. Wie ein Experte schrieb: "Hadoop wurde nie schnell genug, um das Data Warehouse wirklich zu ersetzen."
Eine weitere Herausforderung war der Aufstieg von Mobile Computing und dem Internet der Dinge (Internet of Things; IoT). Unternehmen mussten nun eine größere Vielfalt an Datenquellen unterstützen. Bald wurde Big Data zu einem Problem – Führungskräfte versuchten nun mit Analytics und Plattformen den Kontext von Daten über Clouds und Quellen hinweg zu verstehen. Über die Erfassung und Speicherung riesiger Datenmengen hinaus suchten IT-Führungskräfte nun nach Anwendungen, Plattformen und Cloud-Infrastrukturanbietern, die Datenanalyse, Integration und Replikation agiler und schneller machen konnten.
Die Rolle von Teradata in Sachen Big Data
Die große Nachfrage nach Big Data-Computing war der Hauptgrund für die Gründung von Teradata. Tatsächlich kommt der Name des Unternehmens von unserer Fähigkeit, Terabytes an Daten zu verwalten. (Heute ist diese Zahl auf viele Petabytes an Daten angewachsen!) Damals war das Speichern und Analysieren großer Datenmengen durch die damals verfügbare Hardware begrenzt. Wir haben dann die Teradata-Datenbank erstellt, um Daten effektiv in großem Maßstab zu verwalten, Unternehmensanalysen zu ermöglichen, technische Probleme zu lösen und die Vorteile einer Integration von Daten in ein Beziehungsmodell zu demonstrieren.
Heute, da das Data Warehouse Dutzende Millionen von Abfragen pro Tag ausführt und geschäftskritische Vorgänge unterstützt, behüten viele Unternehmen zunehmend ihren Big Data-Schatz. Sie schränken häufig den Zugriff ein, was Datenwissenschaftler und Business Analysten daran hindert, nahtlose Berichte zu erstellen und so Erkenntnisse zu gewinnen. Dies führt auch dazu, dass diese Benutzer ihre eigenen Problem-Umgehungen mit ihren eigenen Tools erstellen. Das wiederum sorgt für immer mehr Analysesilos.
Um dem entgegenzuwirken und Big Data-Analytics zu integrieren, erweitert Teradata Vantage die Analyse Engines innerhalb der Datenumgebung, sodass sie in einer Vielzahl von Anwendungsfällen eingesetzt werden können. Anstatt die Funktionen ständig zu replizieren, führt Vantage sie zu einer logisch zentralen Architektur zusammen, in der sie bei Bedarf abgerufen werden können. Teradata ist nun mehr als eine SQL Analytic-Engine und wurde um Machine Learning- und Graph-Engines erweitert – und das ist nur der Anfang. Alle Arten von Programmierern können jetzt auf benötigte Engines und Funktionen zugreifen. Das spart Zeit, minimiert Datenbewegungen und verbessert Konsistenz und Leistung.
Vantage gibt den Engines Zugriff auf vielfältige Datensätze, wir bieten zudem die notwendige Konnektivität über Datenspeicherumgebungen hinweg. Dies erfüllt eine Reihe von Anforderungen, zum einen von Daten, die wiederholt von vielen verwendet werden und Struktur und strenge Governance erfordern, zum anderen von Daten, die nur schnell gespeichert werden müssen, mit unbekannter oder variabler Struktur für eine begrenzte Anzahl von Anwendern. Zudem wissen wir um die Nachteile von eingeschränkten Tools für Data Science. Also haben wir Tools und Sprachen abstrahiert, damit jeder Programmierer mit dem Tool seiner Wahl arbeiten kann. Dies führt zu mehr Erkenntnissen und ist schneller und kostengünstiger, da die Analyse für mehr Anwender zugänglich wird.
Big Data + Agilität = Antworten
Big Data spielt seit Jahrzehnten eine entscheidende Rolle in der digitalen Technologie. Aber das tolle sind nicht die vielen Daten per se - die Macht von Big Data basiert auf der Fähigkeit, den meisten Menschen schnell die richtigen Antworten zu liefern. Von Anfang an arbeiteten wir an der Integration von Big Data-Technologien, da dies offenkundig der Schlüssel zur Verbesserung des Business und für umsetzbare Erkenntnisse war. Heute setzen wir dieses Erbe mit Vantage fort und integrieren Big Data-Analytics. Damit stellen wir sicher, dass Unternehmen schneller zu Antworten kommen und agil bleiben, um den Geschäftserfolg voranzutreiben.