Data Science IoT-Basics: Die Technologie-Basis von Big Data

Big Data beinhaltet eine Reihe von IT-Technologien wie Cluster-Computing und MapReduce sowie mathematisch-statistischer Verfahren (Data Mining, Machine Learning). Der Beitrag gibt einen Überblick über die relevanten Datenbankenkonzepte (Hadoop- und NoSQL-Datenbanken) und Programmiersprachen.

Hinter dem Begriff Big Data verbirgt sich eine Reihe konkreter IT-Technologien und mathematisch-statistischer Verfahren, mit dem die im Einführungskapitel zitierten Herausforderungen gemeistert werden sollen. Die folgende Übersicht zeigt, in welche Kategorien sich diese Technologien und Verfahren einteilen lassen. Neben den traditionellen SQL-Datenbanken und Data Warehouse werden mit Hadoop- und NoSQL-Datenbanken neue Ansätze der Datenhaltung in verteilten Computerclustern verfolgt, die deren Limitierungen hinsichtlich Skalierbarkeit, aber auch Kosten aufheben.

Datenzugriff: Das MapReduce-Verfahren und eine Vielzahl darauf aufbauender Abfragetechnologien ergänzen den traditionellen Ansatz des Datenzugriffs per SQL-Sprache. Für zeitkritische Auswertungen werden die Daten als Livestream mittels Stream Analytics und Complex Event Processing (CEP) untersucht. In-Memory Datenbanken ermöglichen High-Speeds die Verarbeitung großer Datenmengen.