mini|Farbliche Darstellung der Aktivität eines Wikipedia-Bots über einen längeren Zeitraum: typisches Beispiel der Veranschaulichung von Big Data mit einer Visualisierung
Der aus dem englischen Sprachraum stammende Begriff Big Data [] (von ‚groß‘ und ‚Daten‘, deutsch auch Massendaten) steht in engem Zusammenhang mit dem umfassenden Prozess der Datafizierung und bezeichnet Datenmengen, welche zu groß, zu komplex, zu schnelllebig oder zu schwach strukturiert sind, um sie mit manuellen und herkömmlichen Methoden der Datenverarbeitung auszuwerten.W. Christl: Kommerzielle digitale Überwachung im Alltag. PDF, auf: crackedlabs.org, November 2014, S. 12.
Big Data wird häufig als Sammelbegriff für digitale Technologien verwendet, die in technischer Hinsicht für eine neue Ära digitaler Kommunikation und Verarbeitung und in sozialer Hinsicht für einen gesellschaftlichen Umbruch verantwortlich gemacht werden.R. Reichert: Big Data: Analysen zum digitalen Wandel von Wissen, Macht und Ökonomie. transcript Verlag, Bielefeld 2014, S. 9. Dabei unterliegt der Begriff als Schlagwort einem kontinuierlichen Wandel; so wird damit ergänzend auch oft der Komplex der Technologien beschrieben, die zum Sammeln und Auswerten dieser Datenmengen verwendet werden.President’s Council of Advisors for Science and Technology: Big Data: Seizing Opportunities, Preserving Values, Executive Office of the President, Mai 2014.Edd Dumbill: auf: strata.oreilly.com, 11. Januar 2012.
Begriff In der Definition von Big Data bezieht sich das „Big“ auf die vier Dimensionen volume (Umfang, Datenvolumen), velocity (Geschwindigkeit, mit der die Datenmengen generiert und transferiert werden), variety (Bandbreite der Datentypen und -quellen)Gartner IT Glossary: „Big data is high-volume, high-velocity and high-variety in formation assets that demand cost- effective, innovative forms of information processing for enhanced insight and decision making“. Abgerufen am 15. Januar 2016 von: http://www.gartner.com/it-glossary/big-data sowie veracity (Echtheit von Daten).
Erweitert wird diese Definition um die zwei Vs value (Wert) und validity (Richtigkeit), welche für einen unternehmerischen Mehrwert und die Sicherstellung der Datenqualität stehen.R. Bachmann, T. Gerzer, D. G. Kemper: Big Data – Fluch oder Segen? – Unternehmen im Spiegel gesellschaftlichen Wandels. Mitp Verlag, Heidelberg / München / Landsberg / Frechen / Hamburg 2014, S. 23ff, 2014, S. 27ff.
Weitere Bedeutungen Big Data bezeichnet primär die Verarbeitung von großen, komplexen und sich schnell ändernden Datenmengen. Als Buzzword bezeichnet der Begriff in den Massenmedien aber andere Bedeutungen: Überwachung der Menschen durch Geheimdienste auch in westlichen Staaten bspw. durch Vorratsdatenspeicherung Verletzung von Persönlichkeitsrechten von Kunden durch Unternehmen Zunehmende Intransparenz der Datenspeicherung durch Delokalisierung (Cloud Computing) Wunsch der Industrie aus den vorhandenen Daten einen Wettbewerbsvorteil erlangen zu können Automatisierung von Produktionsprozessen (Industrie 4.0, Internet der Dinge) Intransparente Automatisierung von Entscheidungsprozessen in SoftwareStefan Schulz: Wir und unsere virtuellen Zombies. In: FAZ. 15. September 2014, abgerufen am 19. Februar 2015.Götz Hamann, Adam Soboczynski: Der Angriff der Intelligenz. In: Die Zeit. 10. September 2014, abgerufen am 19. Februar 2015. Einsatz neuer Technologien statt Standardsoftware (insbesondere in Unternehmen mit einer konservativen IT oft durch Verwendung von Software as a Service um firmeninterne IT-Einschränkungen zu umgehen) Entwicklung von eigenen Softwarelösungen („inhouse IT“) statt des Einsatzes von „off-the-shelf“ Software durch Fremdunternehmen Werbung, basierend auf Daten über die Internet- und Handynutzung Organisation von Zusammenarbeit im Rahmen von People Analytics Projekten, selbst wenn in diesem Zuge teilweise weder große noch komplexe Datenmengen anfallen.
Datenherkunft Die gesammelten Daten können dabei aus verschiedensten Quellen stammen (Auswahl): Aufzeichnungen verschiedenster Überwachungssysteme,Innovationspotenzialanalyse. Fraunhofer IAIS, 2012, abgerufen am 17. Mai 2016. die Nutzung von Kunden- oder Bank- bzw. Bezahlkarten (Giro („EC“)-, Kreditkarte), jegliche elektronische Kommunikation, dabei auch die persönlich geprägte, individuell unterschiedliche Art und Weise der Benutzung z. B. eines Smartphones (manuelle Eingabemuster,Hannes Grassegger, Mikael Krogerus: Ich habe nur gezeigt, dass es die Bombe gibt. auf: dasmagazin.ch, 48., 3. Dezember 2016. geografische Bewegungsmuster, Sensordaten des Smartphones), geschäftliche bzw. private Nutzung elektronischer Geräte oder Systeme wie Fitness- bzw. Gesundheitsarmbänder bzw. Wearables wie „Activity Tracker“ oder Smartwatches, Ambient Assisted Living (umgebungsunterstütztes Leben) oder globaler Navigationssysteme wie GPS, Smartphones, Computer usw., die Nutzung von Social-Media-Informationen und -Interaktionen, Kraftfahrzeuge (insbesondere im Kontext des vernetzten Autos), vernetzte Technik in Häusern (Smart Homes, Smart Meter), von Behörden und Unternehmen erhobene und gesammelte Daten.
Big Data umfasst auch Bereiche, die als intim bzw. privat gelten: Der Wunsch der Industrie und bestimmter Behörden, möglichst freien Zugriff auf diese Daten zu erhalten, sie besser analysieren zu können und die gewonnenen Erkenntnisse zu nutzen, gerät dabei unweigerlich in Konflikt mit geschützten Persönlichkeitsrechten der Einzelnen. Ein Ausweg ist allein durch eine Anonymisierung der Daten zu erreichen. Klassische Anwender sind Provider sozialer Netzwerke und von Suchmaschinen. Die Analyse, Erfassung und Verarbeitung von großen Datenmengen ist heute in vielen Bereichen alltäglich.
Big Data kann Geschäftsprozessverbesserungen in allen Funktionsbereichen von Unternehmen, vor allem aber im Bereich der Technologieentwicklung und Informationstechnik sowie des Marketings ermöglichen. Die Erhebung und Verwertung der Datenmengen dient dabei im Allgemeinen der Umsetzung von Unternehmenszielen oder zur staatlichen Sicherheit. Bisher haben vor allem große Branchen, Unternehmen und Anwendungsbereiche der Wirtschaft, Marktforschung, Vertriebs- und Servicesteuerung, Medizin, Verwaltung und Nachrichtendienste die entsprechenden digitalen Methoden für sich genutzt: Die erfassten Daten sollen weiterentwickelt und nutzbringend eingesetzt werden. Die Erhebung der Daten dient dabei meistens für konzernorientierte Geschäftsmodelle sowie Trendforschung in den sozialen Medien und Werbeanalysen, um zukunftsweisende und möglicherweise gewinnbringende Entwicklungen zu erkennen und in Prognosen umzumünzen.Kommerzielle digitale Überwachung im Alltag. (PDF; 1,6 MB) auf: crackedlabs.org. S. 12 ff.
Wachstum Mengen von Daten wachsen typischerweise exponentiell. Berechnungen aus dem Jahr 2011 zufolge verdoppelt sich das weltweite erzeugte Datenvolumen alle 2 Jahre.Klaus Manhart: In: CIO. 12. Juli 2011. Diese Entwicklung wird vor allem getrieben durch die zunehmende maschinelle Erzeugung von Daten z. B. über Protokolle von Telekommunikationsverbindungen (Call Detail Record, CDR) und Webzugriffen (Logdateien), automatische Erfassungen von RFID-Lesern, Kameras, Mikrofonen und sonstigen Sensoren. Big Data fällt auch in der Finanzindustrie an (Finanztransaktionen, Börsendaten) sowie im Energiesektor (Verbrauchsdaten) und im Gesundheitswesen (Abrechnungsdaten der Krankenkassen). In der Wissenschaft fallen ebenfalls große Datenmengen an, z. B. in der Geologie, Genetik, Klimaforschung und Kernphysik. Der IT-Branchenverband Bitkom hat Big Data als einen Trend im Jahr 2012 bezeichnet. Bei großen Datenkomplexen verbietet sich der unwirtschaftliche Aufwand für ein Speichern auf Vorrat. Dann werden lediglich Metadaten gespeichert oder das Auswerten setzt mitlaufend oder höchstens gering zeitversetzt mit dem Entstehen der Daten auf.
Zugang zu einem entsprechenden Datenvolumen haben die entsprechenden Konzerne, etwa Suchmaschinen, und bestimmte staatliche Institutionen, etwa Geheimdienste.Siehe beispielsweise Armin Grunwald im Interview:
Beispiele In der Forschung können durch Verknüpfung großer Datenmengen und statistische Auswertungen neue Erkenntnisse gewonnen werden, insbesondere in Disziplinen, in denen bisher viele Daten noch von Hand ausgewertet wurden. Unternehmen erhoffen sich von der Analyse von Big Data Möglichkeiten zur Erlangung von Wettbewerbsvorteilen, zur Generierung von Einsparungspotentialen und zur Schaffung neuer Geschäftsfelder. Staatliche Stellen erhoffen sich dagegen bessere Ergebnisse in der Kriminalistik und Terrorismusbekämpfung. Beispiele für erwartete Vorteile sind: Aufbau flexibler Billingsysteme in der Telekommunikation Auffinden von Fachkräften durch datengestützte Webanalysen Bessere, schnellere Marktforschung Bonitätsprüfung (Big-Data-Kreditscoring) Datenzugriff und -analyse raumzeitlicher Rasterdaten in Wissenschaft und Industrie, beispielsweise nach dem Open-Geospatial-Consortium-Standard („Web Coverage Service“) Direktmarketing: direkte, persönliche Ansprache von z. B. Kunden oder beispielsweise Wählern zur Beeinflussung von Kauf- bzw. Wahlentscheidungen oder mit dem Ziel sonstiger Meinungs- oder Verhaltensbeeinflussung Entdeckung von Unregelmäßigkeiten bei Finanztransaktionen (Fraud-Detection) Einführung und Optimierung einer intelligenten Energieverbrauchssteuerung (Smart Metering) Erkennen von Zusammenhängen in der medizinischen Diagnostik Erstellung von Bewegungs-, Kauf-, Persönlichkeitsprofilen (siehe z. B. Big Five (Psychologie)) Echtzeit-Cross- und Upselling im E-Commerce und stationären Vertrieb Fabriksteuerung, Produktionsplanung und vorausschauende Wartungsmaßnahmen im Kontext von Industrie 4.0 Geheimdienstliches Erstellen von Bewegungsprofilen mit Programmen wie Boundless Informant IT Operations Analytics: Das Anwenden der „Big Data“-Prozesse auf IT-Systeme, um effizientes und innovatives IT-Management zu betreiben. Nutzbarmachung von großen Datenmengen in der Landwirtschaft (im Zuge von Smart Farming) Risikobewertung und Anpassung von Versicherungsbeiträgen in Abhängigkeit vom Verhaltensmuster (Beitragsgestaltung PKW je nach Fahrweise, S. 23–25. für die Krankenversicherung je nach gesundheitsbezogenem Verhalten) Vorhersage von Epidemien Verbesserungen der Arbeitsbedingungen für Mitarbeiter, etwa die Reduzierung von Burn-out-Raten, durch datenbasierte Change ProjekteBen Waber: People Analytics: How Social Sensing Technology Will Transform Business and What It Tells Us about the Future of Work. Financial Times Prent. Int., 2013, ISBN 978-0-13-315831-1. Verarbeitung von Daten aus Wettersatelliten und anderen naturwissenschaftlich eingesetzten Sensoren Zeitnahe Auswertung von Webstatistiken und Anpassung von Onlinewerbemaßnahmen (wird seit Längerem angewandt)
Die reine Analyse von Kundendaten ist jedoch noch nicht automatisch Big Data – oft handelt es sich bei vielen Anwendungen aus dem Marketing viel mehr um Small-Data-Analytics.
Verarbeitung von Big Data Klassische relationale Datenbanksysteme sowie Statistik- und Visualisierungsprogramme sind oft nicht in der Lage, derart große Datenmengen zu verarbeiten. Für Big Data kommen daher neue Arten von Datenspeicher- und Analyse-Systemen zum Einsatz, die parallel auf bis zu Hunderten oder Tausenden von Prozessoren beziehungsweise Servern arbeiten, wie zum Beispiel in kognitiven Systemen. Dabei gibt es unter anderem folgende Probleme:
Verarbeitung vieler Datensätze Verarbeitung vieler Spalten innerhalb eines Datensatzes Schneller Import großer Datenmengen Sofortige Abfrage importierter Daten (Realtime Processing) Kurze Antwortzeiten (Latenz und Verarbeitungsdauer) auch bei komplexen Abfragen Möglichkeit zur Verarbeitung vieler gleichzeitiger Abfragen (Concurrent Queries) Analyse verschiedenartiger Informationstypen (Zahlen, Texte, Bilder, …)