mini|290x290px|Big Data-Taxonomie des NIST: Data Mining ist ein zentraler Baustein innerhalb der Big Data-Architektur und für die Analyse von Daten verantwortlich.
Data Mining [] (deutsch wortwörtlich: „Daten-Abbau“) bezeichnet als ein Teilgebiet der Informatik und Informationstechnik (IT) die systematische Anwendung statistischer Methoden auf große Datenbestände (z. B. speichert in Datenbanken) mit dem Ziel, neue Querverbindungen und Trends oder Muster zu erkennen und die daraus gewonnene Information weiter zu verwenden.
Entwicklungsgeschichte In der Praxis wurde der Unterbegriff Data Mining bereits in den 1990er bis 2000er Jahren auf die Prozesse der sogenannten „Knowledge Discovery in Databases“, KDD (dt. etwa „Wissensentdeckung in Datenbanken“) übertragen, der auch Schritte wie die computerbasierte Vorverarbeitung und Auswertung der Daten beinhaltet, während Data Mining im engeren Sinne nur den eigentlichen Schritt der Analyse des Prozesses bezeichnet. Gegenstand der Technik waren ursprünglich die relationalen Datenbanken als Teil der Datenbankmodelle.
Die interdisziplinäre Technologie bzw. das Fachthema Data Mining stellt seit den 2010er Jahren eine Weiterentwicklung dar und geht mit dem Aufkommen großer Datenmengen einher. Data Mining ist in seiner funktionalen Anwendung ein wesentlicher Bestandteil von Big-Data-Infrastrukturen geworden. Informationen sind grundlegend seit etwa den 2000er Jahren im Zuge des Informationszeitalter vom Analogen ins Digitale verschoben worden („Datafizierung“).
Definition
Fachleute definieren Data Mining als „ein[en] Schritt des KDD-Prozesses, der darin besteht, Datenanalyse- und Entdeckungsalgorithmen anzuwenden, die unter akzeptablen Effizienzbegrenzungen eine spezielle Auflistung von Mustern (oder Modellen) der Daten liefern“.
Nach einer Definition des NIST versteht man unter dem Data Mining einen „analytischen Prozess, der darauf abzielt, in großen Datensätzen Korrelationen oder Muster zu finden, um Daten oder Wissen zu erschließen.“
Begriffsfindung Der Begriff und das dazugehörige Fachgebiet sind bildlich an den Abbau von Erz angelehnt, wobei es um digitale Daten geht. Eine etablierte deutsche Übersetzung für den englischen Terminus Data Mining existiert jedoch nicht.[Von der Zeitschrift „Künstliche Intelligenz“ …] „wurde ein Wettbewerb durchgeführt, einen adäquaten deutschen Begriff zu finden. Und so leid es mir tut, es wurde kein adäquater deutscher Begriff gefunden.“
Es gab verschiedene Versuche, eine sachlich in allen Aspekten zutreffende deutsche Bezeichnung für den englischen Ausdruck zu finden. Der Duden beschränkt sich auf den eingedeutschten Anglizismus „Data Mining“. Vorschläge zur Eindeutschung sind beispielsweise „Datenmustererkennung“, was oft als Wiedererkennung bestehender Muster missinterpretiert wird, oder „Datenschürfung“, was der Originalbedeutung nicht vollkommen gerecht wird.
Der Fremdwörter-Duden verwendet als wörtliche Übersetzung „Datenförderung“, kennzeichnet dies aber als nicht passende Übersetzung.Duden – Das Fremdwörterbuch: „engl. eigtl. ‚Datenförderung‘“ Auch der gezielte Aufruf nach Vorschlägen durch die Zeitschrift für Künstliche Intelligenz brachte keine überzeugenden Vorschläge. Keiner dieser Bezeichner konnte nennenswerte Verbreitung erreichen, oft da bestimmte Aspekte des Themas wie die Wissensentdeckung verloren gehen, und falsche Assoziationen wie zur Mustererkennung im Sinne von Bilderkennung entstehen.
Gelegentlich wird die deutsche Bezeichnung „Wissensentdeckung in Datenbanken“ verwendet, die den gesamten Prozess umfasst, der auch den Data Mining-Schritt enthält. Des Weiteren betont diese Bezeichnung sowohl die wissenschaftlichen Ansprüche, als auch, dass der Prozess in der Datenbank abläuft. Der Fokus liegt dabei auf der quantitativen Datenauswertung und nicht auf der subjektiven oder qualitativen.
Abgrenzung Die reine Erfassung, Speicherung und Verarbeitung (vgl. das EDV-Prinzip) von großen Datenmengen wird gelegentlich ebenfalls als Data Mining bezeichnet. Im wissenschaftlichen Kontext bezeichnet Data Mining jedoch primär die Extraktion von Wissen, das „gültig (im statistischen Sinne), bisher unbekannt und potentiell nützlich“ ist „zur Bestimmung bestimmter Regelmäßigkeiten, Gesetzmäßigkeiten und verborgener Zusammenhänge“.
Die Bezeichnung Data Mining ist selbst irreführend, denn es geht um die Gewinnung von Wissen aus bereits vorhandenen Daten und nicht um die Generierung oder das Abgreifen von Daten selbst. Die prägnante Bezeichnung hat sich dennoch durchgesetzt.
Weitere Deskriptoren oder Themengebiete, die mit dem Data Mining Berührungspunkte haben, sind:
Big Data (Data Mining ist ein Teil davon) Big Tech (Unternehmen, die große Datenmengen verarbeiten) Digitale Transformation Data Science (Fachgebiet) Digital Engineering (Fachgebiet) Text Mining Web Mining
Technische Elemente Statistische Basis Viele der im Data Mining eingesetzten Verfahren stammen eigentlich aus der Statistik, insbesondere der multivariaten Statistik und werden oft nur in ihrer Komplexität für die Anwendung im Data Mining angepasst, oft dabei zu Ungunsten der Genauigkeit approximiert. Der Verlust an Genauigkeit geht oft mit einem Verlust an statistischer Gültigkeit einher, so dass die Verfahren aus einer rein statistischen Sicht mitunter sogar „falsch“ sein können. Für die Anwendung im Data Mining sind oft jedoch der experimentell verifizierte Nutzen und die akzeptable Laufzeit entscheidender als eine statistisch bewiesene Korrektheit.
Das Schließen von Daten auf (hypothetische) Modelle wird als Statistische Inferenz bezeichnet.
Datenbank-Technik Die Forschung und Entwicklung im Bereich der Datenbanksysteme, insbesondere von Indexstrukturen spielt für das Data Mining eine große Rolle, wenn es darum geht, die Komplexität zu reduzieren. Typische Aufgaben wie Nächste-Nachbarn-Suche können mit Hilfe eines geeigneten Datenbankindexes wesentlich beschleunigt werden und die Laufzeit eines Data-Mining-Algorithmus dadurch verbessert werden.
Data Mining und Maschinelles Lernen Ebenfalls eng verwandt ist das seit den 2010er Jahren aufkommende Thema maschinelles Lernen. Jedoch liegt beim Data Mining der Fokus auf dem Finden „neuer“ Muster, während im maschinellen Lernen primär „bekannte“ Muster vom Computer automatisch in neuen Daten wiedererkannt werden sollen. Eine einfache Trennung ist hier jedoch nicht immer möglich: Werden beispielsweise Assoziationsregeln aus den Daten extrahiert, so ist das ein Prozess, der den typischen Data Mining-Aufgaben entspricht; die extrahierten Regeln erfüllen aber auch die Ziele des maschinellen Lernens. Umgekehrt ist der Teilbereich des unüberwachten Lernens aus dem maschinellen Lernen sehr eng mit Data Mining verwandt. Verfahren aus dem maschinellen Lernen finden oft im Data Mining Anwendung und umgekehrt.
Informationsbeschaffung
Das Information Retrieval (IR) ist ein weiteres Fachgebiet, das von Erkenntnissen des Data Mining profitiert. Hier geht es vereinfacht gesprochen um die computergestützte Suche nach komplexen Inhalten, aber auch um die Präsentation für den Nutzer. Data Mining-Verfahren wie die Clusteranalyse finden hier Anwendung, um die Suchergebnisse und ihre Präsentation für den Nutzer zu verbessern, beispielsweise indem man ähnliche Suchergebnisse gruppiert. Text Mining und Web Mining sind zwei Spezialisierungen des Data Mining, die eng mit dem Information Retrieval verbunden sind.
Die Datenerhebung, also das Erfassen von Informationen in einer systematischen Art und Weise, ist eine wichtige Voraussetzung, um mit Hilfe von Data Mining gültige Ergebnisse bekommen zu können. Wurden die Daten statistisch unsauber erhoben, so kann ein systematischer Fehler in den Daten vorliegen, der anschließend im Data Mining-Schritt gefunden wird. Das Ergebnis ist dann unter Umständen keine Konsequenz der beobachteten Objekte, sondern verursacht durch die Art, in welcher die Daten erfasst wurden.
Verfahren mini|209x209px|Das Cross Industry Standard Process for Data Mining (CRISP-DM) ist ein offenes Prozessmodell, das von Data Mining-Experten entwickelt wurde und genutzt werden kann. Es stellt ein Vorgehen und einen Lebenszyklus im Umgang mit Daten (im Zentrum die Datenbank) dar.
Im engeren Sinne ist Data Mining der eigentliche Analyseschritt des Knowledge-Discovery-in-Databases-Prozesses. Die Schritte des iterativen Prozesses (siehe die Schritte des CRISP-DM-Prozessmodell, oben links beginnend) sind grob umrissen: Aufgabendefinition, Zweck oder Anforderung (Kundenanforderung) Fokussieren und Verstehen: die Datenerhebung und Selektion, aber auch das Bestimmen bereits vorhandenen Wissens Daten-Vorverarbeitung: die Datenbereinigung, bei der Quellen integriert und Inkonsistenzen beseitigt werden, beispielsweise durch Entfernen oder Ergänzen von unvollständigen Datensätzen. Transformation in das passende Format für den Analyseschritt, beispielsweise durch Selektion von Attributen oder Diskretisierung der Werte Modellierung: Der Data-Mining-Schritt selbst, also die eigentliche Analyse Evaluation der gefundenen Muster durch den Experten und Kontrolle der erreichten Ziele Einsatz der Ergebnisse oder weiterer Iterationsschritt In weiteren Iterationen kann nun bereits gefundenes Wissen verwendet („in den Prozess integriert“) werden, um in einem erneuten Durchlauf zusätzliche oder genauere Ergebnisse zu erhalten.
Aufgabenstellungen Typische Aufgabenstellungen des Data Mining sind: Ausreißer-Erkennung: Identifizierung von ungewöhnlichen Datensätzen: Ausreißern, Fehlern, Änderungen Clusteranalyse: Gruppierung von Objekten aufgrund von Ähnlichkeiten Klassifikation: bisher nicht Klassen zugeordnete Elemente werden den bestehenden Klassen zugeordnet. Assoziationsanalyse: Identifizierung von Zusammenhängen und Abhängigkeiten in den Daten in Form von Regeln wie „Aus A und B folgt normalerweise C“. Regressionsanalyse: Identifizierung von Beziehungen zwischen (mehreren) abhängigen und unabhängigen Variablen Zusammenfassung: Reduktion des Datensatzes auf eine kompaktere Beschreibung ohne wesentlichen Informationsverlust Diese Aufgabenstellungen können noch grob gegliedert werden in Beobachtungsprobleme (Ausreißer-Erkennung, Clusteranalyse) und Prognoseprobleme (Klassifikation, Regressionsanalyse).
Ausreißer-Erkennung
In dieser Aufgabe werden Datenobjekte gesucht, die inkonsistent zu dem Rest der Daten sind, beispielsweise indem sie ungewöhnliche Attributswerte haben oder von einem generellen Trend abweichen. Das Verfahren Local Outlier Factor sucht beispielsweise Objekte, die eine von ihren Nachbarn deutlich abweichende Dichte aufweisen, man spricht hier von „dichtebasierter Ausreißer-Erkennung“.
Identifizierte Ausreißer werden oft anschließend manuell verifiziert und aus dem Datensatz ausgeblendet, da sie die Ergebnisse anderer Verfahren verschlechtern können. In manchen Anwendungsfällen wie der Betrugserkennung sind aber gerade die Ausreißer die interessanten Objekte.
Clusteranalyse
Bei der Clusteranalyse geht es darum, Gruppen von Objekten zu identifizieren, die sich auf eine gewisse Art ähnlicher sind als andere Gruppen. Oft handelt es sich dabei um Häufungen im Datenraum, woher der Begriff Cluster kommt. Bei einer dichteverbundenen Clusteranalyse wie beispielsweise DBSCAN oder OPTICS können die Cluster aber beliebige Formen annehmen. Andere Verfahren wie der EM-Algorithmus oder k-Means-Algorithmus bevorzugen sphärische Cluster.
Objekte, die keinem Cluster zugeordnet wurden, können als Ausreißer im Sinne der zuvor genannten Ausreißer-Erkennung interpretiert werden.
Klassifikation