Parameter im Zusammenhang mit Modellen der künstlicher Intelligenz (KI) und des maschinellen Lernens (ML) meint in der Regel Modellparameter. Dies sind Konfigurationsvariablen, die im KI-Modell intern vorhanden sind und deren Werte aus Daten durch einen Algorithmus geschätzt werden.Alex Ivankov: What are Parameters in AI Models. In: Profolus, 2023-05-10. Abgerufen am 2023-12-29. Dieser Prozess ist der Trainingsprozess des Modells.
Die Werte der Modellparameter definieren die Fähigkeit des Modells, eine Aufgabe zu lösen. Die Zahl der verwendeten Parameter beeinflusst den benötigten Rechenaufwand, die Geschwindigkeit und die Genauigkeit der Resultate sowie die Fähigkeit des Modells, komplexe Daten zu modellieren oder Aufgaben zu lösen.Emanuel Sallinger: KI-Forscher Sallinger: Grenzen künstlicher Intelligenz kritisch hinterfragen. In: Der Standard, 2023-03-16. Abgerufen am 2023-12-29.
Abhängigkeit vom Verfahren des Maschinellen Lernens Je nach Art des gewählten ML-Verfahren werden unterschiedliche Modellparameter benutzt:
Lineare Regression: In einem einfachen linearen Regressionsmodell sind die Parameter die Steigung und der y-Achsenabschnitt. Deterministische neuronale Netze (NN): Parameter umfassen Basiswerte und Gewichte für jedes Neuron im Netzwerk. Die Gewichte steuern das Signal (oder die Stärke der Verbindung) zwischen zwei Neuronen. Bei realisierten NN-Modellen werden Milliarden von Parametern genutzt.Parameters in notable artificial intelligence systems. ourworldindata.org, 2023-12-01. Abgerufen am 2023-12-29. Bei GPT-3 von OpenAI waren es bereits 175 Milliarden Parameter. Bei Deep-Learning-Modellen arbeiten die sogenannten Zwischenschichten (engl. hidden layers) mit Parametern, um stufenweise abstrakte Merkmale zu extrahieren (engl. feature extraction).Ian Goodfellow, Yoshua Bengio und Aaron Courville: Deep Learning: Introduction MIT Press, Beispiel S. 6, abgerufen am 2026-05-30 (englisch)
Probabilistische neuronale Netze: Zusätzlich zu Parametern von deterministischen NN mit Gewichtungen werden in Kombination Unsicherheitsparameter verwendet.Yasha Zeinali und Brett A Story: Competitive probabilistic neural network. Integrated Computer-Aided Engineering 24 (2), S. 105–118. Abgerufen am 2023-12-30. doi:10.3233/ICA-170540 Entscheidungsbäume: Parameter können Fragen über die Daten sein, die gestellt werden, oder die Ergebnisse an den Blattknoten des Baums.1.10 Decision Trees. scikit-learn.org. Abgerufen am 2023-12-29.Decision Trees. geeksforgeeks.org. 2023-08-20. Abgerufen am 2023-12-29. Support Vector Machines (SVM): Parameter umfassen die Stützvektoren, welche die Hyperebene definieren, die Klassen trennt.Chih-Wei Hsu: A Practical Guide to Support Vector Classification. Department of Computer Science and Information Engineering, National Taiwan University, 2010-04-15. Abgerufen am 2023-12-30.
Diese Parameter werden während der Trainingsphase gelernt. Der Lernprozess beinhaltet die Verwendung eines Trainingsdatensatzes und eines Optimierungsalgorithmus, der die Parameter anpasst, um eine Verlustfunktion zu minimieren. Diese Verlustfunktion ist ein Maß für den Fehler des Modells bezogen auf die Trainingsdaten.
Hyperparameter Modellparameter unterscheiden sich von Hyperparametern. Während Modellparameter aus Daten erlernt werden, werden Hyperparameter vor dem Lernprozess festgelegt und dienen dazu, den Lernprozess zu leiten.Tim Keary: What is the Role of Parameters in AI? In: Techopedia, 2023-11-28. Abgerufen am 2023-12-29. Beispiele für Hyperparameter sind die Lernrate in einem Optimierungsalgorithmus, die Anzahl der verborgenen Schichten in einem neuronalen Netzwerk oder die Anzahl der Entscheidungsbäume in einem Random-Forest-Modell. Da Hyperparameter binäre, ganzzahlige, kontinuierliche oder kategoriale Werte annehmen können, handelt es sich bei der Hyperparameteroptimierung in der Regel um ein komplexes Optimierungsproblem mit gemischten Variablentypen. Zudem kann der Wert eines Hyperparameters die Existenz oder die möglichen Werte anderer bedingen, sodass Hyperparameter hierarchische und bedingte Konfigurationsräume bilden können.
Einzelnachweise
Kategorie:Künstliche Intelligenz Kategorie:Maschinelles Lernen Kategorie:Deep Learning