Fine-Tuning (deutsch: Feinabstimmung) ist in der künstlichen Intelligenz, insbesondere bei Deep Learning, ein Begriff, unter dem man eine Methode des Lerntransfers eines vortrainierten künstlichen neuronalen Netzwerks versteht. Ein Beispiel ist die Entwicklung von GPT-3 durch OpenAI. Foundation Models (Basismodelle) sind maschinelle Lernmodelle, welche auf einer großen Menge von Daten vortrainiert werden. Sie ermöglichen es, durch Feinabstimmung solche Modelle auf spezifische Aufgaben oder Anwendungsfälle anzupassen und zu optimieren.Dave Andre: Was ist Feinabstimmung? allaboutai.com, 15. Dezember 2023. Abgerufen am 1. Juni 2024
Häufig dienen Large Language Models (LLM) als textbasierte Basismodelle, welche insbesondere für die Sprach- und Bildverarbeitung multimodal weiterentwickelt wurden. Auch können Unternehmen eine Lizenz für ein geeignetes Modell erwerben und durch Feinabstimmung mittels firmeneigener Daten für spezifische Aufgaben optimierte Lösungen erarbeiten.Customize a model with fine-tuning. Microsoft, 21. Mai 2024 (englisch). Abgerufen am 1. Juni 2024PaLM-Modelle abstimmen – Übersicht. Generative AI on Vertex AI, Google Cloud. Abgerufen am 1. Juni 2024Fine-Tuning: customize a model for your application. openai.com. Abgerufen am 1. Juni 2024 Dabei wird zu einer bestimmten Anfrage (Prompt) die gewünschte Antwort vorgegeben und mit dem Ergebnis des Modells verglichen. Abweichungen werden ins Modell zur Korrektur eingespeist.Fine Tuning: now available with Azure OpenAI Service. Microsoft, 16. Oktober 2023 (englisch). Abgerufen am 2. Juni 2024.
Techniken Die Feinabstimmung erfolgt in der Regel durch überwachtes Lernen (). Hierbei werden die Parameter eines vortrainierten Modells auf neue Daten trainiert und entsprechend angepasst. In der Regel werden dazu diskriminative, statistische Methoden verwendet. Dies kann für das gesamte neuronale NetzJoanne Quinn: 14.2.: Fine-Tuning. Dive into Deep Learning, Thousand Oaks, California, 2020, S. 551. ISBN 978-1-5443-6137-6 oder nur für einen Teil der Schichten erfolgen.
Um den Aufwand für Rechenzeit und Speicherbedarf tief zu halten, gibt es unterschiedliche Techniken:
Low-rank Adaptation (LoRA) Low-Rank Adaptation (LoRA) ist eine Methode zur effizienten Feinabstimmung von Modellen.Mark Hennings: LoRA Fine-tuning & Hyperparameters Explained. entrypointai.com, 24. November 2023 (englisch). Abgerufen am 1. Juni 2024. Sie wurde ursprünglich von einem Team von Microsoft-Forschern im Jahr 2021 eingeführt.Edward J. Hu et al.: LoRA: Low-Rank Adaptation of Large Language Models. arXiv:2106.09685, 16. Oktober 2021 (englisch). Abgerufen am 1. Juni 2024. Dabei wird das vortrainierte Modell mit seinen bestehenden Parametern eingefroren. Dann werden kleinere, trainierbare Rangzerlegungs-Matrizen zu niederrangigen, nachgelagerten Schichten (neben den ursprünglichen Matrizen) der neuronalen Struktur zugefügt, um die Zahl der zusätzlich für die Abstimmung trainierbaren Parameter in den nachfolgenden Schichten tief zu halten.Haokun Liu et al.: Few-Shot Parameter-Efficient Fine-Tuning is Better and Cheaper than In-Context Learning (PDF). Advances in Neural Information Processing Systems. Bd. 35. Curran Associates, Inc. 2022, S. 1950–1965 (englisch). Seitdem hat die LoRA-Methode sich zu einem beliebten Ansatz für die Abstimmung von LLMs (großer Sprachmodelle), Diffusionsmodelle (z. B. für die Bildgenerierung) und anderer Arten von KI-Modellen entwickelt.Understanding LLM Fine Tuning with LoRA (Low-Rank Adaptation). www.run.ai (englisch). Abgerufen am 1. Juni 2024 Weiterentwicklungen erfolgen z. B. durch den Einsatz der Fourier-Transformation.Ziqi Gao et al.: Parameter-Efficient Fine-Tuning with Discrete Fourier Transform. arXiv:2405.03003, 5. Mai 2024 (englisch). Abgerufen am 1. Juni 2024.
Representation Fine-Tuning (ReFT) Representation Fine-Tuning (ReFT) ist eine Technik, die von Forschern der Stanford University entwickelt wurde, um große Sprachmodelle durch die Modifikation von weniger als 1 % ihrer Repräsentationen feinabzustimmen. Im Gegensatz zu traditionellen, parameter-effizienten Feinabstimmungsmethoden wie Low-rank Adaptation, die sich hauptsächlich auf die Aktualisierung von Gewichten konzentrieren, zielt ReFT auf spezifische Teile des Modells ab, die für die Aufgabe der Feinabstimmung relevant sind. Dieser Ansatz basiert auf der Erkenntnis, dass Deep-Learning-Modelle reichhaltige semantische Informationen in ihren Repräsentationen kodieren. Modifikation von Repräsentationen sind möglicherweise eine effektivere Strategie als die Aktualisierung von Gewichtsparametern. ReFT-Methoden arbeiten mit einem eingefrorenen Basismodell und lernen auf verdeckten Repräsentationen aufbauenden, aufgabenbezogenen Eingriffen. Diese Eingriffe manipulieren einen kleinen Teil der Modellrepräsentationen, um das Verhalten des Modells bei der Lösung nachgelagerter Aufgaben zu steuern.Zhengxuan Wu et al.: ReFT: Representation Finetuning for Language Models. Cornell University, arXiv:2404.03592 (englisch), 22. Mai 2024
Weitere Techniken Um festgestellte Nachteile bestimmter Fine-Tuning-Methoden zu vermeiden, werden Verbesserungen erforscht.David Stap et al.: The Fine-Tuning Paradox: Boosting Translation Quality Without Sacrificing LLM Abilities. Cornell University, arXiv:2405.20089, 30. Mai 2024 (englisch). Abgerufen am 1. Juni 2024Mitchell Wortsman et al.: Robust fine-tuning of zero-shot models. arXiv:2109.01903, 21. Juni 2022 (englisch). Abgerufen am 1. Juni 2024
Siehe auch Bestärkendes Lernen Generativer vortrainierter Transformer Multimodale künstliche Intelligenz
Einzelnachweise
Kategorie:Maschinelles Lernen Kategorie:Neuroinformatik Kategorie:Deep Learning