Hangzhou DeepSeek Artificial Intelligence Basic Technology Research Co., Ltd., meist in Kurzform als DeepSeek bezeichnet (), ist ein chinesisches Startup, das sich auf die Entwicklung von Sprachmodellen basierend auf künstlicher Intelligenz spezialisiert hat. Das Unternehmen gewann internationale Aufmerksamkeit mit der Veröffentlichung seines im Januar 2025 vorgestellten Modells DeepSeek R1, das mit etablierten KI-Systemen wie ChatGPT von OpenAI und Claude von Anthropic konkurriert. Das Unternehmen wird ausschließlich vom chinesischen Hedgefonds High-Flyer finanziert. Beide Unternehmen haben ihren Sitz in Hangzhou, Zhejiang.
High-Flyer und Gründung Im Jahr 2015 wurde der Hedgefonds High-Flyer von drei Ingenieuren der Universität Zhejiang gegründet, die während der Weltfinanzkrise 2007–2008 als Studenten erste Erfahrungen im Aktienhandel gesammelt hatten.Billions Going to China’s Quants Takes Fight to Global Funds. Bloomberg 31. Mai 2020. High-Flyer etablierte sich schnell als innovativer Akteur im Finanzsektor, indem die Firma maschinelles Lernen zur Optimierung von Handelsstrategien einsetzte und ein KI-gestütztes Modell für den Hochfrequenzhandel entwickelte. Im Jahr 2021 startete Liang Wenfeng, einer der drei High-Flyer-Gründer, eine Forschungsgruppe für Grundlagenforschung in künstlicher Intelligenz, die als Nebenprojekt von High-Flyer finanziert wurde.
Im April 2023 gab Liang Wenfeng die Ausgründung der Forschungsinitiative als unabhängiges Unternehmen für künstliche Intelligenz namens DeepSeek bekannt. Der gewählte Name knüpft an den Ausdruck Deep Learning an. Ziel dieses Unternehmens ist die Entwicklung und Vermarktung einer universellen künstlichen Intelligenz basierend auf einem umfangreichen, eigens entwickelten Sprachmodell.Lily Ottinger: Deepseek: From Hedge Fund to Frontier Model Maker. In: chinatalk.media vom 9. Dezember 2024 (englisch)
Vor dem Hintergrund eines im Januar 2025 von den Vereinigten Staaten verhängten Exportverbots von Hochtechnologiechips nach China aus Gründen der nationalen Sicherheit verfolgt DeepSeek das strategische Ziel, eine leistungsfähige und wettbewerbsfähige Alternative zu westlichen KI-Lösungen bereitzustellen und gleichzeitig die technologische Souveränität Chinas zu stärken. Bereits in der frühen Phase seiner Existenz konnte das Unternehmen erhebliche finanzielle Unterstützung aus der chinesischen Technologiebranche sowie aus staatlich geförderten Innovationsprogrammen gewinnen. Laut Liang Wenfeng werden die Forschungsergebnisse und Modelle des Unternehmens immer unter Open-Source-Lizenzen veröffentlicht, dies sei Teil der Unternehmenskultur und man habe nicht die Absicht, dies in Zukunft zu ändern. Allerdings ist bei den Produkten von DeepSeek wie auch bisher bei allen als Open-Source angepriesenen Konkurrenzprodukten nur die verwendete Modell-Software mit ihrer Struktur und den dazugehörigen Parametern über eine Lizenz öffentlich zugänglich. Dagegen sind der Programmcode zur Steuerung des Trainings und die Daten, mit denen das Modell trainiert wurde, wie auch der Programmcode, der die Anfrage an das Modell weitergibt, nicht Open-Source.Anna Weber: Mit Deepseek ist zum ersten Mal eine offene KI an der Weltspitze. Ein Gewinn oder eine Gefahr? In: NZZ vom 8. Februar. Abgerufen am 8. Februar 2025
Technik und Produkte Muttergesellschaft High-Flyer Bereits die Muttergesellschaft von DeepSeek entwickelte ab 2020 KI-Supercomputer mit dem Namen Fire-Flyer unter Verwendung integrierter Schaltungen (ICs) des US-Unternehmens Nvidia in Hangzhou. Auf diesen Rechnern liefen Programme, welche bereits einen hohen Stand von künstlicher Intelligenz aufwiesen.
DeepSeeks Mixture-of-Experts-Modelle Am 9. Januar 2024 wurde ein als Large Language Model (LLM) konzipiertes Modell angekündigt, welches bereits die Mixture-of-Experts (MoE)-Technik beinhaltete. Im Vergleich mit dem seit Februar 2023 öffentlich zugänglichen LLaMA-Sprachmodell von Meta Platforms wurden bei 67 Milliarden Parameter nur noch 28,5 Prozent Rechenvorgänge benötigt.Damai Dai et al.: DeepSeekMoE: Towards Ultimate Expert Specialization in Mixture-of-Experts Language Models. arxiv:2401.06066, 11. Januar 2024, abgerufen am 7. Februar 2025 (englisch)
DeepSeeks Mathematik-Modelle Im April 2023 folgten drei KI-Lösungen für Mathematik: Base, Instruct und RL. Bei diesen Modellen wurde nach einem zusätzlichen Training mit mathematischen Zusammenhängen versucht, in LLMs logische Schritte wie bei mathematischen Herleitungen durchzuführen.Zhihong Shao et al.: DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models. arXiv:2402.03300, 27. April 2024, abgerufen am 7. Februar 2025 (englisch)
V2 mini|Schema MoE und MLA in DeepSeek V2
Mehrere Fortschritte bei der Implementierung wie Multi-head Latent Attention (MLA)DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model. DeepSeek, 19. Juni 2024, abgerufen am 7. Februar 2025 (englisch) mit etwa auf zehn Prozent reduzierten Zugriffen auf die Datenspeicher erlaubten DeepSeek, das Modell V2 zu tieferen Nutzungspreisen anzubieten als die Konkurrenz. Die Kosten für einzelne Resultate (Schlussfolgerungen, Inferenzen) im Vergleich zu GPT-4 konnten auf ein Siebtel reduziert werden.Jordan Schneider et al.: Deepseek: The Quiet Giant Leading China’s AI Race. chinatalk, 27. November 2024, abgerufen am 7. Februar 2025 (englisch) Im Leistungsvergleich mit anderen Chatbots schloss DeepSeek V2 gut ab.Ryan McMorrow: The Chinese quant fund-turned-AI pioneer. In: Financial Times, 9. Juni 2024, abgerufen am 7. Februar 2025 (englisch)
V3 mini|Schema Multi-Token Prediction mini|Schema Mixed-Precision Training
V3 baute auf V2 auf. Zusätzlich verwendet V3 Multi-token Prediction TrainingFabian Gloeckle et al.: Better & Faster Large Language Models via Multi-token Prediction. arxiv.org, 30. April 2024, abgerufen am 7. Februar 2025 (englisch) angewandt auf 14,8 Billionen Token. Auch wurde Mixed-Precision Arithmetic verwendet, wobei Gleitkommaarithmetik mit Zahlen unterschiedlicher Länge und Präzision in derselben Operation durchgeführt wurden. Dabei konnte durch reduzierte Genauigkeit Zeit gewonnen werden.Wenfeng Liang et al.: DeepSeek-V3 Technical Report. arXiv:2412.19437, 27. Dezember 2024, abgerufen am 7. Februar 2025 (englisch) Der Lernprozess erforderte nur 2788 Stunden auf Nvidia-H800-Grafikprozessor-ICs. Anschließend erfolgte Supervised Fine-Tuning und Bestärkendes Lernen. V3 weist 671 Milliarden Parameter in seinem künstlichen neuronalen Netzwerk aus. Technische Einzelheiten zu den eingeführten Neuerungen wurden ausführlich beschrieben.Ege Erdil: How has DeepSeek improved the Transformer architecture? Epoch AI, 17. Januar 2025, abgerufen am 7. Februar 2025 (englisch) Vergleiche mit Konkurrenzprodukten wie GPT-4 und LLaMA fielen zugunsten von V3 aus.Ben Jiang: Chinese start-up DeepSeek launches AI model that outperforms Meta, OpenAI products. In: South China Morning Post, 27. Dezember 2024, abgerufen am 7. Februar 2025 (englisch)Cade Metz: What to Know About DeepSeek and How It Is Upending A.I. In: NYT 27. Januar 2025. Abgerufen am 8. Februar 2025
R1 Am 20. Januar 2025 präsentierte DeepSeek das erweiterte LLM DeepSeek-R1. Im Gegensatz zu bisherigen Modellen mit überwachter Feinabstimmung (SFT) nutzt DeepSeek-R1 das auf Millionen von Inferenzspuren trainierte Bestärkende Lernen (RL). Dies imitiert menschenähnliche Bewertungen, was eine tiefere Analyse von Aufgaben ermöglicht, die komplexe Schlussfolgerungen erfordern.Wenfeng Liang: DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning. Deepseek, 22. Januar 2025, abgerufen am 8. Februar 2025 DeepSeek verwendet Aha-Momente als Pivot-Token bei der Formung von Schlussfolgerungen (Chain-of-Thought, CoT). Diese Aha-Momente dienen dazu, Zwischenschritte zu reflektieren und neu zu bewerten. Damit wird die Qualität der Antworten durch Selbstkorrektur verbessert. R1 war der erste KI-Chatbot, bei dem die Schritte des Denkprozesses beim Nachdenken (engl. reasoning) mitverfolgt werden können.Anna Weber: Deepseek-Nutzer können dem Chatbot beim Nachdenken zuschauen. Ein Blick hinter die Kulissen. In: NZZ 4. Februar 2025. Abgerufen am 10. Februar 2025 Veröffentlicht wurden für rohe Schlussfolgerungen die Variante DeepSeek-R1-Zero sowie DeepSeek-R1 für praktische Anwendungen.
DeepSeek-R1 wurde unter der MIT-Lizenz veröffentlicht, die uneingeschränkten Open Access fördert und kommerzielle als auch akademische Nutzungen ohne Einschränkungen erlaubt. Allerdings sind auch bei den DeepSeek-Produkten wie bei anderen KI-Modellen die spezifischen Trainingsdaten nicht zugänglich und damit nicht Open-Source.Matthew S. Smith: What DeepSeek Means for Open-Source AI. In: IEEE Spectrum, 31. Januar 2025, abgerufen am 5. Februar 2025 (englisch) Das Unternehmen setzt bewusst einen Kontrast zu zahlreichen proprietären KI-Systemen, die durch restriktive Lizenzen gekennzeichnet sind. Nach Meinung von Yann LeCun bei Meta Platforms werden Open-Source-Lösungen wie DeepSeek oder wie das LLaMA-Sprachmodell von Meta in Zukunft gegenüber proprietären KI-Systemen bevorzugt werden.Luis E. Romero: ChatGPT, DeepSeek, or Llama? Meta’s LeCun says Open-Source is the Key. In: Forbes vom 28. Januar 2025. Abgerufen am 8. Februar 2025 (englisch)
Der Zugang zu DeepSeek ist möglich durch die Plattform Hugging Face, die DeepSeek-App, die Webseite, die Programmierschnittstelle (API) oder die Installation des Anwenders auf einem eigenen Computer.Hasan Chowdhury: Dieses chinesische KI-Startup macht OpenAI jetzt Konkurrenz – was Experten davon halten. In: Business Insider vom 25. Januar 2025. die MS-Cloud Microsoft Azure.
Janus Pro Mit Janus-Pro hat DeepSeek am 27. Januar 2025 ein neues multimodales KI-Modell veröffentlicht, das unter der MIT-Lizenz als Open Source verfügbar ist. Das Modell kombiniert Fähigkeiten, die sowohl DALL-E als auch Stable Diffusion ähneln, und kann Bilder analysieren sowie erzeugen. Es wurde mit Fokus auf präzise Interpretationsfähigkeiten, effiziente Architektur und optimierte Ressourcenverwendung entwickelt.DeepSeek says its Janus Pro AI model beats rivals in image generation. In: reuters.com, vom 27. Januar 2025, abgerufen am 29. Januar 2025.
Wertung Die Firma DeepSeek hat seit ihrer Gründung ihre KI-Modelle zielgerichtet auf hohe Effizienz bezüglich benötigter Rechnerleistung getrimmt. Ein Grund dafür war, dass sie die dafür besten integrierten Schaltungen (ICs) von Nvidia wegen deren hoher Kosten und später wegen der US-Embargorestriktionen gegen China nicht einsetzen konnte.Matthew S. Smith: What DeepSeek Means for Open-Source AI. In: IEEE Spectrum 31. Januar 2025. Abgerufen am 8. Februar 2025 (englisch)
Eine Wertung aus ökonomischer wie auch technischer Sicht hat Daron Acemoğlu, Preisträger des Alfred-Nobel-Gedächtnispreises für Wirtschaftswissenschaften, vorgenommen. Er attestiert der Firma DeepSeek einen bedeutenden Erfolg im Ingenieurwesen. Sie habe bis dahin grundsätzlich bekannte Grundlagen effektiver als US-Unternehmen kombiniert. Die meisten Methoden seien jedoch bereits früher in den USA entwickelt worden. So seien es amerikanische Big-Tech-Gesellschaften gewesen, welche Transformatormodelle, Gedankenketten (Chain-of-Thoughts) und DestillationGeoffrey Hinton et al.: Distilling the Knowledge in a Neural Network. arXiv:1503.02531, 9. März 2015, abgerufen am 9. Februar 2025 eingeführt hätten. Fortschritte durch DeepSeek seien durch besonderes Reinforcement Learning, Mix-of-Experts-Methoden (unter Verwendung vieler kleinerer, effizienterer Modelle), Destillation und verfeinerte Gedankenkettenbegründung erzielt worden.Daron Acemoğlu: Ein «Sputnik-Moment» für die künstliche Intelligenz. In: Finanz & Wirtschaft vom 6. Februar 2025. Abgerufen am 8. Februar 2025
Zensur und Kritik