Humanity’s Last Exam (HLE) ist ein Benchmark-Test für KI-Sprachmodelle, der 2.500 Fragen aus einem breiten Spektrum von Themenbereichen umfasst. Er wurde gemeinsam vom Forschungszentrum Center for AI Safety mit Sitz in San Francisco und dem Unternehmen Scale AI entwickelt.
Entstehung Der Jahresbericht „AI Index 2025“ des Stanford HAI nennt „Humanity’s Last Exam“ als einen der „anspruchsvolleren Benchmarks“, die als Reaktion darauf entwickelt wurden, dass die gängigen KI-Benchmarks einen „Sättigungsgrad“ erreicht hatten.AI Index Report 2025 S. 141/42 Der Test wurde als Idee von Dan Hendrycks beschrieben, einem Forscher im Bereich maschinelles Lernen und Direktor des Center for AI Safety, der angab, dass er nach einem Gespräch mit Elon Musk zur Entwicklung des Tests inspiriert wurde, da dieser die bestehenden Benchmarks für Sprachmodelle, wie beispielsweise den Test Massive Multitask Language Understanding (MMLU), für zu einfach hielt. Hendrycks arbeitete mit Scale AI zusammen, um die Fragen zusammenzustellen. Die Fragen des Tests wurden von Fachexperten aus verschiedenen Institutionen weltweit zusammengestellt. Rund 1000 Fachleute aus 50 Ländern steuerten Fragen bei. Die Einreicher der am besten bewerteten Fragen erhielten Preisgelder aus einem Pool von 500.000 US-Dollar – 5.000 US-Dollar für jede der 50 besten Fragen und 500 US-Dollar für die nächsten 500. Nach der ersten Veröffentlichung wurde ein „Community-Feedback-Bug-Bounty-Programm“ gestartet, um „größere Fehler im Datensatz zu identifizieren und zu beseitigen“.
Zusammensetzung Der Benchmark umfasst 2.500 Fragen aus dem öffentlich zugänglichen Fragenkatalog. Die Fragen „erfordern in der Regel Fachwissen auf Hochschulniveau oder prüfen Kenntnisse zu sehr spezifischen Themen“. Die Studie unterteilt die Fragen in die folgenden großen Themenbereiche: Mathematik (41 %), Physik (9 %), Biologie/Medizin (11 %), Geistes- und Sozialwissenschaften (9 %), Informatik/Künstliche Intelligenz (10 %), Ingenieurwissenschaften (4 %), Chemie (7 %) und Sonstiges (9 %). Etwa 14 % der Fragen erfordern die Fähigkeit, sowohl Texte als auch Bilder zu verstehen, d. h. Multimodalität. 24 % der Fragen sind Multiple-Choice-Fragen; auf die restlichen Fragen müssen die Modelle eine eigene Antwort finden. Es wird auch ein privater Datensatz gepflegt, um das Überanpassen an den Benchmark zu testen.
Eine Beispielfrage:
Resultate +Leistung verschiedener Modelle im BenchmarkModelOrganisationGenauigkeit (%) ↑Claude Fable 5Anthropic55,5GPT-5.6 SolOpenAI49,5Gemini 3.7 FlashGoogle DeepMind47,9Kimi K3Moonshot AI46,9Muse Spark 1.1Meta Superintelligence Labs46,2Qwen 3.8 MaxAlibaba Cloud43,0Grok 4.6xAI42,9GLM-5.2Z.ai41,1MiniMax-M3MiniMax39,0DeepSeek-V4-Flash-0731DeepSeek38,6MiMo-V2.5-ProXiaomi35,7Hy3Tencent33,5InklingThinking Machines Lab31,9Nemotron 3 UltraNvidia28,4Stand 15. August 2026
Weblinks Humanity's Last Exam Center for AI Safety Humanity's Last Exam Scale AI
Einzelnachweise
Kategorie:EDV-Benchmark Kategorie:Künstliche Intelligenz