mini|Der Myriad X Chip (MA2485) von Movidius (gegründet 2005 und 2016 von Intel übernommen) war ein eigenständiger und für Deep Learning (DL) optimierter IC-Baustein – ein neuromorpher Prozessor (NPU). Dieser Chip war in dem Neural Compute Stick untergebracht, welcher von Intel (aufgrund der rapiden Veränderungen in dem Umfeld) im Jahr 2022Neural Compute Stick (NCS) 1 wurde schon 2019 gestoppt, der NCS 2 dann 2022. eingestellt wurde. Dies ist nur ein Beispiel für einen sehr kleinen „KI-Beschleuniger“. Moderne System sind hardware-architektonisch viel komplexer aufgebaut. (Foto von 2023) „KI-Beschleuniger“ () sind elektronische Zusatzeinrichtungen (Erweiterungen der Computerhardware) und entsprechende Software-Programmbibliotheken zum rascheren, effizienteren (parallelen) Ausführen von Rechenaufgaben moderner Algorithmen bzw. Computerprogramme aus dem Bereich der künstlichen Intelligenz bzw. der künstlichen neuronalen Netze (KNN). Gemeint sind damit Programme (KI-Modelle, Frameworks usw.) aus dem Bereich des Deep Learning (DL) bzw. Maschinelles Lernen (ML).
Für diese eigens designten IC-Bausteine oder Computersysteme sind auch die Bezeichnungen Neural Processor Unit (NPU) oder Deep Learning Processor (DLP) bekannt. Ein weiterer Begriff ist Vision Processing Unit (VPU). Man spricht in dem Zusammenhang auch von Exascale-Computing, also der nächsten Größenordnung nach dem Peta- (PFLOPS) und Gigaflops-Computing (GFLOPS), d. h. 1018 FLOPS. Der Bereich des Supercomputing umschließt derartige Rechenleistungen. Supercomputer (und Großrechner) wurden in den letzten Jahrzehnten jedoch nicht primär für KI-Anwendungen entwickelt, sondern für komplexe Probleme aus den Naturwissenschaften, innerhalb Computerphysik und theoretischen Chemie.
Ein kommerzielles Beispiel für einen „KI-Beschleuniger“ ist die Tensor Processing Unit (TPU), welche von Google 2016 vorgestellt wurde. In diesem Zusammenhang ist auch das Software-Framework TensorFlow (TF) zu nennen, das in den letzten Jahren zu einem weit verbreiteten Baustein moderner „KI-Technologie“ geworden ist.
Die „KI-Beschleuniger“ sind in der Regel mit schnellem Halbleiterspeicher und Datenleitungen ausgestattet. Die Geräte sind meist nicht für den Heimanwender verfügbar und befinden sich seit den 2010er Jahren in einer rapiden Forschung und Entwicklungsphase mit einzelnen Produkten am Markt. Die gesamte Entwicklung der Chiptechnologie ist eng verbunden mit der Roadmap der Technologieknoten sowie Big Data und Data Science. Der Export bestimmter Systeme birgt wirtschaftliche und sicherheitskritische Risiken und ist daher teilweise reguliert.
Beschreibung Man unterscheidet bei den „KI-Beschleunigern“ zwischen verschiedenen Geräten oder Systemen, meist in Form von Servern für die Hauptanwendung in Rechenzentren. Außerdem existieren spezielle KI-optimierte Halbleiterbausteine für das Edge Computing (dort: Mikrocontroller mit KI-Koprozessor). Entweder kommen dedizierte KI-optimierte Chips zum Einsatz, oder KI-Koprozessor, oder Rechenbausteine (CPU und/oder GPU) mit KI-Fähigkeiten. Industrielle Zielanwendungen von diesen Systemen sind beispielsweise die Robotik und Autonomes Fahren, oder ganz generell unbesetzte Systeme, welche mittels eines „KI-Beschleuniger“ zu intelligenten Funktionen befähigt werden.
Im Falle von modernen KI-Anwendungen, wie z. B. den großen Sprachmodellen (LLMs), werden dafür als Teil der Forschung und Entwicklung neuartige Chiparchitekturen entworfen. Sie basieren teilweise auf den Grundprinzipien der Grafikprozessoren (GPUs) und sind für maschinelles Lernen u. a. KI-Techniken optimiert. Einer dieser Prozessoren ist z. B. die Artificial Intelligence Unit (AIU) von IBM. GPUs haben gegenüber den Hauptprozessoren (CPUs) gewissen Eigenschaften, die ihnen eine parallele Berechnung von Fließkommazahlen (FP) ermöglicht, welche bei manchen Algorithmen von Vorteil sein können. Manche dieser KI-Algorithmen können mit kleiner als 32-Bit FP Genauigkeit trainiert und inferenziert werden. Man geht daher zur Optimierung der Modelle („Quantisierung“) und deren Speicheranforderungen zu 16-, 8- und mittlerweile zu kleinen 4-Bit FP Hardware über. mini|Tesla Dojo „Supercomputer“Dieses System ist nicht Teil der Klasse der Supercomputer, sondern als eine moderne und spezialisierte Motorsteuerung (ECU) zu verstehen. Siehe auch Robotaxis u. dgl., ein KI-optimiertes System für Fahrzeuge zum autonomen Fahren. Das Programm lief etwa von 2023 bis 2025 und wurde mittlerweile eingestellt. Dojo ist bezogen auf seinen Anwendungsfall eine Ausnahme unter den „KI-Beschleuniger“. Bei modernen Tesla-Modellen sind tatsächlich die Steuergeräte des Full Self-Driving (FSD)-Systems („Car Computer“) im Einsatz. Des Weiteren spielen die modernen Halbleiterspeicher eine herausragende Rolle für „KI-Beschleuniger“ und man geht von schnellen DDR-Bausteinen zu speziellen High Bandwidth Memory (HBM) über. In Einzelprojekten, und als Teil der Forschung und Entwicklung, versucht man, direkt innerhalb eines Speichers (z. B. Memristor) Programme auszuführen. Diese Technik ist auch bekannt als In-Memory Computing (IMC) oder Computing-in-Memory (CIM).
Entwicklungsgeschichte Die Technik, Koprozessoren neben einem Hauptprozessor (CPU) für spezialisierte Aufgaben bereitzustellen, ist bereits seit Jahrzehnten Teil der Rechnerarchitekturen. Zu den ursprünglichen CPU-Koprozessoren zählen z. B. die Gleitkommaeinheit (FPU)—seit Ende der 1970er Jahre oder Multi Media Extension (MMX)—seit Ende der 1990er Jahre am Markt. Beide sind heute noch Teil jeder CPU. In diesen Anfängen liegt auch die getrennte Entwicklung der Grafikprozessoren (GPU). FPU und MMX-CPU-Befehlssätze sind jedoch keine „KI-Beschleuniger“.
Erstmals wurden 1977 „Erweiterungskarten“ zum Apple-II-PC eingeführt. Viele Jahre wurden auch Computer-Zusatzkarten mit spezialisierten Chips als Erweiterung von PCs angeboten, z. B. als Sound- und Grafikkarten. Zur Texterkennung (OCR) mittels Convolutional Neural Networks (CNN) wurden vereinzelt digitale Signalprozessoren (DSP) als Koprozessoren verwendet. Ab 1995 wurden auch Field Programmable Gate Arrays (FPGAs) für das Training und die Klassierung künstlicher neuronaler Netze (KNN) implementiert. Als Alternative zu rekonfigurierbaren FPGAs, die nicht immer die volle Leistung eines Halbleitersystems ausnutzen können, werden zahlreiche anwendungsspezifische ICs (ASICs) entwickelt. Dazu zählen im Prinzip alle KI-optimierten Bausteine, sofern sie ausschließlich für diesen Zweck entworfen wurden.
Im Jahr 2015 stellte Qualcomm einen KI-optimierten System-on-a-Chip (SoC) und integrierten Grafikprozessor (GPU) für Smartphones vor. Dies war ein Novum, da die Geräte aufgrund ihrer mobilen Anwendung und der damit verbundenen Lithium-Ionen-Technologie (LIB) nur einen geringen Spielraum bei der Leistungsaufnahme erlauben, wobei hier bereits optimierte RISC-Architekturen eine übergeordnete Rolle spielen. Genauer läutete die moderne ARM-Architektur das Zeitalter der mobilen Geräte (Smartphones) ein.
Intel vermarktet ab 2025 die AMX KI-optimierten CPUs (als Koprozessor oder Befehlssatz der Intel Xeon Prozessorarchitektur), ein integrierter Beschleuniger, der das Training und die Ergebnisse verbessern soll. KI-Aufgaben wie die Verarbeitung von natürlicher Sprache, Empfehlungssysteme und Bilderkennung sollen damit effizienter gelöst werden.
Taxonomie Seit den 2010er Jahren werden eine Vielzahl neuer Beschleunigersysteme erforscht und entwickelt. Man kann in Chips, Zusatzkarten oder Systeme unterteilen. Eine grobe (unvollständige) Übersicht:
KI-Chips Neuromorphe Prozessoren (NPU), also Hardware-Bausteine, die für künstliche neuronale Netze (KNN) designed wurden und eine CPU ersetzten oder begleitend ergänzen. Auch die kommerziellen Bezeichnungen Neural Network Processor (NNP) oder Bionic Neural Engine (BNE)Apple spricht nur von Bionic und meint einen NPU/NNP-Zusatz wurden bekannt. Fachleute zählen zu dieser Kategorie auch die Tensor Processing Unit (TPU) dazu. Zu den Chips zählen außerdem die System-on-a-Chip (SoC)-Systeme, also KI-optimierte Logik (meist Hauptprozessoren, Koprozessoren und Speicher in einem Baustein). Computation-in-Memory (CIM): KI-optimierte Mikroarchitekturen in Speicherbausteinen, z. B. DRAM; diese Geräte sind noch in Entwicklung oder sogar Erforschung. Spezielle CPUs mit KI-optimierten Subprozessoren (Koprozessoren oder Befehlssätze), d. h. spezielle Mikroprozessoren oder Mehrkernprozessoren mit KI-Fähigkeiten.
KI-Zusatzkarten Adapter-Karten, die einem Hostrechner (Server oder Mainframe) über den PCIe-Bus KI- bzw. KNN-optimierte Chipkapazitäten anbieten. Auf diesen Karten befinden sich teilweise proprietäre KI-optimierte Einzelchip-Designs. Letztere können sein: FPGAs, ASICs oder GPUs. Zusatzkarten oder Chipbausteine sind häufig auch Teil von KI-optimierten Servern und Systemen. KI-Systeme Chipsystem werden mittels Chiplet-Technologie oder als Multi-Chip-Module, also als mehrdimensionale Strukturen aufgebaut und auf Mainboards oder Zusatzkarten integriert. Beispiele sind der Nvidia DGX (Deep GPU Xceleration) KI-Supercomputer, beladen mit KI-optimierten CPUs und GPUs. Diese Systeme werden in Rechenzentren oder High-Performance Computing (HPC)-Umgebungen adoptiert. Siehe auch das System Grace Hopper GH200 weiter unten. Tileset oder Wafer-Scale Engines (WSE), also KI-optimierte Systeme, welche die Größe eines Wafer einnehmen, z. B. der Tesla Dojo.
Alle diese genannten Technologien sind jeweils optimiert für Deep Learning (DL) oder Machine Learning (ML) Probleme und stellen diese optimierten Fähigkeiten mittels Software-Frameworks, wie z. B. Nvidia Cuda, bereit. Zu den bekannten DL/ML-Frameworks gehören Caffe, PyTorch uvm.
Leistungsmetriken Bei den Leistungsdaten der KI-optimierten Hardware werden teilweise die üblichen Leistungsangaben in Floating Point Operations Per Second (FLOPS) veröffentlicht. Dabei handelt es sich nur um die arithmetische Operationen im Integer (INT) oder Fließkomma (FP)-Format. Grundsätzlich werden zum Computerhardware-Benchmarking die folgenden Leistungsparameter von Mikroprozessoren oder Mikrocontrollern vermessen:
Dhrystone MIPS (DMIPS) Gleitkommaoperationen pro Sekunde (FLOPS) Instruktionen per Befehl (IPC) Instruktionen pro Sekunde (IPS)
Insbesondere die IPS dienen aufgrund stagnierender Taktfrequenzzuwächse in Zyklen (Hz), oder Taktraten der CPU, als wichtiger Benchmarkwert. Dies trifft vor allem auf Mehrkernprozessoren zu. (Siehe auch die Evolution der Rechenleistung der Mikroprozessoren, wobei CPUs nicht gleichzusetzen sind mit GPUs.)
Im Falle von KI-optimierten IC-Bausteinen, z. B Mikrocontrollern (als Chips sind sie den „KI-Beschleuniger“ zuzuordnen), existieren außerdem die Größen bzw. Metriken:
GOPS oder GOP/s – Giga operations per second, und die nächste Größenordnung TOPS oder TOP/s – Tera/trillion operations per second
Hier stehen die Operations für jede arithmetische oder logische Operation, häufig im Integer- oder Fließkomma (FP)-Format, also z. B. 8-Bit INT/FP, 16-Bit INT/FP usw. Grundlegend sind die Operationen abhängig von der Bit-Größe. Mit anderen Worten: Mit 4-Bit-FP (vgl. auch Minifloat) lassen sich höhere Rechengeschwindigkeiten erreichen. Je nach Hersteller wird eine Leistungsangabe in xOPS für verschiedene INT/FP-Kombinationen veröffentlicht.
Kleine Chip-Beschleuniger (KI-Koprozessoren von Mikrocontroller) haben Leistungsangaben von beispielsweise 256 GOPS, gemessen in 8-Bit-MACs/Zyklus bei 2 GHz. Dabei stehen die MAC für Multiply-Accumulate Operationen. Eine MAC-Operation (Multiplikation und folgende Addition) zählt als zwei FLOP-Operationen. Zwei weitere Beispiele für typische Benchmarks:
Nvidia H200 GPU: 4 PetaFLOPS (FP8) bei bis zu 700 W (TDP) NXP Ara240 NPU: 40 äquivalente TOPS bei 6,5 W