Ki-explosion: suleyman warnt vor exponentiellem wachstum – die regeln haben ausgedient

Mustafa Suleyman, aktueller Kopf der KI-Abteilung bei Microsoft, wirft einen düsteren Blick auf die Entwicklung der Künstlichen Intelligenz. Die Zeiten, in denen einfache Skalierung ausreichte, sind vorbei – die Fortschritte sind exponentiell und überstürmen jede rationale Kalkulation.

Das problem der skalierung: von rechenzentren zu supercomputern

Suleyman beschreibt den aktuellen Stand der KI als einen radikalen Bruch mit den klassischen Evolutionsregeln. Was einst durch strategisches Hinzufügen von Rechenleistung funktionierte, ist heute eine völlig andere Geschichte. Der Rechenaufwand für die modernsten Modelle ist explodiert – um das 1.000-fache im Vergleich zu den frühen Systemen. Es ist keine bloße Steigerung, sondern eine wahre Katastrophe für die traditionellen Vorstellungen von Wachstum.

Die Analogie zur Sala voller Rechenschreibtischlerinnen, die Daten verarbeiten, trifft den Nagel auf den Kopf. Früher reichte es, mehr Personen mit Taschenrechnern einzusetzen. Doch heute müssen Hunderte Tausende von GPUs – spezialisierte Computerchips – synchron arbeiten, um komplexe Berechnungen durchzuführen. Ein einzelner Chip, wie die Nvidia- oder Microsoft-Modelle, liefert heute eine Rechenleistung, die vor wenigen Jahren noch unvorstellbar war.

Die triebkräfte des fortschritts: neue hardware, schnelleres datenmanagement und vernetzte supercomputer

Dieser Quantensprung ist das Ergebnis von drei Schlüsselentwicklungen. Erstens die drastische Leistungssteigerung der Hardware, mit Nvidia-Chips, die ihre Teraflops-Zahl von 312 im Jahr 2020 auf beeindruckende 2.250 erreichen, und Microsofts Maia 200, das pro Euro eine 30% höhere Leistung bietet. Zweitens die rasante Zunahme der Datenübertragungsgeschwindigkeit durch HBM-Speicher, der Daten wie ein vertikaler Stapel von Chips liefert. Die neue HBM3-Technologie verdoppelt sogar das Bandbreitenverhältnis gegenüber der vorherigen Generation. Und drittens die Konvergenz zu riesigen Supercomputern, angetrieben von Technologien wie NVLink und InfiniBand, die Millionen von GPUs miteinander verbinden.

Die prognosen sind alarmierend: 100 millionen chips bis 2027

Eric Schmidt, der ehemalige CEO von Google, warnt bereits vor den Auswirkungen. Die Entwicklung ist noch lange nicht abgeschlossen. Suleyman prognostiziert, dass die Rechenleistung der KI bis 2027 das Äquivalent von 100 Millionen H100-Chips erreichen wird – eine zehnfache Steigerung in nur drei Jahren. Die großen Laboratorien erhöhen ihre Rechenkapazität derzeit mit einem Wachstum von nahezu 4% pro Jahr. Bereits zwischen 2020 und heute ist die Rechenleistung um das Fache gestiegen. Microsoft und Nvidia stehen dabei im Zentrum dieser Entwicklung – sie bauen gigantische Cluster von 100.000 GPUs, die den Platz einer Fabrik einnehmen und mit einem Energieverbrauch vergleichbar sind wie der des Vereinigten Königreichs, Frankreichs, Deutschlands und Italiens.

Die Zielsetzung dieser Entwicklung ist die Superintelligenz – ein Zustand, der weit über die Möglichkeiten heutiger Chatbots hinausgeht. Ein einzelner Rack kann 120 Kilowatt Strom verbrauchen, was dem entspricht, wie 100 Häuser befeuern. Die Kosten für erneuerbare Energien sind indes in den letzten Jahrzehnten drastisch gesunken, was die Energieressourcen für diese Entwicklung zugänglich macht.