CONTACT Software Blog

Die Entwicklung der Sprachmodelle im Bereich NLP (Natural Language Processing) hat vor allem seit 2019 zu gewaltigen Sprüngen in der Genauigkeit dieser Modelle für bestimmte Aufgaben geführt, aber auch in der Anzahl und dem Umfang der Fähigkeiten an sich. Als Beispiel seien die mit viel Medienrummel von OpenAI veröffentlichen Sprachmodelle GPT-2 und GPT-3 genannt, die mittlerweile für den kommerziellen Einsatz verfügbar sind und sowohl in Art, Umfang  und Genauigkeit erstaunliche Fähigkeiten haben, auf die ich in einem anderen Blog-Post eingehen möchte. Dies wurde im Fall von GPT-3 durch Training mittels eines Modells mit 750 Milliarden Parametern auf einem Datensatz von 570 GB erreicht. Das sind Werte, die einem die Sprache verschlagen.

Je größer die Modelle, je höher die Kosten

Gigantisch sind aber auch die Kosten, die das Training dieser Modelle verschlingt: Setzt man nur die angegebenen Compute-Kosten ¹ für einen kompletten Trainingslauf an, kommt man auf eine Größenordnung von 10 Millionen USD für das Training von GPT-3 ^{2, 3}. Hinzu kommen weitere Kosten für Vorversuche, Storage, Commodity-Kosten für die Bereitstellung etc., die in ähnlicher Größenordnung liegen dürften. In den vergangenen Jahren hat sich der Trend, immer größere Modelle zu bauen, verstetigt und jedes Jahr kommt ungefähr eine Größenordnung hinzu, d.h. die Modelle sind 10x größer als im Jahr davor.

Das nächste Modell von OpenAI GPT-4 soll ca. 100 Billionen Parameter haben (100 x 10¹² ). Zum Vergleich: Das menschliche Gehirn hat ungefähr 100 Milliarden Neuronen (100 x 10⁹) also 1000 mal weniger. Die theoretische Grundlage für diesen Gigantismus liefern Studien, die ein klares Skalenverhalten zwischen Größe des Modells und Performance belegen ⁴. Danach sinkt der sogenannte Verlust – ein Maß für die Fehlerhaftigkeit der Vorhersagen der Modelle – um 1, wenn das Modell 10mal größer wird. Das funktioniert aber nur wenn Rechenleistung und Trainingsmenge ebenfalls nach oben skaliert werden.

Neben den ungeheuren Mengen Energie, die das Berechnen dieser Modelle verschlingt und dem damit einhergehenden CO₂-Footprint, der ein Besorgnis erregendes Ausmaß annimmt, ergeben sich direkte wirtschaftliche Folgen: Offenbar können nicht nur kleinere Unternehmen die Kosten für das Training solcher Modelle nicht stemmen, auch größere Konzerne dürften vor Kosten von 10 Mio. USD bzw. in Zukunft 100 Mio. USD oder mehr zurückschrecken. Ganz abgesehen von der notwendigen Infrastruktur und Personalausstattung für ein solches Unterfangen.

Monopolstellung der großen Player

Das hat direkte Auswirkungen auf die Verfügbarkeit: Während die kleineren Modelle bis Ende 2019 mittlerweile Open Source sind und über spezialisierte Provider frei zugreifbar, gilt das für die großen Modelle ab ca. Ende 2020 (dem Auftauchen von GPT-2) nicht mehr. OpenAI bietet zum Beispiel eine kommerzialisierte API für den Zugriff an und erteilt nur durch einen Genehmigungsprozess einen Zugang. Das ist einerseits für die Entwicklung von Applikationen mit diesen NLP-Modellen bequem, da die Arbeit des Hostings und der Administration entfällt, andererseits ist die Eintrittsbarriere für Wettbewerber in diesen Markt so steil, dass im Wesentlichen die super-großen KI-Firmen dort teilnehmen: Google mit OpenAI, Microsoft mit Deepmind und Alibaba.

Die Konsequenzen dieser Monopolstellungen der führenden KI-Unternehmen sind wie bei jedem Monopol alternativlose Preismodelle und starre Geschäftspraktiken. Die Fähigkeiten der jetzigen Large Language Models wie GPT-3 und Megatron Turing NLG sind allerdings schon so beeindruckend, dass abzusehen ist, dass wahrscheinlich in 10 Jahren jedes Unternehmen für die unterschiedlichsten Anwendungen Zugriff auf die dann aktuellen Modelle braucht. Ein weiteres Problem ist, dass die Herkunft der Modelle aus dem amerikanischen oder chinesischen Raum einen großen Bias in die Modelle bringt, der sich einerseits klarerweise darin ausdrückt, dass Englisch oder Chinesisch die Sprache ist, mit der die Modelle am Besten funktionieren. Andererseits bringen die Trainingsdatensätze, die aus diesen Kulturbereichen stammen, eben kulturellen Tendenzen aus diesen Räumen mit, so dass abzusehen ist, dass andere Regionen der Welt unterrepräsentiert sind und weiter ins Hintertreffen geraten.

Was kann man tun?

Ich glaube es ist wichtig, die Entwicklung sorgfältig im Auge zu behalten und die Entwicklung von KI im europäischen Raum aktiver zu gestalten. Es ist jedenfalls eine größere Anstrengung notwendig, um langfristig eine Abhängigkeit von monopolisierten KI-Providern zu vermeiden. Denkbar ist vielleicht die Einbindung von nationalen Rechenzentren oder Forschungsverbünden, die vereint mit Unternehmen eigene Modelle trainieren und kommerzialisieren und ein Gegengewicht zu amerikanischen oder chinesischen Unternehmen bilden. Die nächsten 10 Jahre werden hier entscheidend sein.

¹ s. hier in Abschnitt D sowie Compute-Kosten per GPU z.B. auf Google Cloud ca. 1USD/hour für eine NVIDIA V100
² Rechenansatz: V100 = 7 TFLOPs = 7 10^12 / s, 3.14 10^23 Flops => 3.14 10^23/7×10^12 / 3600 = 10^7 Stunden = 10 Mio USD, Details der Rechnung sowie Recherche der Parameter hier.
³ s. auch hier zum Vergleich Grafik mit älteren Daten.
⁴ s. arxiv und Deepmind

Beim Thema Quantum Computing (QC) hat sich nach den durchaus realen Durchbrüchen in der Hardware und einigen spektakulären Ankündigungen unter Titeln wie „Quantum Supremacy“ der übliche Hype Cycle entwickelt mit einer Phase von vagen und überzogenen Erwartungen. Ich möchte hier versuchen, kurz einzuordnen, warum der enorme Aufwand in diesem Bereich überhaupt getrieben wird und welche realistischen Erwartungen dahinter stecken.

Um die fundamentalen Unterschiede zwischen QC und Classical Computing (CC) zu verstehen, muss man zunächst einen Schritt zurücktreten und sich fragen, auf welcher Basis beide Computing-Paradigmen operieren. Für das CC ist die Basis die universelle Turing-Maschine ausgedrückt in der allgegenwärtigen von-Neumann-Architektur. Das mag ein wenig abgehoben klingen, ist aber im Grunde einfach zu verstehen: Eine universelle Turing-Maschine abstrahiert den Sachverhalt, dass man in einen klassischen Computer jeden Algorithmus einprogrammieren kann (universell), der irgendwie (klassisch) algorithmisch ausdrückbar ist (Turing-Maschine).

Die weitaus meisten „Algorithmen“, die praktisch implementiert werden, sind dabei schlichte Sequenzen von Aktionen, die auf äußere Ereignisse reagieren wie Mausklicks auf einer Webseite, Transaktionen im Web-Shop oder Meldungen von anderen Computern im Netzwerk. Ein sehr sehr geringer, wenn auch wichtiger Anteil von Programmen macht das, was man im Allgemeinen mit dem Wort Algorithmus assoziiert, nämlich das Durchführen von Rechenoperationen zur Lösung eines mathematischen Problems. Die Turing-Maschine ist das angepasste Denkmodell zur Programmierung dieser Probleme und führt dazu, dass Programmiersprachen die Konstrukte aufweisen, die man gewohnt ist: Schleifen, Verzweigungen, elementare Rechenoperationen etc.

Was ist das Computing-Paradigma für einen Quantencomputer?

Ein Quantencomputer ist aufgebaut aus Quantenzuständen, die miteinander verschränkt werden können und über Quantengatter evolviert werden. Ist auch ein bisschen abgehoben, heißt aber einfach ausgedrückt, dass ein Quantencomputer so eingestellt wird, dass er einen (Quanten)Anfangszustand hat, der sich in der Zeit entwickelt und zum Schluss gemessen wird. Das Paradigma für einen Quantencomputer ist deshalb die Schrödingergleichung, die fundamentale Gleichung der Quantenmechanik. Ohne die Details zu verstehen, dürfte klar sein, dass sich Allerweltsprobleme schwer in den Formalismus der Quantenmechanik pressen lassen und dieser Aufwand wahrscheinlich auch keinen Gewinn bringt: Die Quantenmechanik ist eben nicht das angepasste Denkmodell für die meisten (Allerwelts-)Probleme und bei der Lösung auch nicht effizienter.

Was kann man dann damit?

Die Antwort ist sehr einfach: QC ist im Wesentlichen eine Methode zum Quantum Computing. Das klingt jetzt redundant, heißt aber, dass ein Quantencomputer eine universelle Maschine ist, um Quantensysteme zu berechnen. Dieser Vision, die Richard Feynman schon 1981 formuliert hat, folgt die Logik der Forschung bis heute. So ist es wenig überraschend, dass die Veröffentlichungen zum Thema, die sich mit Anwendungen befassen, entweder in der Quantenchemie oder der Grundlagenforschung der Physik angesiedelt sind [5][6].

Warum ist das wichtig?

Weil der klassische Computer sehr ineffizient darin ist, Quantensysteme zu berechnen oder zu simulieren. Diese Ineffizienz ist prinzipiell begründet in der mathematischen Struktur der Quantenmechanik und wird sich durch noch so gute klassische Algorithmen nicht beheben lassen. Neben Fragen der Grundlagenforschung wird QC wahrscheinlich auch wichtig werden im Bereich der Hardware klassischer Computer, wo man im Zuge der Miniaturisierung an Grenzen der Auslegung von Transistoren auf den Chips mit Hilfe der klassischen Theorien zur Elektrizität stößt. 

Daneben gibt es eine Reihe interessanter Verbindungen zur Zahlentheorie und anderen diversen Problemen, die man bisher als interessante Kuriosa einstufen kann. Allein die Verbindung zur Zahlentheorie könnte nach jetzigem Wissensstand eine erhebliche Auswirkung haben, da sich aus historischen Gründen fast alle praktischen asymmetrischen Verschlüsselungsverfahren auf Algorithmen stützen, die im Wesentlichen annehmen (einen Beweis dafür gibt es nicht), dass die Primzahlfaktorisierung mit klassischen Algorithmen nicht effizient zu lösen ist. Quantencomputer können das im Prinzip, sind jedoch hardware-technisch weit davon entfernt, das zu realisieren.