Udo Göbel – CONTACT Software Blog

Vom Hype zur Realität: Warum KI-Systemintegration entscheidend ist

Der Hype um künstliche Intelligenz im Engineering ist riesig. Fast jeder Software-Anbieter bietet smarte AI-Funktionen an. Richtig eingesetzt, entfalten KI-gestützte Lösungen genau dort eine enorme Hebelwirkung, wo Ingenieur*innen und Konstrukteur*innen täglich wertvolle Zeit verlieren. Das können lästige Routineaufgaben oder wiederkehrende To-Dos im Hintergrund sein: das automatisierte Erstellen von Testfällen, das Erfassen komplexer Dokumente oder die schnelle Bewertung kleinerer Änderungen.

Doch schaut man hinter die Kulissen der Industrie, folgt die Ernüchterung. Laut einer CIMdata-Studie haben zwar rund 80 % der Software-Hersteller bereits KI-Features im Portfolio – die tatsächliche Aktivierungsrate bei den Industriekunden liegt jedoch nur bei 8 bis 33 %! Fast 9 von 10 Industrieunternehmen nutzen KI bisher in weniger als einem Viertel ihrer Projekte. Die meiste Zeit verharren die Projekte in der Pilotphase. Doch woran liegt es, dass der Motor nicht anspringt?

Die Herausforderung: Die unsichtbare Datenmauer

Das größte Hindernis ist nicht der Algorithmus selbst, sondern das, was danach kommt: die KI-Integration. Für Industriekunden ist die nahtlose Anbindung an bestehende Systeme ein wichtiges Auswahlkriterium. Doch Software- und Service-Provider unterschätzen diese Hürde systematisch. In der Praxis stoßen Service-Provider 2,4-mal häufiger auf unerwartete Probleme mit Altsystemen, als Kunden das im Vorfeld überhaupt auf dem Schirm haben. Wenn neue KI-Tools einfach nur isoliert an bestehende Systeme „angeschraubt“ werden, scheitern sie an der Realität komplexer Engineering-Prozesse. Unser Chief Product Officer Frank Patz-Brockmann bringt es auf den Punkt: „Der Schmerz liegt nicht in der Anschaffung, sondern in der Aktivierung.“

Integration statt API-Bastelei

CONTACT Software geht dieses Problem mit Fourier AI proaktiv an. Wir müssen KI-Systemintegration als fundamentale Architekturentscheidung begreifen, nicht als nachträgliches Bastelprojekt: Anstatt eine externe KI-Insel über Standard-Schnittstellen anzubinden, ist Fourier AI als vollintegrierte Intelligenzschicht tief in der bewährten Plattform CONTACT Elements verankert.

Manchmal hören wir in Kundengesprächen den Drang, gewachsene Datenstrukturen komplett über Bord zu werfen und durch eine Art „Data Lake“ oder gar „Data Swamp“ zu ersetzen, in der Hoffnung, die KI würde sich die Informationen dort schon selbst zusammensuchen. Das ist jedoch der völlig verkehrte Ansatz, da KI strukturierte Daten benötigt.

Mit Fourier AI setzen wir daher auf einen klaren, schichtweisen Aufbau von unten nach oben:

Single Source of Truth (PLM) als Basis: Ganz unten steht nach wie vor das PLM-System mit seinen hochgradig strukturierten Daten. Dieses Fundament ist zwingend notwendig und bildet die verlässliche Ausgangsbasis für jegliche Intelligenz.
Die Kontext-Konstruktion: Daten einfach nur irgendwo abzuspeichern, reicht nicht aus. Für die KI muss ein präziser Kontext konstruiert werden. Wenn ein Nutzer beispielsweise eine Anfrage stellt wie „Gib mir mal alle Daten zum Engineering Change“, muss diese Kontext-Schicht genau wissen, welche Daten dazugehören, wer sie erstellt hat und wie sie zusammenhängen.
Der Modell-Layer: Darüber liegt die Modellschicht. Neben führenden externen Modellen bieten wir auch eigene Spezialmodelle an, wie beispielsweise für die 3D-Ähnlichkeitssuche. Das System wählt für bestimmte Aufgaben in der Plattform automatisch das passende Modell aus, lässt Unternehmen für eigene Use Cases aber auch die freie Auswahl, auf welche Modelle sie zugreifen möchten.
AI Orchestration & Governance: Um Antworten zu bewerten und kontinuierlich zu verbessern, werden die erzeugten Traces festgehalten und geloggt. Das System filtert die Daten so, dass das Modell nur Antworten liefert, die der jeweilige Nutzer über das integrierte Rechtesystem tatsächlich sehen darf.
Die User Interaction (Der PLM-Chatbot): Ganz oben steht schließlich der Anwender, der beispielsweise im PLM-Chatbot seine Frage eingibt.

Fazit: Erst die Basis, dann der Mehrwert

Dieser tiefgreifende architektonische Ansatz erfordert im ersten Schritt mehr Sorgfalt bei der Datenstrukturierung und Systemvorbereitung. Doch genau das ist der entscheidende Hebel: Weil das Fundament von vornherein sauber gebaut ist, lernt die KI-Schicht automatisch mit, sobald ein Kunde sein Datenmodell in CONTACT Elements erweitert – ganz ohne zusätzlichen Code schreiben zu müssen. So schließen wir die Lücke zwischen bloßer Technologiespielerei und echtem, produktivem Mehrwert im Engineering-Alltag.

Mehr zum Thema erfahren Sie im Live-Talk:

Groß, größer, gigantisch. Die Folgen der Riesenmodelle in der KI

Die Entwicklung der Sprachmodelle im Bereich NLP (Natural Language Processing) hat vor allem seit 2019 zu gewaltigen Sprüngen in der Genauigkeit dieser Modelle für bestimmte Aufgaben geführt, aber auch in der Anzahl und dem Umfang der Fähigkeiten an sich. Als Beispiel seien die mit viel Medienrummel von OpenAI veröffentlichen Sprachmodelle GPT-2 und GPT-3 genannt, die mittlerweile für den kommerziellen Einsatz verfügbar sind und sowohl in Art, Umfang und Genauigkeit erstaunliche Fähigkeiten haben, auf die ich in einem anderen Blog-Post eingehen möchte. Dies wurde im Fall von GPT-3 durch Training mittels eines Modells mit 750 Milliarden Parametern auf einem Datensatz von 570 GB erreicht. Das sind Werte, die einem die Sprache verschlagen.

Je größer die Modelle, je höher die Kosten

Gigantisch sind aber auch die Kosten, die das Training dieser Modelle verschlingt: Setzt man nur die angegebenen Compute-Kosten ¹ für einen kompletten Trainingslauf an, kommt man auf eine Größenordnung von 10 Millionen USD für das Training von GPT-3 ^{2, 3}. Hinzu kommen weitere Kosten für Vorversuche, Storage, Commodity-Kosten für die Bereitstellung etc., die in ähnlicher Größenordnung liegen dürften. In den vergangenen Jahren hat sich der Trend, immer größere Modelle zu bauen, verstetigt und jedes Jahr kommt ungefähr eine Größenordnung hinzu, d.h. die Modelle sind 10x größer als im Jahr davor.

Größe von NLP-Modellen von 2018-2022. Die Parametergrößen sind logarithmisch aufgetragen in Einheiten von Milliarden. Die rote Linie stellt das mittlere Wachstum dar: ca. 10-20 mal größere Modelle pro Jahr ².

Das nächste Modell von OpenAI GPT-4 soll ca. 100 Billionen Parameter haben (100 x 10¹² ). Zum Vergleich: Das menschliche Gehirn hat ungefähr 100 Milliarden Neuronen (100 x 10⁹) also 1000 mal weniger. Die theoretische Grundlage für diesen Gigantismus liefern Studien, die ein klares Skalenverhalten zwischen Größe des Modells und Performance belegen ⁴. Danach sinkt der sogenannte Verlust – ein Maß für die Fehlerhaftigkeit der Vorhersagen der Modelle – um 1, wenn das Modell 10mal größer wird. Das funktioniert aber nur wenn Rechenleistung und Trainingsmenge ebenfalls nach oben skaliert werden.

Neben den ungeheuren Mengen Energie, die das Berechnen dieser Modelle verschlingt und dem damit einhergehenden CO₂-Footprint, der ein Besorgnis erregendes Ausmaß annimmt, ergeben sich direkte wirtschaftliche Folgen: Offenbar können nicht nur kleinere Unternehmen die Kosten für das Training solcher Modelle nicht stemmen, auch größere Konzerne dürften vor Kosten von 10 Mio. USD bzw. in Zukunft 100 Mio. USD oder mehr zurückschrecken. Ganz abgesehen von der notwendigen Infrastruktur und Personalausstattung für ein solches Unterfangen.

Monopolstellung der großen Player

Das hat direkte Auswirkungen auf die Verfügbarkeit: Während die kleineren Modelle bis Ende 2019 mittlerweile Open Source sind und über spezialisierte Provider frei zugreifbar, gilt das für die großen Modelle ab ca. Ende 2020 (dem Auftauchen von GPT-2) nicht mehr. OpenAI bietet zum Beispiel eine kommerzialisierte API für den Zugriff an und erteilt nur durch einen Genehmigungsprozess einen Zugang. Das ist einerseits für die Entwicklung von Applikationen mit diesen NLP-Modellen bequem, da die Arbeit des Hostings und der Administration entfällt, andererseits ist die Eintrittsbarriere für Wettbewerber in diesen Markt so steil, dass im Wesentlichen die super-großen KI-Firmen dort teilnehmen: Google mit OpenAI, Microsoft mit Deepmind und Alibaba.

Die Konsequenzen dieser Monopolstellungen der führenden KI-Unternehmen sind wie bei jedem Monopol alternativlose Preismodelle und starre Geschäftspraktiken. Die Fähigkeiten der jetzigen Large Language Models wie GPT-3 und Megatron Turing NLG sind allerdings schon so beeindruckend, dass abzusehen ist, dass wahrscheinlich in 10 Jahren jedes Unternehmen für die unterschiedlichsten Anwendungen Zugriff auf die dann aktuellen Modelle braucht. Ein weiteres Problem ist, dass die Herkunft der Modelle aus dem amerikanischen oder chinesischen Raum einen großen Bias in die Modelle bringt, der sich einerseits klarerweise darin ausdrückt, dass Englisch oder Chinesisch die Sprache ist, mit der die Modelle am Besten funktionieren. Andererseits bringen die Trainingsdatensätze, die aus diesen Kulturbereichen stammen, eben kulturellen Tendenzen aus diesen Räumen mit, so dass abzusehen ist, dass andere Regionen der Welt unterrepräsentiert sind und weiter ins Hintertreffen geraten.

Was kann man tun?

Ich glaube es ist wichtig, die Entwicklung sorgfältig im Auge zu behalten und die Entwicklung von KI im europäischen Raum aktiver zu gestalten. Es ist jedenfalls eine größere Anstrengung notwendig, um langfristig eine Abhängigkeit von monopolisierten KI-Providern zu vermeiden. Denkbar ist vielleicht die Einbindung von nationalen Rechenzentren oder Forschungsverbünden, die vereint mit Unternehmen eigene Modelle trainieren und kommerzialisieren und ein Gegengewicht zu amerikanischen oder chinesischen Unternehmen bilden. Die nächsten 10 Jahre werden hier entscheidend sein.

¹ s. hier in Abschnitt D sowie Compute-Kosten per GPU z.B. auf Google Cloud ca. 1USD/hour für eine NVIDIA V100
² Rechenansatz: V100 = 7 TFLOPs = 7 10^12 / s, 3.14 10^23 Flops => 3.14 10^23/7×10^12 / 3600 = 10^7 Stunden = 10 Mio USD, Details der Rechnung sowie Recherche der Parameter hier.
³ s. auch hier zum Vergleich Grafik mit älteren Daten.
⁴ s. arxiv und Deepmind

Wofür ist Quantum Computing gut?

Beim Thema Quantum Computing (QC) hat sich nach den durchaus realen Durchbrüchen in der Hardware und einigen spektakulären Ankündigungen unter Titeln wie „Quantum Supremacy“ der übliche Hype Cycle entwickelt mit einer Phase von vagen und überzogenen Erwartungen. Ich möchte hier versuchen, kurz einzuordnen, warum der enorme Aufwand in diesem Bereich überhaupt getrieben wird und welche realistischen Erwartungen dahinter stecken.

Um die fundamentalen Unterschiede zwischen QC und Classical Computing (CC) zu verstehen, muss man zunächst einen Schritt zurücktreten und sich fragen, auf welcher Basis beide Computing-Paradigmen operieren. Für das CC ist die Basis die universelle Turing-Maschine ausgedrückt in der allgegenwärtigen von-Neumann-Architektur. Das mag ein wenig abgehoben klingen, ist aber im Grunde einfach zu verstehen: Eine universelle Turing-Maschine abstrahiert den Sachverhalt, dass man in einen klassischen Computer jeden Algorithmus einprogrammieren kann (universell), der irgendwie (klassisch) algorithmisch ausdrückbar ist (Turing-Maschine).

Die weitaus meisten „Algorithmen“, die praktisch implementiert werden, sind dabei schlichte Sequenzen von Aktionen, die auf äußere Ereignisse reagieren wie Mausklicks auf einer Webseite, Transaktionen im Web-Shop oder Meldungen von anderen Computern im Netzwerk. Ein sehr sehr geringer, wenn auch wichtiger Anteil von Programmen macht das, was man im Allgemeinen mit dem Wort Algorithmus assoziiert, nämlich das Durchführen von Rechenoperationen zur Lösung eines mathematischen Problems. Die Turing-Maschine ist das angepasste Denkmodell zur Programmierung dieser Probleme und führt dazu, dass Programmiersprachen die Konstrukte aufweisen, die man gewohnt ist: Schleifen, Verzweigungen, elementare Rechenoperationen etc.

Was ist das Computing-Paradigma für einen Quantencomputer?

Ein Quantencomputer ist aufgebaut aus Quantenzuständen, die miteinander verschränkt werden können und über Quantengatter evolviert werden. Ist auch ein bisschen abgehoben, heißt aber einfach ausgedrückt, dass ein Quantencomputer so eingestellt wird, dass er einen (Quanten)Anfangszustand hat, der sich in der Zeit entwickelt und zum Schluss gemessen wird. Das Paradigma für einen Quantencomputer ist deshalb die Schrödingergleichung, die fundamentale Gleichung der Quantenmechanik. Ohne die Details zu verstehen, dürfte klar sein, dass sich Allerweltsprobleme schwer in den Formalismus der Quantenmechanik pressen lassen und dieser Aufwand wahrscheinlich auch keinen Gewinn bringt: Die Quantenmechanik ist eben nicht das angepasste Denkmodell für die meisten (Allerwelts-)Probleme und bei der Lösung auch nicht effizienter.

Was kann man dann damit?

Die Antwort ist sehr einfach: QC ist im Wesentlichen eine Methode zum Quantum Computing. Das klingt jetzt redundant, heißt aber, dass ein Quantencomputer eine universelle Maschine ist, um Quantensysteme zu berechnen. Dieser Vision, die Richard Feynman schon 1981 formuliert hat, folgt die Logik der Forschung bis heute. So ist es wenig überraschend, dass die Veröffentlichungen zum Thema, die sich mit Anwendungen befassen, entweder in der Quantenchemie oder der Grundlagenforschung der Physik angesiedelt sind [5][6].

Warum ist das wichtig?

Weil der klassische Computer sehr ineffizient darin ist, Quantensysteme zu berechnen oder zu simulieren. Diese Ineffizienz ist prinzipiell begründet in der mathematischen Struktur der Quantenmechanik und wird sich durch noch so gute klassische Algorithmen nicht beheben lassen. Neben Fragen der Grundlagenforschung wird QC wahrscheinlich auch wichtig werden im Bereich der Hardware klassischer Computer, wo man im Zuge der Miniaturisierung an Grenzen der Auslegung von Transistoren auf den Chips mit Hilfe der klassischen Theorien zur Elektrizität stößt.

Daneben gibt es eine Reihe interessanter Verbindungen zur Zahlentheorie und anderen diversen Problemen, die man bisher als interessante Kuriosa einstufen kann. Allein die Verbindung zur Zahlentheorie könnte nach jetzigem Wissensstand eine erhebliche Auswirkung haben, da sich aus historischen Gründen fast alle praktischen asymmetrischen Verschlüsselungsverfahren auf Algorithmen stützen, die im Wesentlichen annehmen (einen Beweis dafür gibt es nicht), dass die Primzahlfaktorisierung mit klassischen Algorithmen nicht effizient zu lösen ist. Quantencomputer können das im Prinzip, sind jedoch hardware-technisch weit davon entfernt, das zu realisieren.