Mit dem Aufstieg moderner KI-Systeme hört man auch immer häufiger Sätze wie „Text wird in ein Embedding umgewandelt…“, gerade beim Einsatz großer Sprachmodelle (engl. Large Language Models, LLMs). Embeddings sind aber nicht nur auf Texte reduziert, sondern Vektordarstellungen für jede Art von Daten.
In den letzten Jahren hat sich Deep Learning stark weiterentwickelt, insbesondere durch das Trainieren großer Modelle auf umfangreichen Datensätzen. Diese Modelle erzeugen universell einsetzbare Embeddings, die in vielen Domänen nützlich sind. Da die meisten Entwickler nicht die Ressourcen für eigenes Training haben, nutzen sie vortrainierte Modelle.
Viele KI-Systeme basieren auf dem folgenden Schema:
In diesem Blogeintrag tauchen wir daher tiefer in diesen zentralen Bestandteil von KI-Systemen ein.
Was sind Embeddings?
Einfach gesagt ist ein Embedding eine Art digitale Zusammenfassung: eine Zahlenfolge, die Eigenschaften eines Objekts – sei es Text, Bild oder Audio – beschreibt. Die Embeddings von ähnlichen Objekten liegen im Raum nah beieinander.
Technisch ausgedrückt sind Embeddings Vektordarstellungen von Daten. Sie basieren auf einer Abbildung (Embedder, Encoder), die wie ein Übersetzer funktioniert. Moderne Embeddings sind häufig tiefe neuronale Netze und reduzieren komplexe Daten auf eine niedrigere Dimension. Allerdings gehen durch die Komprimierung teilweise Informationen verloren. Aus einem Embedding lässt sich daher nicht immer der genaue Input rekonstruieren.
Wie funktionieren Embeddings?
Embeddings sind keine neue Erfindung, haben sich durch Deep Learning aber wesentlich verbessert. Nutzer*innen erstellen sie manuell oder automatisch durch maschinelles Lernen. Frühe Methoden wie Bag-of-Words oder One-Hot-Encoding sind einfache Varianten, bei denen Wörter gezählt oder als Binärvektoren dargestellt werden.
Heute übernehmen neuronale Netze diese Arbeit. Modelle wie Word2Vec oder GloVe lernen die Bedeutung und Beziehungen zwischen Wörtern automatisch. In der Bildverarbeitung finden Deep-Learning-Modelle Schlüsselpunkte und extrahieren Merkmale.
Warum sind Embeddings nützlich?
Weil sich nahezu jede Art von Daten mit Embeddings darstellen lässt: Text, Bilder, Audio, Videos, Graphen usw. Im niedrigdimensionalen Vektorraum lassen sich Aufgaben wie Ähnlichkeitssuche oder Klassifikation einfacher lösen.
Wenn man zum Beispiel in einem Text wissen möchte, welches von drei Wörtern nicht zu den anderen passt, ermöglichen Embeddings es diese Wörter als Vektoren darzustellen, zu vergleichen und so die „Ausreißer“ zu erkennen. Außerdem verknüpfen Embeddings unterschiedliche Formate. Eine Textanfrage findet zum Beispiel auch Bilder und Videos.
Für viele Aufgaben müssen Embeddings nicht selbst erstellt werden. Es gibt zahlreiche vortrainierte Modelle, die direkt zur Verfügung stehen – von ChatGPT bis hin zu Bildmodellen wie ResNet. Für spezifische Nischenbereiche oder Aufgaben können diese Modelle entsprechend angepasst werden.
Kleine Zahlen, große Wirkung
Embeddings sind zu einem der Schlagwörter für den Aufbau von KI-Systemen geworden. Die Idee ist einfach: komplexe Daten in handliche Vektoren zu verwandeln, mit denen sich unter anderem Unterschiede und Ähnlichkeiten erkennen lassen. Dabei hat man die Wahl zwischen vortrainierten Embeddings oder der Entwicklung eigener Modelle. Embeddings ermöglichen es, Daten verschiedener Modalitäten (Text, Bilder, Videos, Audio usw.) im selben Vektorraum zu repräsentieren und sind so ein unverzichtbares Werkzeug im Bereich der KI.
Einen ausführlichen Beitrag zum Thema finden Sie auch auf dem CONTACT Research Blog.
Forschung auf dem Gebiet der Künstlichen Intelligenz (KI) ist anspruchsvoll, aber auch voller Potenzial – insbesondere für ein neues Team. Mit der Gründung im Jahr 2022 stand für CONTACT Research von Anfang an KI als einer von vier zentralen Forschungsbereichen fest. Wir haben uns hierbei zunächst auf kleinere Projekte – unter anderem im Bereich der klassischen Datenanalyse – konzentriert. Mit der wachsenden Popularität von ChatGPT fokussierten wir uns verstärkt auf Large Language Models (LLM) und haben die Chance ergriffen, mit den neusten Werkzeugen und Technologien dieses zukunftsweisenden Feldes zu arbeiten. Die zentrale Frage für uns als Forschungsteam war dabei: Wie starten wir?
Wir möchten hier einige unserer Erfahrungen teilen, die als Orientierung für den erfolgreichen Weg in die Welt der KI dienen können.
Der Start: Warum Ähnlichkeitssuche unser Ausgangspunkt wurde
Von Anfang an war klar: Wir wollen kein reines Forschungsprojekt, sondern einen echten Anwendungsfall, bestenfalls um ihn direkt in unsere Software zu integrieren. Um den Start zu erleichtern, haben wir bewusst auf kleine Experimente gesetzt und nach einem spezifischen Problem gesucht, das sich schrittweise lösen lässt.
Innerhalb unserer Software liegen viele Informationen ab, von Produktinformationen bis hin zu Projektdetails. Eine leistungsfähige Suche macht dort einen entscheidenden Unterschied. Unsere bestehende Suchfunktion erkennt keine Synonyme, keine natürliche Sprache – und damit manchmal nicht das, was man wirklich sucht. Zusammen mit wertvollem Feedback ergab sich daraus schnell, dass die Ähnlichkeitssuche ein idealer Startpunkt ist und daher unser erstes Forschungsthema sein sollte. Ein LLM kann die Suchfunktion auf ein neues Level heben.
Die Auswahl der Daten macht den Unterschied
Unsere Vision war es, Wissen aus verschiedenen Quellen, wie Handbüchern, Tutorials und Spezifikationen, leicht zugänglich zu machen – durch eine einfache Frage. Im ersten und wichtigsten Schritt mussten wir eine geeignete Datenquelle finden: groß genug, um aussagekräftige Ergebnisse zu liefern, aber nicht so umfangreich, dass Ressourcenprobleme den Fortschritt behindern. Außerdem musste der Datensatz qualitativ hochwertig und leicht verfügbar sein.
Für die Experimente wählten wir die webbasierte Dokumentation unserer Software. Sie enthält keine vertraulichen Informationen und ist für Kunden und Partner zugänglich. Erste Experimente erzielten schnell vielversprechende Ergebnisse, also vertieften wir die Entwicklung einer semantischen Suchanwendung.
Was ist die semantische Suche?
Kurz gesagt, im Gegensatz zur klassischen Stichwortsuche erkennt die semantische Suche auch verwandte Begriffe und erweitert die Anfrage um inhaltlich verwandte Ergebnisse, auch wenn diese anders formuliert sind. Wie funktioniert das? In unserem ersten Versuch mit der semantischen Indizierung wandelt das LLM die Inhalte der Quelltexte in Vektoren um und speichert sie in einer Datenbank. Suchanfragen werden ebenfalls zu Vektoren und per „Nearest-Neighbor“-Suche mit gespeicherten Vektoren verglichen. Die Ergebnisse gibt das LLM als sortierte Liste mit Links zur Dokumentation aus.
Plant die Infrastruktur sorgfältig!
Um unser Projekt umzusetzen, mussten viele technische und strategische Entscheidungen getroffen werden: Für die Pipeline, die die Daten verarbeitet, erfüllte LangChain am besten unsere Anforderungen. Und auch die Hardware bringt Herausforderungen mit sich: Für Textmengen in dem Ausmaß reichen Laptops nicht aus, sodass Server oder Cloudanbieter erforderlich sind. Eine gut durchdachte Struktur der Datenbank ist daher ein wichtiger Schlüssel zur erfolgreichen Umsetzung.
Erfolg durch Teamwork: Daten, Scope und Vision im Fokus
Für den Erfolg zählt nicht nur die Technik, sondern auch wie sich das KI-Team zusammensetzt. Essenziell sind Dateningenieur*innen, die technisches Wissen und strategische Ziele verbinden; Data Scientists, die große Datenmengen analysieren; und KI-Architekt*innen, die die Vision der KI-Nutzung definieren und die Abstimmung im Team koordinieren. KI-Tools halfen uns zwar mit „einfachen“ Routineaufgaben und kreativen Anstößen, sie ersetzen aber trotzdem nicht den konstruktiven Austausch und die enge Zusammenarbeit im Team.
Feedback einholen und besser werden
Zum Abschluss dieser ersten Phase haben wir eine interne Beta-Version der semantischen Suche mit unseren Kolleg*innen geteilt. So konnten wir wertvolles Feedback sammeln, um die nächsten Schritte zu planen. Die Begeisterung für die Weiterentwicklung ist groß, und damit auch unsere Motivation, weiterzumachen.
Was kommt als nächstes?
Unsere Reise in der KI-Forschung hat gerade erst begonnen, aber wir haben bereits wichtige Wegweiser gefunden. Viele spannende Fragen liegen noch vor uns: Welches Modell passt langfristig am besten? Wie machen wir die Ergebnisse für Nutzer*innen zugänglich?
Unser Team wächst weiter – an Expertise, an Mitgliedern und Visionen. Mit jedem Meilenstein kommen wir dem Ziel näher: das volle Potenzial von KI in unsere Arbeit zu integrieren.
Industrie 4.0 verspricht effizientere und nachhaltigere Fertigungsprozesse via Digitalisierung. Die Grundlage hierfür entsteht durch den reibungslosen, automatischen Austausch von Informationen zwischen Anlagen und Produkten. Hier kommt die Verwaltungsschale (VWS; englisch: Asset Administration Shell) ins Spiel.
Eine Verwaltungsschale ist ein anbieterunabhängiger Standard für die Beschreibung Digitaler Zwillinge. Im Grunde ist sie das digitale Abbild eines Assets; entweder eines physischen Produkts oder eines virtuellen Gegenstands (z. B. Dokumente oder Software).
Die VWS definiert das Erscheinungsbild des Assets in der digitalen Welt. Sie beschreibt, welche Informationen eines Gerätes für die Kommunikation relevant sind und wie diese Informationen dargestellt werden. Die VWS eines Gegenstands kann damit alle wichtigen Daten über das Asset standardisiert und automatisiert bereitstellen.
Um zu verstehen, welchen Mehrwert eine VWS der Industrie bietet, hilft ein Blick in die Praxis.
Praxisbeispiel: VWS als Basis für neue Dienstleistungen
Im Rahmen des Forschungsprojekts ESCOM arbeitet CONTACT Software mit der GMN Paul Müller Industrie GmbH & Co. KG an der Umsetzung VWS-basierter Komponenten-Services. Das familiengeführte Unternehmen produziert Motorspindeln, die von seinen Kunden als Komponenten in Werkzeugmaschinen für die Metallbearbeitung eingebaut und anschließend weiterverkauft werden.
Bereits vor Beginn des Projektes hatte GMN eine neue Sensortechnologie entwickelt. Sie ermöglicht tiefe Einblicke in das Verhalten der Spindel und gewährt Aussagen zum ganzheitlichen Betrieb des Spindelsystems. Diese Informationen will die Firma nutzen, um neue, produktbegleitende Dienstleistungen anzubieten:
Zertifizierte Inbetriebnahme: Bevor GMN seine Spindeln ausliefert, werden die Komponenten auf dem hauseigenen Prüfstand einem festgelegten Prüfzyklus unterzogen. Mit den Daten aus diesem Referenzzyklus will das Unternehmen sicherstellen, dass Motorspindeln im Kundenunternehmen korrekt verbaut und in Betrieb genommen werden.
Prediktive Services: Einsatzdaten, die Rückschlüsse zur Verfügbarkeit und zum Betrieb der Spindeln erlauben, sollen Kunden mit der sensorischen Mikroelektronik IDEA-4S kontinuierlich erfassen und analysieren können. Im Bedarfsfall können die Daten gemeinsam mit GMN genutzt werden, zum Beispiel für Problemanalysen. Dies spart wertvolle Zeit bis zur Wiederinbetriebnahme der Bearbeitungsmaschine. Perspektivisch kann das Unternehmen vorausschauende Service-Angebote wie Predictive Maintenance realisieren.
Über die GMN Paul Müller Industrie GmbH
Die GMN Paul Müller Industrie GmbH ist ein familiengeführtes Maschinenbauunternehmen mit Sitz in Nürnberg. Es produziert Hochpräzisionskugellager, Maschinenspindeln, Freiläufe, berührungslose Dichtungen sowie elektrische Antriebe, die in zahlreichen Industrien zum Einsatz kommen. Einen Großteil dieser Komponenten fertigt die Firma individuell für ihre Kunden am Standort und vertreibt seine Produkte über ein weltweites Vertriebsnetzwerk.
Wie werden die neuen Angebote umgesetzt?
Für solche Services müssen Unternehmen auf die Sensordaten ihrer Maschinen zugreifen und diese analysieren können. Zugleich gilt es, Maschinen (bzw. deren Komponenten) zu befähigen, selbstständig mit anderen Assets und Systemen rund um den Shopfloor zu kommunizieren. Für beide Aufgaben nutzt GMN die Plattform CONTACT Elements for IoT. Die modular aufgebaute Software hilft dem Unternehmen nicht nur, die Referenz- und Einsatzdaten der Spindeln zu erfassen, zu dokumentieren und auszuwerten. Sie enthält auch Funktionen, mit denen User die VWS für ein Asset anlegen, befüllen und verwalten können.
Hintergrund
Bei der Realisierung der Services, die auf Betriebsdaten der Spindel basieren, profitiert GMN von der Zusammenarbeit mit einem Kunden. Dieser verbaut die Spindeln in Bearbeitungsmaschinen, die GMN zur Herstellung eigener Produkte einsetzt. Daher kann GMN die Betriebsdaten in-house gewinnen und zur Verbesserung der nächsten Spindelgeneration verwenden.
Welche Rolle spielt die Verwaltungsschale?
Damit die Komponenten Informationen in standardisierter Form austauschen können, muss für die Spindel auf Artikel- und Seriennummernebene eine AAS angelegt werden. Auch dies geschieht in CONTACT Elements for IoT. Die neuen Services werden darin in einem sogenannten VWS-Metamodell abgebildet. Es dient als „Absprungpunkt“ zu den Service-Angeboten.
VWS und Teilmodelle
Die VWS einer Industrie 4.0-Komponente besteht aus einem oder mehreren Teilmodellen, die jeweils eine strukturierte Menge an Merkmalen enthalten. Sie werden von der Industrial Digital Twin Association (IDTA) festgelegt, einem Verein, in dem 113 Organisationen aus den Bereichen Forschung, Industrie und Software (u. a. CONTACT Software) an der Definition von VWS zusammenarbeiten. Eine Liste mit allen derzeit verfügbaren Teilmodellen finden Sie unter https://industrialdigitaltwin.org/content-hub/teilmodelle.
Die Teilmodelle der VWS kann GMN in CONTACT Elements for IoT mit wenig Aufwand selbst befüllen. Die Plattform beinhaltet ein Widget, das im Rahmen des Forschungsprojekts als Prototyp entwickelt wurde. Es zeigt Usern an, welche Teilmodelle derzeit beim Asset vorhanden und welche verfügbar, aber noch nicht angelegt sind. Über das Frontend können User direkt auf den REST-Knoten springen und Teilmodelle hoch- bzw. herunterladen (im VWS-/JSON-Format).
Bei der Umsetzung der datenbasierten Service-Angebote konzentriert sich GMN auf die Teilmodelle
Time Series Data (u. a. semantische Informationen über Zeitreihendaten)
Typenschild (u. a. Informationen zum Produkt, dem Namen des Herstellers sowie der Produktbezeichnung und -familie),
Kontaktinformationen (standardisierte Metadaten einer Maschine/Anlage) sowie
Carbon Footprint (Informationen zum Carbon Footprint einer Maschine/Anlage)
Die Befüllung der Teilmodelle ist simpel. Das zeigt sich im Kontext von GMN am Modul Time Series Data. Während der Referenzfahrt einer Motorspindel auf dem internen Prüfstand werden die Zeitreihendaten von CONTACT Elements for IoT aufgezeichnet und automatisch in das Teilmodell der VWS der gerade geprüften Motorspindel übertragen. Zugleich legt die Plattform ein Dokument zur Referenzfahrt an. Dadurch kann GMN deren Gültigkeit jederzeit tracken und für externe Stakeholder bereitstellen.
Neue Services nehmen Gestalt an
Der Einsatz von Verwaltungsschalen erlaubt es GMN, seine Service-Ideen zu realisieren. Das betrifft aktuell den Inbetriebnahme-Service und die automatisierten Services zur Qualitätssicherung.
Durch die Analyse der Spindeldaten kann das Unternehmen Ausreißer in den Einsatzdaten erkennen und darauf aufbauend Handlungsempfehlungen geben. Unterschiedliche Schwinggeschwindigkeiten deuten beispielsweise darauf hin, dass die Spindel in der Maschine falsch verbaut wurde oder zeitlich veränderliche Vorgänge stattfinden. Genauso lassen sich anhand der Analyse Aussagen über Anomalien im Betriebsverhalten treffen.
Die Transparenz, die auf diesem Weg entsteht, wird in CONTACT Elements for IoT mithilfe von Dashboards erhöht. GMN sieht darin alle relevanten Informationen zu den auf dem Prüfstand befindlichen Spindeln, von 3D-Modellen bis hin zu Zustandsdaten. Diese Übersicht ist nicht zuletzt für das Qualitätsmanagement von hohem Wert.
Zusammengefasst
Verwaltungsschalen sind anbieterunabhängige Standards, mit denen Unternehmen Digitale Zwillinge beschreiben. Sie zählen zu den wichtigsten Hebeln für die Umsetzung neuer Industrie-4.0-Geschäftsmodelle, denn sie ermöglichen die Kommunikation zwischen Assets, Systemen und Organisationen.
Wie der Einsatz von Verwaltungsschalen in der Praxis funktioniert, zeigt das Beispiel GMN. Die Firma konzipiert damit neue, produktbegleitende Dienstleistungen, die auf den Informationen der VWS ihrer Produkte basieren. Diese Angebote kann GMN durch die fortwährende Analyse von Einsatzdaten in CONTACT Elements for IoT sukzessive verbessern.
