CONTACT Software Blog

Mit dem Aufstieg moderner KI-Systeme hört man auch immer häufiger Sätze wie „Text wird in ein Embedding umgewandelt…“, gerade beim Einsatz großer Sprachmodelle (engl. Large Language Models, LLMs). Embeddings sind aber nicht nur auf Texte reduziert, sondern Vektordarstellungen für jede Art von Daten.

In den letzten Jahren hat sich Deep Learning stark weiterentwickelt, insbesondere durch das Trainieren großer Modelle auf umfangreichen Datensätzen. Diese Modelle erzeugen universell einsetzbare Embeddings, die in vielen Domänen nützlich sind. Da die meisten Entwickler nicht die Ressourcen für eigenes Training haben, nutzen sie vortrainierte Modelle.

Viele KI-Systeme basieren auf dem folgenden Schema:

Input → API (zu großem Deep-Learning-Modell) → Embeddings → Embeddings verarbeiten → Output

In diesem Blogeintrag tauchen wir daher tiefer in diesen zentralen Bestandteil von KI-Systemen ein.

Was sind Embeddings?

Einfach gesagt ist ein Embedding eine Art digitale Zusammenfassung: eine Zahlenfolge, die Eigenschaften eines Objekts – sei es Text, Bild oder Audio – beschreibt. Die Embeddings von ähnlichen Objekten liegen im Raum nah beieinander.

Technisch ausgedrückt sind Embeddings Vektordarstellungen von Daten. Sie basieren auf einer Abbildung (Embedder, Encoder), die wie ein Übersetzer funktioniert. Moderne Embeddings sind häufig tiefe neuronale Netze und reduzieren komplexe Daten auf eine niedrigere Dimension. Allerdings gehen durch die Komprimierung teilweise Informationen verloren. Aus einem Embedding lässt sich daher nicht immer der genaue Input rekonstruieren.

Wie funktionieren Embeddings?

Embeddings sind keine neue Erfindung, haben sich durch Deep Learning aber wesentlich verbessert. Nutzer*innen erstellen sie manuell oder automatisch durch maschinelles Lernen. Frühe Methoden wie Bag-of-Words oder One-Hot-Encoding sind einfache Varianten, bei denen Wörter gezählt oder als Binärvektoren dargestellt werden.

Heute übernehmen neuronale Netze diese Arbeit. Modelle wie Word2Vec oder GloVe lernen die Bedeutung und Beziehungen zwischen Wörtern automatisch. In der Bildverarbeitung finden Deep-Learning-Modelle Schlüsselpunkte und extrahieren Merkmale.

Warum sind Embeddings nützlich?

Weil sich nahezu jede Art von Daten mit Embeddings darstellen lässt: Text, Bilder, Audio, Videos, Graphen usw. Im niedrigdimensionalen Vektorraum lassen sich Aufgaben wie Ähnlichkeitssuche oder Klassifikation einfacher lösen.

Wenn man zum Beispiel in einem Text wissen möchte, welches von drei Wörtern nicht zu den anderen passt, ermöglichen Embeddings es diese Wörter als Vektoren darzustellen, zu vergleichen und so die „Ausreißer“ zu erkennen. Außerdem verknüpfen Embeddings unterschiedliche Formate. Eine Textanfrage findet zum Beispiel auch Bilder und Videos.

Für viele Aufgaben müssen Embeddings nicht selbst erstellt werden. Es gibt zahlreiche vortrainierte Modelle, die direkt zur Verfügung stehen – von ChatGPT bis hin zu Bildmodellen wie ResNet. Für spezifische Nischenbereiche oder Aufgaben können diese Modelle entsprechend angepasst werden.

Kleine Zahlen, große Wirkung

Embeddings sind zu einem der Schlagwörter für den Aufbau von KI-Systemen geworden. Die Idee ist einfach: komplexe Daten in handliche Vektoren zu verwandeln, mit denen sich unter anderem Unterschiede und Ähnlichkeiten erkennen lassen. Dabei hat man die Wahl zwischen vortrainierten Embeddings oder der Entwicklung eigener Modelle. Embeddings ermöglichen es, Daten verschiedener Modalitäten (Text, Bilder, Videos, Audio usw.) im selben Vektorraum zu repräsentieren und sind so ein unverzichtbares Werkzeug im Bereich der KI.

Einen ausführlichen Beitrag zum Thema finden Sie auch auf dem CONTACT Research Blog.

Forschung auf dem Gebiet der Künstlichen Intelligenz (KI) ist anspruchsvoll, aber auch voller Potenzial – insbesondere für ein neues Team. Mit der Gründung im Jahr 2022 stand für CONTACT Research von Anfang an KI als einer von vier zentralen Forschungsbereichen fest. Wir haben uns hierbei zunächst auf kleinere Projekte – unter anderem im Bereich der klassischen Datenanalyse – konzentriert. Mit der wachsenden Popularität von ChatGPT fokussierten wir uns verstärkt auf Large Language Models (LLM) und haben die Chance ergriffen, mit den neusten Werkzeugen und Technologien dieses zukunftsweisenden Feldes zu arbeiten. Die zentrale Frage für uns als Forschungsteam war dabei: Wie starten wir?

Wir möchten hier einige unserer Erfahrungen teilen, die als Orientierung für den erfolgreichen Weg in die Welt der KI dienen können.

Der Start: Warum Ähnlichkeitssuche unser Ausgangspunkt wurde

Von Anfang an war klar: Wir wollen kein reines Forschungsprojekt, sondern einen echten Anwendungsfall, bestenfalls um ihn direkt in unsere Software zu integrieren. Um den Start zu erleichtern, haben wir bewusst auf kleine Experimente gesetzt und nach einem spezifischen Problem gesucht, das sich schrittweise lösen lässt.

Innerhalb unserer Software liegen viele Informationen ab, von Produktinformationen bis hin zu Projektdetails. Eine leistungsfähige Suche macht dort einen entscheidenden Unterschied. Unsere bestehende Suchfunktion erkennt keine Synonyme, keine natürliche Sprache – und damit manchmal nicht das, was man wirklich sucht. Zusammen mit wertvollem Feedback ergab sich daraus schnell, dass die Ähnlichkeitssuche ein idealer Startpunkt ist und daher unser erstes Forschungsthema sein sollte. Ein LLM kann die Suchfunktion auf ein neues Level heben.

Die Auswahl der Daten macht den Unterschied

Unsere Vision war es, Wissen aus verschiedenen Quellen, wie Handbüchern, Tutorials und Spezifikationen, leicht zugänglich zu machen – durch eine einfache Frage. Im ersten und wichtigsten Schritt mussten wir eine geeignete Datenquelle finden: groß genug, um aussagekräftige Ergebnisse zu liefern, aber nicht so umfangreich, dass Ressourcenprobleme den Fortschritt behindern. Außerdem musste der Datensatz qualitativ hochwertig und leicht verfügbar sein.

Für die Experimente wählten wir die webbasierte Dokumentation unserer Software. Sie enthält keine vertraulichen Informationen und ist für Kunden und Partner zugänglich. Erste Experimente erzielten schnell vielversprechende Ergebnisse, also vertieften wir die Entwicklung einer semantischen Suchanwendung.

Was ist die semantische Suche?

Kurz gesagt, im Gegensatz zur klassischen Stichwortsuche erkennt die semantische Suche auch verwandte Begriffe und erweitert die Anfrage um inhaltlich verwandte Ergebnisse, auch wenn diese anders formuliert sind. Wie funktioniert das? In unserem ersten Versuch mit der semantischen Indizierung wandelt das LLM die Inhalte der Quelltexte in Vektoren um und speichert sie in einer Datenbank. Suchanfragen werden ebenfalls zu Vektoren und per „Nearest-Neighbor“-Suche mit gespeicherten Vektoren verglichen. Die Ergebnisse gibt das LLM als sortierte Liste mit Links zur Dokumentation aus.

Plant die Infrastruktur sorgfältig!

Um unser Projekt umzusetzen, mussten viele technische und strategische Entscheidungen getroffen werden: Für die Pipeline, die die Daten verarbeitet, erfüllte LangChain am besten unsere Anforderungen. Und auch die Hardware bringt Herausforderungen mit sich: Für Textmengen in dem Ausmaß reichen Laptops nicht aus, sodass Server oder Cloudanbieter erforderlich sind. Eine gut durchdachte Struktur der Datenbank ist daher ein wichtiger Schlüssel zur erfolgreichen Umsetzung.

Erfolg durch Teamwork: Daten, Scope und Vision im Fokus

Für den Erfolg zählt nicht nur die Technik, sondern auch wie sich das KI-Team zusammensetzt. Essenziell sind Dateningenieur*innen, die technisches Wissen und strategische Ziele verbinden; Data Scientists, die große Datenmengen analysieren; und KI-Architekt*innen, die die Vision der KI-Nutzung definieren und die Abstimmung im Team koordinieren. KI-Tools halfen uns zwar mit „einfachen“ Routineaufgaben und kreativen Anstößen, sie ersetzen aber trotzdem nicht den konstruktiven Austausch und die enge Zusammenarbeit im Team.

Feedback einholen und besser werden

Zum Abschluss dieser ersten Phase haben wir eine interne Beta-Version der semantischen Suche mit unseren Kolleg*innen geteilt. So konnten wir wertvolles Feedback sammeln, um die nächsten Schritte zu planen. Die Begeisterung für die Weiterentwicklung ist groß, und damit auch unsere Motivation, weiterzumachen.

Was kommt als nächstes?

Unsere Reise in der KI-Forschung hat gerade erst begonnen, aber wir haben bereits wichtige Wegweiser gefunden. Viele spannende Fragen liegen noch vor uns: Welches Modell passt langfristig am besten? Wie machen wir die Ergebnisse für Nutzer*innen zugänglich?

Unser Team wächst weiter – an Expertise, an Mitgliedern und Visionen. Mit jedem Meilenstein kommen wir dem Ziel näher: das volle Potenzial von KI in unsere Arbeit zu integrieren.

Ausführliche Beiträge zur Gründung unseres KI-Teams sowie zur semantischen Suche finden Sie auf dem CONTACT Research Blog.