Embeddings erklärt: Grundbausteine hinter KI-gestützten Systemen

Mit dem Aufstieg moderner KI-Systeme hört man auch immer häufiger Sätze wie „Text wird in ein Embedding umgewandelt…“, gerade beim Einsatz großer Sprachmodelle (engl. Large Language Models, LLMs). Embeddings sind aber nicht nur auf Texte reduziert, sondern Vektordarstellungen für jede Art von Daten.

In den letzten Jahren hat sich Deep Learning stark weiterentwickelt, insbesondere durch das Trainieren großer Modelle auf umfangreichen Datensätzen. Diese Modelle erzeugen universell einsetzbare Embeddings, die in vielen Domänen nützlich sind. Da die meisten Entwickler nicht die Ressourcen für eigenes Training haben, nutzen sie vortrainierte Modelle.

Viele KI-Systeme basieren auf dem folgenden Schema:

Input → API (zu großem Deep-Learning-Modell) → Embeddings → Embeddings verarbeiten → Output

In diesem Blogeintrag tauchen wir daher tiefer in diesen zentralen Bestandteil von KI-Systemen ein.

Was sind Embeddings?

Einfach gesagt ist ein Embedding eine Art digitale Zusammenfassung: eine Zahlenfolge, die Eigenschaften eines Objekts – sei es Text, Bild oder Audio – beschreibt. Die Embeddings von ähnlichen Objekten liegen im Raum nah beieinander.

Technisch ausgedrückt sind Embeddings Vektordarstellungen von Daten. Sie basieren auf einer Abbildung (Embedder, Encoder), die wie ein Übersetzer funktioniert. Moderne Embeddings sind häufig tiefe neuronale Netze und reduzieren komplexe Daten auf eine niedrigere Dimension. Allerdings gehen durch die Komprimierung teilweise Informationen verloren. Aus einem Embedding lässt sich daher nicht immer der genaue Input rekonstruieren.

Wie funktionieren Embeddings?

Embeddings sind keine neue Erfindung, haben sich durch Deep Learning aber wesentlich verbessert. Nutzer*innen erstellen sie manuell oder automatisch durch maschinelles Lernen. Frühe Methoden wie Bag-of-Words oder One-Hot-Encoding sind einfache Varianten, bei denen Wörter gezählt oder als Binärvektoren dargestellt werden.

Heute übernehmen neuronale Netze diese Arbeit. Modelle wie Word2Vec oder GloVe lernen die Bedeutung und Beziehungen zwischen Wörtern automatisch. In der Bildverarbeitung finden Deep-Learning-Modelle Schlüsselpunkte und extrahieren Merkmale.

Warum sind Embeddings nützlich?

Weil sich nahezu jede Art von Daten mit Embeddings darstellen lässt: Text, Bilder, Audio, Videos, Graphen usw. Im niedrigdimensionalen Vektorraum lassen sich Aufgaben wie Ähnlichkeitssuche oder Klassifikation einfacher lösen.

Wenn man zum Beispiel in einem Text wissen möchte, welches von drei Wörtern nicht zu den anderen passt, ermöglichen Embeddings es diese Wörter als Vektoren darzustellen, zu vergleichen und so die „Ausreißer“ zu erkennen. Außerdem verknüpfen Embeddings unterschiedliche Formate. Eine Textanfrage findet zum Beispiel auch Bilder und Videos.

Für viele Aufgaben müssen Embeddings nicht selbst erstellt werden. Es gibt zahlreiche vortrainierte Modelle, die direkt zur Verfügung stehen – von ChatGPT bis hin zu Bildmodellen wie ResNet. Für spezifische Nischenbereiche oder Aufgaben können diese Modelle entsprechend angepasst werden.

Kleine Zahlen, große Wirkung

Embeddings sind zu einem der Schlagwörter für den Aufbau von KI-Systemen geworden. Die Idee ist einfach: komplexe Daten in handliche Vektoren zu verwandeln, mit denen sich unter anderem Unterschiede und Ähnlichkeiten erkennen lassen. Dabei hat man die Wahl zwischen vortrainierten Embeddings oder der Entwicklung eigener Modelle. Embeddings ermöglichen es, Daten verschiedener Modalitäten (Text, Bilder, Videos, Audio usw.) im selben Vektorraum zu repräsentieren und sind so ein unverzichtbares Werkzeug im Bereich der KI.

Einen ausführlichen Beitrag zum Thema finden Sie auch auf dem CONTACT Research Blog.

Aufbau einer semantischen Suche: Was für den Beginn unserer Reise wichtig war

Forschung auf dem Gebiet der Künstlichen Intelligenz (KI) ist anspruchsvoll, aber auch voller Potenzial – insbesondere für ein neues Team. Mit der Gründung im Jahr 2022 stand für CONTACT Research von Anfang an KI als einer von vier zentralen Forschungsbereichen fest. Wir haben uns hierbei zunächst auf kleinere Projekte – unter anderem im Bereich der klassischen Datenanalyse – konzentriert. Mit der wachsenden Popularität von ChatGPT fokussierten wir uns verstärkt auf Large Language Models (LLM) und haben die Chance ergriffen, mit den neusten Werkzeugen und Technologien dieses zukunftsweisenden Feldes zu arbeiten. Die zentrale Frage für uns als Forschungsteam war dabei: Wie starten wir?

Wir möchten hier einige unserer Erfahrungen teilen, die als Orientierung für den erfolgreichen Weg in die Welt der KI dienen können.

Der Start: Warum Ähnlichkeitssuche unser Ausgangspunkt wurde

Von Anfang an war klar: Wir wollen kein reines Forschungsprojekt, sondern einen echten Anwendungsfall, bestenfalls um ihn direkt in unsere Software zu integrieren. Um den Start zu erleichtern, haben wir bewusst auf kleine Experimente gesetzt und nach einem spezifischen Problem gesucht, das sich schrittweise lösen lässt.

Innerhalb unserer Software liegen viele Informationen ab, von Produktinformationen bis hin zu Projektdetails. Eine leistungsfähige Suche macht dort einen entscheidenden Unterschied. Unsere bestehende Suchfunktion erkennt keine Synonyme, keine natürliche Sprache – und damit manchmal nicht das, was man wirklich sucht. Zusammen mit wertvollem Feedback ergab sich daraus schnell, dass die Ähnlichkeitssuche ein idealer Startpunkt ist und daher unser erstes Forschungsthema sein sollte. Ein LLM kann die Suchfunktion auf ein neues Level heben.

Die Auswahl der Daten macht den Unterschied

Unsere Vision war es, Wissen aus verschiedenen Quellen, wie Handbüchern, Tutorials und Spezifikationen, leicht zugänglich zu machen – durch eine einfache Frage. Im ersten und wichtigsten Schritt mussten wir eine geeignete Datenquelle finden: groß genug, um aussagekräftige Ergebnisse zu liefern, aber nicht so umfangreich, dass Ressourcenprobleme den Fortschritt behindern. Außerdem musste der Datensatz qualitativ hochwertig und leicht verfügbar sein.

Für die Experimente wählten wir die webbasierte Dokumentation unserer Software. Sie enthält keine vertraulichen Informationen und ist für Kunden und Partner zugänglich. Erste Experimente erzielten schnell vielversprechende Ergebnisse, also vertieften wir die Entwicklung einer semantischen Suchanwendung.

Was ist die semantische Suche?

Kurz gesagt, im Gegensatz zur klassischen Stichwortsuche erkennt die semantische Suche auch verwandte Begriffe und erweitert die Anfrage um inhaltlich verwandte Ergebnisse, auch wenn diese anders formuliert sind. Wie funktioniert das? In unserem ersten Versuch mit der semantischen Indizierung wandelt das LLM die Inhalte der Quelltexte in Vektoren um und speichert sie in einer Datenbank. Suchanfragen werden ebenfalls zu Vektoren und per „Nearest-Neighbor“-Suche mit gespeicherten Vektoren verglichen. Die Ergebnisse gibt das LLM als sortierte Liste mit Links zur Dokumentation aus.

Plant die Infrastruktur sorgfältig!

Um unser Projekt umzusetzen, mussten viele technische und strategische Entscheidungen getroffen werden: Für die Pipeline, die die Daten verarbeitet, erfüllte LangChain am besten unsere Anforderungen. Und auch die Hardware bringt Herausforderungen mit sich: Für Textmengen in dem Ausmaß reichen Laptops nicht aus, sodass Server oder Cloudanbieter erforderlich sind. Eine gut durchdachte Struktur der Datenbank ist daher ein wichtiger Schlüssel zur erfolgreichen Umsetzung.

Erfolg durch Teamwork: Daten, Scope und Vision im Fokus

Für den Erfolg zählt nicht nur die Technik, sondern auch wie sich das KI-Team zusammensetzt. Essenziell sind Dateningenieur*innen, die technisches Wissen und strategische Ziele verbinden; Data Scientists, die große Datenmengen analysieren; und KI-Architekt*innen, die die Vision der KI-Nutzung definieren und die Abstimmung im Team koordinieren. KI-Tools halfen uns zwar mit „einfachen“ Routineaufgaben und kreativen Anstößen, sie ersetzen aber trotzdem nicht den konstruktiven Austausch und die enge Zusammenarbeit im Team.

Feedback einholen und besser werden

Zum Abschluss dieser ersten Phase haben wir eine interne Beta-Version der semantischen Suche mit unseren Kolleg*innen geteilt. So konnten wir wertvolles Feedback sammeln, um die nächsten Schritte zu planen. Die Begeisterung für die Weiterentwicklung ist groß, und damit auch unsere Motivation, weiterzumachen.

Was kommt als nächstes?

Unsere Reise in der KI-Forschung hat gerade erst begonnen, aber wir haben bereits wichtige Wegweiser gefunden. Viele spannende Fragen liegen noch vor uns: Welches Modell passt langfristig am besten? Wie machen wir die Ergebnisse für Nutzer*innen zugänglich?

Unser Team wächst weiter – an Expertise, an Mitgliedern und Visionen. Mit jedem Meilenstein kommen wir dem Ziel näher: das volle Potenzial von KI in unsere Arbeit zu integrieren.

Ausführliche Beiträge zur Gründung unseres KI-Teams sowie zur semantischen Suche finden Sie auf dem CONTACT Research Blog.

ISO 27001 Zertifizierung: Sicherheit als Standard unserer Cloud-Produkte

Die Digitalisierung prägt unsere Lebens- und Arbeitswelt wie nie zuvor. Mit dieser Entwicklung wächst die Verantwortung, Daten effektiv zu schützen und eine stabile Servicebereitstellung sicherzustellen gleichermaßen. Informationssicherheit ist längst kein „should“ mehr, sondern ein absolutes „must“.

Als Anbieter industrieller Software-Lösungen aus der Cloud stehen Qualität, Sicherheit und Zuverlässigkeit für uns an erster Stelle. Daher freuen wir uns sehr über die erfolgreiche ISO 27001 Zertifizierung durch Datenschutz Cert. Dies bestätigt unseren Anspruch, Produkte bereitzustellen, die höchsten Sicherheitsstandards entsprechen und Daten wirksam schützen.

Mit Automatisierung zu mehr Sicherheit, Effizienz und Nachhaltigkeit

Unser Ziel war von Anfang an klar: Sicherheits- und Stabilitätsanforderungen mit innovativen Technologien zu erfüllen. Dafür setzen wir konsequent auf Automatisierung und Infrastructure as Code (IaC). Diese Maßnahmen erlauben uns, Sicherheitsmechanismen nicht nur effektiv umzusetzen, sondern sie auch nahtlos in unsere Entwicklungs- und Betriebsprozesse zu integrieren.

Ein entscheidender Aspekt unserer Vorbereitungen war es, Klimarisiken mit einzubeziehen. Ereignisse wie Extremwetter stellen potenzielle Gefahren für IT-Infrastrukturen dar. Daher haben wir Lösungen entwickelt, die sowohl Risiken minimieren als auch die Effizienz steigern – etwa durch Monitoring-Tools und automatisierte Skalierung. Diese Technologien reduzieren nicht nur unsere CO2-Bilanz, sondern tragen auch dazu bei, ein hohes Maß an Sicherheit und Nachhaltigkeit zu gewährleisten.

Sicherheitskultur als Erfolgsfaktor

Informationssicherheit ist mehr als das Erfüllen von Standards – sie ist ein fester Bestandteil unserer Unternehmenskultur. Prinzipien wie Hochverfügbarkeit, Automatisierung und die Nutzung einer Single Source of Truth prägen unsere Arbeitsweise und fördern eine strukturierte Herangehensweise an komplexe Herausforderungen.

Besonders hervorzuheben ist der Beitrag unseres Teams. Regelmäßige Schulungen und ein hohes Sicherheitsbewusstsein sorgen dafür, dass Informationssicherheit nicht nur als Aufgabe der IT betrachtet wird, sondern im gesamten Unternehmen gelebt wird. Diese ganzheitliche Denkweise war ein zentraler Baustein auf unserem Weg zur ISO 27001 Zertifizierung.

Unsere Automatisierungsstrategien sind ein weiteres Beispiel dafür, wie wir Effizienz und Sicherheit miteinander verbinden. Durch die Standardisierung von Prozessen reduzieren wir menschliche Fehler und schaffen gleichzeitig die Grundlage für eine kontinuierliche Weiterentwicklung.

Mehrwert für Kunden und Partner

Für unsere Kunden bedeutet die Zertifizierung vor allem eines: Vertrauen. Die Zertifizierung nach ISO 27001 ist ein international anerkanntes Gütesiegel und bestätigt, dass wir höchste Sicherheitsstandards einhalten. Dies stärkt nicht nur die Zuverlässigkeit unserer Cloud-Produkte, sondern gibt unseren Kunden auch die Gewissheit, dass ihre Daten in sicheren Händen sind.

Auch für unsere Partner bietet die Zertifizierung viele Vorteile. Standardisierte Prozesse und klar definierte Sicherheitsanforderungen erleichtern die Zusammenarbeit, steigern die Effizienz und schaffen eine vertrauensvolle Basis für zukünftige Projekte. Gerade in einem dynamischen Umfeld wie der Cloud-Industrie ist dies ein entscheidender Wettbewerbsvorteil.

Unsere Vision für die Zukunft

Die ISO 27001 Zertifizierung ist für uns kein Endpunkt, sondern ein Meilenstein auf dem Weg, unserer Sicherheitsmaßnahmen immer weiterzuentwickeln. So planen wir beispielsweise, unsere Monitoring-Systeme noch leistungsfähiger zu machen, um potenzielle Risiken nicht nur schneller zu erkennen, sondern auch gezielt zu adressieren. Darüber hinaus wollen wir unser Partnernetzwerk stärken und mit Self-Service-Portalen sowie standardisierten Templates die Zusammenarbeit noch einfacher und effizienter gestalten. Die digitale Landschaft verändert sich ständig – wir sind bereit, uns diesen Herausforderungen zu stellen und die Sicherheit unserer Kunden, Partner und deren Daten zu gewährleisten.