KI-Technik & Entwicklung

Semantische Suche mit Embeddings: Vektordatenbanken wählen und betreiben

Eine Stichwortsuche findet das Dokument nicht, wenn die Anfrage andere Begriffe verwendet als der Text selbst. Embeddings und Vektordatenbanken setzen hier an und bilden zugleich die Abrufschicht vieler RAG-Anwendungen. Entwickler und Data Engineers bauen an diesem Tag eine semantische Suche auf, vergleichen Qdrant, Milvus, Pinecone und pgvector und verbessern die Trefferqualität mit Chunking, Filtern, Hybrid Search und Re-Ranking. Danach können Sie einschätzen, welche Datenbank zu Ihrem Vorhaben passt und was für den produktiven Betrieb noch zu klären ist.

Für wen

Entwickler und Data Engineers, die semantische Suche und RAG auf Basis von Embeddings und Vektordatenbanken realisieren wollen.

KI-Tagesseminar · 1 Tag

Von der Vektorisierung über die Datenbankwahl bis zur messbar guten Trefferliste

Das nehmen Sie mit

  • Embedding-Modelle und Distanzmaße wählen Sie passend zu Text, Bild oder multimodalen Inhalten.
  • Qdrant, Milvus, Pinecone und pgvector können Sie anhand von Betriebsmodell und ANN-Index begründet gegeneinander abwägen.
  • Eine selbst aufgebaute semantische Suche haben Sie mit Chunking, Metadatenfiltern und Re-Ranking verbessert.
  • Für Skalierung, Mandantentrennung und Monitoring im Produktivbetrieb liegt eine Liste offener Punkte vor.

Ablauf

  1. Teil 1

    Modul 1 – Grundlagen: Wie Embeddings Bedeutung abbilden

    • Wie ein Embedding-Modell Texte oder Bilder in Zahlenvektoren übersetzt
    • Distanzmaße wie Kosinus-Ähnlichkeit oder euklidischer Abstand und ihre Aussagekraft
    • Embedding-Modelle für Texte, für Bilder und multimodale Varianten im Vergleich
    • Live-Demo: Sätze mit verwandter Bedeutung liegen im Vektorraum nah beieinander, auch ohne gemeinsame Wörter
    • Bedarf klären: Stichwortsuche, semantische Suche oder Abruf für eine RAG-Anwendung
  2. Teil 2

    Modul 2 – Datenbankwahl: Indizes, Produkte, Kriterien

    • ANN-Indizes: wie approximative Suche Genauigkeit gegen Tempo und Speicherbedarf tauscht
    • Qdrant, Milvus, Pinecone und pgvector: Betriebsmodell, Stärken und Einsatzgrenzen
    • Auswahlkriterien von der Postgres-Erweiterung bis zum gemanagten Cloud-Dienst
    • Übung: Sie richten über eine Dokumentensammlung eine semantische Suche ein
  3. Teil 3

    Modul 3 – Trefferqualität: Abschnitte, Filter und Ranking abstimmen

    • Chunking von Dokumenten: Länge und Überlappung der Textabschnitte festlegen
    • Filter auf Metadaten wie Dokumenttyp, Datum oder Abteilung
    • Re-Ranking und Hybrid Search: Vektor- und Stichwortsuche kombinieren und Treffer neu ordnen
    • Evaluation mit Testfragen und erwarteten Treffern, damit sich Relevanz in Kennzahlen ausdrücken lässt
    • Übung: Die Trefferliste Ihrer Suche durch Anpassung von Chunking, Filtern und Re-Ranking verbessern
  4. Teil 4

    Modul 4 – Produktivbetrieb: Skalieren, schützen, beobachten

    • Kosten und Skalierung bei wachsendem Bestand, geänderte Dokumente im Index aktualisieren
    • Zugriffsrechte und Mandantentrennung, damit nur Treffer aus freigegebenen Dokumenten erscheinen
    • Fallstudie: Wie eine Vektorsuche den Schritt in die Produktion schafft
    • Suchqualität laufend überwachen, etwa über Nulltreffer und Rückmeldungen der Nutzer
    • Vom Prototyp zur produktiven Vektorsuche: Ihre nächsten Arbeitspakete festlegen

VoraussetzungenErwartet werden Python-Kenntnisse und ein Grundverständnis von ML.

AbschlussTeilnahmezertifikat und digitales Badge

Thema anfragen