Ziel der Arbeit ist die Konzeption, prototypische Umsetzung und produktionsnahe Evaluation einer KI-Assistenzfunktion in Warenwirtschaftssystemen, die aus strukturierten Produktstammdaten, optionalen Lieferantentexten und Produktbildern konsistente, stilkonforme und faktentreue Artikelbeschreibungen erzeugt. Dabei sind frei verfügbare (multi-modale) Sprachmodelle sowie kommerzielle LLM-as-a-Service Modelle systematisch gegenüberzustellen und hinsichtlich Leistung, Faktentreue, Nacharbeitsaufwand und Kosten/Ressourcenbedarf mit einander zu vergleichen. Wesentlicher Bestandteil ist die Reduktion von Halluzinationen durch Validierung und Nachvollziehbarkeit (Tracing, Explainable AI) sowie die Einbettung in einen Human-in-the-Loop-Freigabeprozess.
Forschungs- und Leitfragen:
- Wie sollte eine KI-Assistenzfunktion in Warenwirtschaftssystemen eingebettet werden, um Artikeltexte aufwandsminimal generieren und freigabefähig bereitstellen zu können?
- Ist die Qualität frei verfügbarer Sprachmodelle mit denen kommerzieller Sprachmodelle für den gegebenen Kontext konkurrenzfähig?
- Ist es wirtschaftlicher frei verfügbare und selbst-gehostete Sprachmodelle einzusetzen?
Aufgaben
- Literaturrecherche zu Sprachmodellen, Faktenbasierung in Generierungsprozessen, Konzepten wie LLM-as-a-Judge, Explainable AI
- Daten- und Anforderungsanalyse: Analyse relevanter Datenquellen und Definition eines Zielprozesses für Texterstellung/-pflege inkl. Human-in-the-Loop Freigabe
- Konzeption Systemarchitektur: Entwurf einer Architektur zur Integration der Assistenzfunktion in ein Warenwirtschaftssystem
- Prototypische Implementierung, dies umfasst:
- Qualitätssicherung gegen Halluzinationen: Implementierung von Mechanismen zur Validierung (bspw. mittels regelbasierter Checks, Pflicht-/Verbot-Attribute, Konsistenzprüfung gegen Stammdaten, Tracing: Zuordnung von Textaussagen zu Quellen, etc)
- Moderationskriterien zur Vermeidung unerwünschter/verbotener Produkte
- Human-in-the-loop: Gestaltung eines Freigabe-Workflows (Vorschlag/Überarbeitung/Freigabe) inkl. geeigneter UI/Interaktionspunkte im Warenwirtschafts-Prozess (leichtgewichtig prototypisch)
- Evaluation (produktionsnah):
- Vergleich frei verfügbarer Sprachmodelle mit kommerziellen LLM-as-a-Services anhand definierter Kriterien wie bspw. Textqualität (Lesbarkeit, Struktur, Stilvorgaben, Wiederholungen), Faktentreue (wie bspw. Anteil belegter Aussagen, Widersprüche, fehlende Attribute), Prozessnutzen (bspw. in Form von Zeitersparnis, Korrekturschleifen, Akzeptanz/Usability)
- Kosten & Skalierbarkeit (Kosten/Artikel, Infrastruktur- und Betriebskosten, Break-even)
- Datenschutz/Compliance & Betrieb (Datenflüsse, Auditierbarkeit, organisatorischer Aufwand)
- Ableitung von aus dem Prototyping und der Evaluierung gewonnenen Empfehlungen für die Umsetzung und den operativen Betrieb
Rahmenbedingungen
Nicht Bestandteil ist das Training von Foundation Modellen. Optimierungen sollen ausschließlich über Prompting, Datenanbindung (z. B. RAG/Kontext) und Validierungsmechanismen sowie Modellauswahl vorgenommen werden.
Die Bereitstellung repräsentativer Produktdaten, Lieferantentexte und Produktbilder erfolgt durch durch den Praxispartner. Dies umfasst auch die Definition von Stilvorgaben/Beispieltexten als Qualitätsreferenz (z. B. bestehende Shop-Texte). Der Praxispartner ermöglicht sofern erforderlich den Zugriff auf frei verfügbare Sprachmodelle (On-Prem/as a Service) sowie auf kommerzielle Sprachmodelle von LLM-as-a-Service Anbietern wie OpenAI, Anthropic, etc.