Nane Kratzke

Thesis:

Konzeption und Evaluation eines LLM-Chatbots für faktengestützte Campus-Plattformen

Published: 15 Apr 2026 (latest update: 15 Apr 2026)
Type: Bachelor (B. Sc.)
State: ongoing
Author: David-Meir Ashkaluni
Study: Informatik/Softwaretechnik
Language: Deutsch
Company: myLab

Ziel dieser Bachelorarbeit ist die Konzeption und prototypische Entwicklung eines Chatbot-Assistenten auf Basis großer Sprachmodelle (LLM) für das Informationssystem “Campus Platform” des Hanseatic Innovation Campus.

Im Rahmen der Arbeit soll ein System entworfen und umgesetzt werden, das aus einer einbettbaren Frontend-Komponente (absehbar Vue.js-basiert) sowie einem REST-API Backend (absehbar Python/FastAPI-basiert) besteht. Ein Chatbot soll auf Webseiten des Hanseatic Innovation Campus Nutzeranfragen verarbeiten, bei Bedarf strukturierte Daten über ein angebundenes Search-Backend abrufen (mittels Tool Calling) und darauf basierend kontextuelle Antworten generieren, die auf Fakten zum Hanse Innovation Campus beruhen und bei der Anbahnung von Transferaktivitäten unterstützen, indem bspw. Ansprechpartner:innen auf Basis von Fachexpertisen gefunden werden können.

Hierzu kann auf eine Datenbank für “Ground Truth”-Informationen über den Hanseatic Innovation Campus zugegriffen werden, in der entsprechende Informationen vorliegen und die semantisch (Vector Store) durchsuchbar ist. Diese “Ground-Truth” Datenbank ist nicht Gegenstand dieser Bachelorarbeit, muss aber geeignet angebunden und für Antwortgenerierungen herangezogen werden.

Ein besonderer Fokus liegt auf der Gestaltung einer geeigneten Systemarchitektur, bei der der Dialogkontext im Frontend verwaltet und bei jeder Anfrage an das zustandslose Backend übergeben wird. Zudem soll untersucht werden, wie sich Tool Calling gegenüber klassischen RAG-Ansätzen hinsichtlich Effizienz und Flexibilität verhält.

Im Rahmen der Arbeit ist Antwortqualität von generierten Antworten zu untersuchen. Hierzu sollen geeignete Metriken (z. B. Relevanz und Faktentreue) definiert, implementiert und erhoben werden. Die Bewertung erfolgt sowohl automatisiert (bspw. durch ein Quorum kommerzieller LLMs) als auch manuell. Darüber hinaus werden verschiedene lokal verfügbare Sprachmodelle hinsichtlich ihrer Eignung für das Tool Calling verglichen.

Das Ergebnis der Arbeit soll ein funktionsfähiger Prototyp eines Chatbot-Assistenten sein, der in die “Campus Platform” integriert werden kann und die Nutzerinteraktion durch automatisierte, kontextbezogene Unterstützung verbessert.

Aufgaben

  1. Recherche zu LLMs, Tool Calling und bestehenden Ansätzen zur Verbesserung der Fakentreue (z. B. RAG)
  2. Anforderungsanalyse und Definition der Systemanforderungen
  3. Entwurf der Systemarchitektur (Frontend, Backend, Schnittstellen, Kontextverwaltung)
  4. Implementierung von Frontend und Backend inkl. LLM-Integration und RAG-Anbindung
  5. Umsetzung des Tool-Calling-Mechanismus und Anbindung eines (simulierten) Search-Backends
  6. Evaluation des Ansatzes (Metriken, LLM-Quorum, Modellvergleich)
  7. Dokumentation der Ergebnisse