Nane Kratzke

Die zunehmende Verfügbarkeit großer Sprachmodelle (Large Language Models, LLMs) wie ChatGPT hat zu bedeutenden Fortschritten in der natürlichsprachigen Verarbeitung geführt. Um diese jedoch effektiv in Suchmaschinen einsetzen zu können, ist es entscheidend, eine nahtlose Integration von Large Language Models mit externen Daten zu ermöglichen. In dieser Masterarbeit soll die Architektur, Leistungsfähigkeit und Grenzen solcher Integrations-Frameworks untersucht werden, und zwar am konkreten Beispiel einer Suchmaschine für die Webseiten der Technischen Hochschule Lübeck.

Das Ziel dieser Arbeit besteht darin, verschiedene Frameworks, wie beispielsweise LangChain und LlamaIndex, zu evaluieren und miteinander zu vergleichen, um ihre Leistungsfähigkeit bei der Verknüpfung von Large Language Models mit externen Daten für natürlichsprachige Suchmaschinen-Anwendungsfälle zu bewerten. Insbesondere soll die Architektur der Frameworks analysiert, ihre Skalierbarkeit und Effizienz untersucht sowie die Grenzen und Herausforderungen bei der Integration externer Daten in die Suchmaschine aufgezeigt werden.

Methodik:

1. Literaturanalyse: Es soll eine Literaturrecherche durchgeführt werden, um die vorhandenen Frameworks zur Integration von Large Language Models in Suchmaschinen zu identifizieren und zu verstehen. Es werden relevante Arbeiten zu Architekturen, Integration von externen Daten und Leistungsbewertung untersucht.
2. Framework-Auswahl: Basierend auf der Literaturrecherche werden geeignete Frameworks (mind. LangChain und LlamaIndex) ausgewählt, die in der Masterarbeit näher untersucht werden sollen. Ihre Eigenschaften, Funktionen und Implementierungsdetails werden analysiert und dargestellt.
3. Implementierung: Die ausgewählten Frameworks werden für den Anwendungsfall einer Suchmaschine für die Webseiten der Technischen Hochschule Lübeck implementiert. Dabei werden externe Datenquellen, wie beispielsweise Dokumentensammlungen, Metadaten und andere relevante Informationen, mittels einem zu implementierenden Crawler der zu implementierenden LLM-basierten Suchmaschine zur Verfügung gestellt. Die Suchmaschine soll in einem Kubernetes Cluster deployt werden. Ein entsprechender Cluster wird für die Dauer der Arbeit zur Verfügung gestellt.
4. Leistungsbewertung: Es werden verschiedene Leistungsmetriken definiert, um die Performance der implementierten Frameworks zu bewerten. Dazu gehören die Genauigkeit der Suchergebnisse, die Stabilität der Antworten der Suchmaschine, die Reaktionszeit der Suchmaschine, die Skalierbarkeit bei steigender Datenmenge und weitere ggf. aus der Literaturrecherche ermittelte Kriterien.
5. Vergleich und Evaluation: Die implementierten Frameworks werden miteinander verglichen und hinsichtlich ihrer Architektur, Leistungsfähigkeit und Grenzen bewertet. Es werden Stärken und Schwächen der Frameworks identifiziert und mögliche Verbesserungen oder Erweiterungen diskutiert.
6. Schlussfolgerungen: Die Ergebnisse der Arbeit werden zusammengefasst und Schlussfolgerungen zur Eignung der untersuchten Frameworks für natürlichsprachige Suchmaschinen-Anwendungsfälle gezogen. Es werden offene Fragen, Herausforderungen und mögliche zukünftige Forschungsrichtungen identifiziert.

Die Masterarbeit soll einen Beitrag zur Untersuchung und Bewertung der Leistungsfähigkeit und Eignung von Frameworks leisten, die Large Language Models mit externen Daten verknüpfen, um natürlichsprachige Suchmaschinen-Anwendungsfälle zu unterstützen. Durch die Fallstudie an der Technischen Hochschule Lübeck wird der Anwendungsbezug hergestellt und praktische Erkenntnisse für die Entwicklung und Verbesserung von Suchmaschinen in ähnlichen Kontexten geliefert.