Large Language Models (LLMs) spielen eine zunehmend wichtigere Rolle in der modernen Künstlichen Intelligenz und finden mittlerweile Anwendung in vielen Bereichen wie Textgenerierung, Chatbots und Sprachübersetzungen. Die Anpassung der Inferenz-Hyperparameter dieser Modelle, wie bspw. Temperatur, maximale Token-Anzahl und Repetition Penalty, kann dabei entscheidend für die Qualität und Relevanz der generierten Texte sein.
Ziel der Arbeit ist die Entwicklung einer Webanwendung, die es Nutzern ermöglicht, die Auswirkungen von Inferenz-Hyperparametern auf LLMs auszuprobieren und zu visualisieren. Die Anwendung soll interaktiv sein und durch direkten Vergleich, erläuternde Texte, Beispiele und grafische Darstellungen ein besseres Verständnis für die Effekte dieser Parameter ermöglichen.
Die Bachelorarbeit bietet die Möglichkeit, praktische Erfahrungen in der Entwicklung einer interaktiven Webanwendung zu sammeln, die ein tiefgehendes Verständnis der Konfiguration und Optimierung von Large Language Models vermittelt. Hierzu sind folgende Punkte zu bearbeiten:
- Recherche aktueller Veröffentlichungen zu LLMs, speziell zu Inferenz-Hyperparametern. Identifikation von Best Practices für die Einstellung dieser Parameter.
- Definition der Anforderungen und Zielgruppe der Webanwendung. Entwicklung von Use Cases zur Bestimmung der Kernfunktionalitäten und des Designs der Benutzeroberfläche.
- Erarbeitung eines Architekturkonzepts für die Webanwendung. Dabei sind unterschiedliche Ansätze zu untersuchen und bei Eignung zu verfolgen. Bspw.: Interaktive Einführung in Inferenz-Hyperparameter und deren Auswirkungenm, Parametereinstellungsoberfläche zur Interaktion mit einem LLM, Split-Screen-Layout für den Vergleich von Textausgaben, ggf. Informationsmaterialien zu jedem Parameter (Texte, Beispiele, Grafiken), Abschnitt mit Best Practices und Empfehlungen, usw.
- Implementierung eines Prototyps der Webanwendung mit Fokus auf Benutzerfreundlichkeit, Interaktivität und visueller Aufbereitung der Effekte von Inferenz-Hyperparamtern auf die Textgenerierung.
- Die Lösung soll in Kubernetes automatisiert deploybar sein. Eine entsprechende Infrastruktur wird im Rahmen der Abschlussarbeit bereitgestellt werden.
- Die Implementierung ist Frontend- wie Backend-seitig vorzugsweise mittels Python vorzunehmen.
- Als Large Language Models können Modelle genutzt werden, die von der TH Lübeck gehosted werden (Link).
- Evaluation der Usability und Effektivität der Anwendung. Die Evaluationsergebnisse sind zu diskutieren und hinsichtlich der Grenzen des Prototyps und möglichen Erweiterungen zu reflektieren. Perspektiven für die Weiterentwicklung der Anwendung sind aufzuzeigen.