Nane Kratzke

Huggingface ist eine Online-Plattform für die KI-Community, die Deep-Learning-Modelle (unter anderem für Question-Answering) frei verfügbar und nutzbar bereitstellt. Insbesondere Deep-Learning-basierte Questin-Answering Lösungen können viele Bereiche des alltäglichen Lebens verändern, wie aktuell der Hype um ChatGPT zeigt.

Deep-Learning Modelle werden bislang häufig in Form von Programmbibliotheken (oft Python) zur Verfügung gestellt und müssen somit programmatisch genutzt werden. Oft ist dabei die Sprachbindung ein Problem, insbesondere wenn oben genannte Funktionalitäten in Komponenten erforderlich werden, die nicht in Python implementiert wurden oder diese Bibliotheken auf Devices ausgeführt werden müssen, die bspw. keine geeignete Hardware (z. B. Mobile Devices ohne GPU) für das Inferencing haben. In diesen Fällen kann eine Auslagerung in externe Remote-Services sinnvoll sein.

In dieser Abschlussarbeit soll untersucht werden, ob man mit einem REST Service, die Verwendung und Bereitstellung von Question-Answering-Modellen vereinfachen kann. Ziel dieser Arbeit ist es, auf Huggingface bereitgestellte Question-Answering-Modelle webbasiert mittels einer Web UI und einer REST-API in Form eines Microservice zur Verfügung zu stellen.

Bspw. könnte man so leicht mehrere Modelle mit der gleichen Frage ansprechen und Antworten vergleichen, um so bei der Evaluation und auch der Weiterentwicklung der Modelle zu helfen.

• Der Microservice soll auf Hugging Face bereitgestellte und bereits trainierte Modelle für das Inferencing mittels einer REST-API bereitstellen.
• Die Funktionalität des KI-Modells soll ergänzend im Rahmen einer Web UI demonstriert werden.
• Die Lösung soll in Kubernetes automatisiert deploybar sein. Eine entsprechende Infrastruktur wird im Rahmen der Abschlussarbeit bereitgestellt werden. Die Implementierung ist vorzugsweise mittels Python vorzunehmen.

Im Sinne des Open Source Gedankens sollte die Autor:in anstreben, die Lösung als Open Source Projekt im Anschluss der Arbeit der Allgemeinheit zur Verfügung zu stellen und über die Abschlussarbeit hinaus als Open Source Produkt fortzuführen.