Nane Kratzke

Thesis:

Bereitstellung von Object Detection-Modellen in Form eines REST-basierten Microservices

Published: 16 Aug 2022 (latest update: 18 Aug 2022)
Type: Bachelor (B. Sc.)
State: ongoing
Study: Informatik
Language: Deutsch
Author: Johannes Gill
Company: myLab

Huggingface ist eine Online-Plattform für die KI-Community, die es ermöglicht, KI-Modelle (unter anderem zur Object Detection) zu erstellen, zu trainieren und bereitzustellen, die auf Open-Source-Referenzdaten basieren. Diese KI-Modelle werden bislang häufig in Form von Programmbibliotheken (oft Python) zur Verfügung gestellt und müssen somit programmatisch genutzt werden. Oft ist dabei die Sprachbindung ein Problem, insbesondere wenn oben genannte Funktionalitäten in Komponenten erforderlich werden, die nicht in Python implementiert wurden oder diese Bibliotheken auf Devices ausgeführt werden müssen, die bspw. keine geeignete Hardware (z. B. Mobile Devices ohne GPU) für das Inferencing haben. In diesen Fällen kann eine Auslagerung in externe Remote-Services sinnvoll sein.

Im Rahmen dieser Abschlussarbeit soll untersucht und demonstriert werden, ob und wie durch die Community auf Huggingface bereit gestellte Modelle für die Object Detection in Form eines REST-basierten Microservices bereitgestellt werden können.

  • Der Microservice soll auf Hugging Face bereitgestellte und bereits trainierte Object Detection Modelle für das Inferencing mittels einer REST-API bereitstellen.
  • Die Funktionalität des KI-Modells soll ergänzend im Rahmen einer Web UI demonstriert werden.
  • Die Lösung soll in Kubernetes automatisiert deploybar sein. Eine entsprechende Infrastruktur wird im Rahmen der Abschlussarbeit bereitgestellt werden. Die Implementierung ist vorzugsweise mittels Python vorzunehmen. Die REST-API ist gem. der OpenAPI Specification zu dokumentieren. Der Einsatz von Micro Web-Frameworks wie bspw. FastAPI oder Flask ist statthaft und gern gesehen.
  • Es ist ferner eine kritische Analyse von Use Cases vorzunehmen, für welche Einsatzzwecke REST-basierte KI-Modelle sinnvoll und weniger sinnvoll sind.

Im Sinne des Open Source Gedankens sollte die Autor:in anstreben, die Lösung als Open Source Projekt im Anschluss der Arbeit der Allgemeinheit zur Verfügung zu stellen und über die Abschlussarbeit hinaus als Open Source Produkt fortzuführen.