Thesis:
Ziel der Masterarbeit ist die Behandlung folgender Forschungsfrage:
Wie sollte ein erklärbares KI-gestütztes Assistenzsystem zur strukturierten Unterstützung von Verhaltensbeobachtungen von Kindern bei vermuteten ADHS-Symptomatiken gestaltet werden, sodass die erzeugten Analysen hilfreich, konsistent, nachvollziehbar und qualitativ überprüfbar sind?
Diese Arbeit umfasst die Konzeption, prototypische Implementierung und Evaluation eines erklärbaren KI-Assistenzsystems zur Unterstützung von Eltern und pädagogischen Fachkräften bei der Erstellung von Verhaltensbeobachtungen im Kontext von ADHS-Symptomatik bei Kindern.
Das System soll dabei helfen, Freitexte zu Verhaltensbeobachtungen durch Unterstützung von Large Language Models (LLMs) zu erstellen, strukturiert aufzubereiten, formale und inhaltliche Qualitätskriterien zu prüfen sowie die daraus abgeleiteten Analysen transparent und nachvollziehbar darzustellen.
Im Rahmen der Arbeit soll hierzu ein konzeptionell fundiertes und prototypisch realisiertes KI-Assistenzsystem entwickelt werden, dessen Konsistenz, Transparenz und Nutzerakzeptanz im Kontext pädagogischer Verhaltensbeobachtung von Kindern empirisch untersucht und dokumentiert wurde.
Die Literaturrecherche sollte folgende Punkte umfassen: LLM-basierte Informationsextraktion, Prompt Engineering, LLM as a Judge, Explainable AI sowie Qualitätskriterien für Verhaltensbeobachtungen im Kontext von ADHS-Symptomatiken.
Anforderungs- und Konzeptentwicklung: Dies umfasst die Festlegung technischer und semantischer Qualitätskriterien, die Auswahl geeigneter Sprachmodelle sowie den Entwurf einer geeigneten Softwarearchitektur mit Assistenz-, Analyse- und Transparenzfunktionen (Explainable AI). Ebenso sind geeignete Evaluationsdaten zu berücksichtigen, etwa anonymisierte Fallbeispiele aus der Fachliteratur, realitätsnahe Testtexte sowie gegebenenfalls freiwillig bereitgestellte, anonymisierte Beobachtungstexte. Darüber hinaus sind Datenschutz- und Ethikaspekte (Anonymisierung, Einwilligung, sensible Inhalte) zu beachten.
Prototypische Implementierung: Die Realisierung des Konzepts erfolgt in Form einer lauffähigen und evaluierbaren Software. Diese sollte entweder als einfach zu installierende App oder – im Falle einer Webanwendung – in containerisierter Form bereitgestellt werden.
Evaluation: Dies umfasst sowohl eine technische Evaluation – also die Qualität der LLM-basierten Analysen nach gängigen Qualitätsstandards für GenAI-gestützte Systeme – als auch eine nutzerzentrierte Evaluation hinsichtlich Verständlichkeit, Unterstützungspotenzial, Transparenz und Nützlichkeit.
Diskussion der Ergebnisse und Ableitung von Handlungsempfehlungen: Dies umfasst die Beurteilung der Systemleistung nach gängigen Qualitätsstandards für GenAI-Systeme, die Analyse von Grenzen, Risiken und Potenzialen sowie Empfehlungen zur Weiterentwicklung und zum praktischen Einsatz.