Visuelle Fehleranalyse
Expertengestützte Aufdeckung von Schwachstellen und Fehlern
Die Güte und Qualität einer KI-Anwendung wird üblicherweise automatisch ausgewertet und in gemittelten Qualitätskennzahlen angegeben. Für KI-Modelle mit besonders wichtigen Aufgaben, z. B. in sicherheitskritischen Anwendungen oder wenn folgenschwere Entscheidungen getroffen werden (z. B. automatisierte Kreditvergabe), gelten strengere Anforderungen: Hier muss garantiert sein, dass Fehler nicht systematisch, d.h. nicht vermehrt in ähnlichen Situationen, auftreten. Die Bewertung, ob Situationen vergleichbar sind, kann nur mit Expertenwissen, teilweise auch nur mit menschlicher Intuition, geschehen.
Das Feld Visual Analytics beschäftigt sich mit Prozessen und Methoden, dem Menschen die Durchsicht und Analyse der nötigen Informationen möglichst leicht zu machen.
Unser Prüftool ScrutinAI
Unser Tool ScrutinAI (von Engl. scrutinize = prüfend ansehen, untersuchen) schafft zur menschengestützten visuellen Analyse eine zugängliche Schnittstelle und fasst diese Funktionalität in einem mächtigen Framework zusammen.
Mithilfe von ScrutinAI lassen sich interaktive und schrittweise detailliertere Untersuchungen, sog. »Deep-Dive-Analysen«, durchführen. Das Framework gibt dabei keinen starren Analyse-Workflow vor und bewahrt den menschlichen Anwender*innen Flexibilität.
Einzelne Komponenten von ScrutinAI lassen sich flexibel kombinieren und durch eigene Methoden, Metriken und Mechanismen ergänzen. So erlauben z. B. die Hinzunahme und das Ausblenden einzelner Repräsentationen (zoom in, zoom out) auf der Programmoberfläche zwischen einer Übersicht und detaillierten Analysen zu wechseln.
Neben der Möglichkeit, Datensequenzen in Drop-Down-Menüs (rechte Abbildung, Bereich A) auszuwählen oder Datencluster interaktiv in Plots zu markieren (D-G), können auch textuelle Queries (B) über die Daten formuliert werden. Eine Tabellenansicht (C) bietet eine breite Übersicht über die vorhandenen Metadaten, während verschiedene einzelne KPIs modular und interaktiv als Plots hinzugefügt werden können. Damit verknüpfte Bildrepräsentationen (H-J) ermöglichen ein Vergleichen der zugehörigen Modelleingaben, Ground-Truth-Daten sowie Modellvorhersagen, die wahlweise gegenübergestellt oder transparent übereinandergelegt werden können. Die Oberfläche mit vielen interaktiven Modulen (Slider, Drop-Down-Menüs, Check-Boxen und Ähnlichem) lässt sich intuitiv bedienen.
Demonstrator: ScrutinAI bei der Fußgängererkennung
- Loggen Sie sich auf der AI4Europe-Plattform hier Wie das geht, zeigt das Video.
- Rufen Sie den ScrutinAI Demonstrator aus dem AI4EU-Marketplace hier auf
- Wählen Sie oben rechts „Deploy for Execution“ und „AI-Lab Playground“
- Sie werden zum „AI-Lab Playground“ weitergeleitet, eine Ausführungsumgebung für Machine-Learning Anwendungen.
- Rufen sie den Demonstrator auf: Klicken Sie in der Zeile „scrutinai“ auf das Symbol der Spalte „WebUI/Folder“
- Sie werden zur ScrutinAI-Demonstrator Applikation weitergeleitet