Ziel der Gruppe ist es zum einen, die Entwicklung neuer KI-Standards zu analysieren und daraus Schlüsse für SMART Standards ziehen. Dabei soll der aktuelle Stand der Entwicklung von SMART Standard Komponenten mit den für KI-Prüfung spezifischen Anforderungen abgeglichen und Anpassungen und Erweiterungen erarbeitet werden.
Zum anderen soll ein grundlegendes Konzept für die KI-Prüfung mit digitalen Standards auf Basis von Erkenntnissen aus Forschung und ersten Anwendungsfällen aufgestellt werden. Dabei soll die Transformation aller Aspekte der KI-Prüfung berücksichtigt werden, bei denen digitale Standards eine Rolle spielen. Das betrifft die Erstellung von KI-Normen und -Standards (sowie zugehörigem SMART Content) durch Normungsexperten, die Bereitstellung in speziellen digitalen Datenräumen, bis hin zum konkreten Prüfen von KI-Systemen anhand digital verfügbar gemachter Anforderungen.
Wie bei der Initiative Digitale Standards insgesamt, sollen bei der Ausrichtung der Ad-Hoc-Gruppe Normanwender im Mittelpunkt stehen. "KI-Prüfung" soll daher ein erweiterter Begriff sein, der nicht nur auf die Prüfung von KI-Systemen durch Prüforganisationen abzielt, sondern etwa auch eigene Tests durch Entwickler von KI-Systemen umfassen kann. So könnte die Prüfung von KI-Systemen mithilfe von SMART Standards im Rahmen von CI/CD bzw. MLOps schon während des Entwicklungsprozesses angewendet werden.
Um das grundlegende Konzept (siehe Grafik) weiterzuentwickeln, soll die automatisierte Prüfung eines KI-Systems exemplarisch erprobt werden. Besonderer Fokus liegt dabei auf der Ausarbeitung von SMART Content für einen spezifischen Anwendungsfall. Dieser Anwendungsfall soll neben einem konkreten KI-System einen darauf anwendbaren Teil einer existierenden Norm oder eines anderen Standards umfassen. Ziel ist es, einen Prüfprozess vom initialen „Einrichtungsschritt“, also der Bereitstellung des KI-Systems und der Auswahl der relevanten zu prüfenden Anforderungen (in Normen/Standards), bis hin zur automatischen Generierung eines (maschinenlesbaren) Prüfberichts durchführen zu können.
Für weitere Komponenten, welche für die Umsetzung des Prüfprozesses benötigt werden, soll möglichst auf existierende Lösungen zurückgegriffen werden. Eine wichtige Rolle spielen hier etwa standardisierte Prüfwerkzeuge oder die Implementierung eines Datenraums.
