KI-Systeme müssen immer häufiger anhand von Normen geprüft werden, und zwar nicht einmalig, sondern fortlaufend über ihren gesamten Lebenszyklus. Die IDiS-Ad-hoc-Gruppe „Skalierbare KI-Prüfung“ (SKIP) hat untersucht, wie SMART Standards diese Prüfungen skalierbar machen können. Die Ergebnisse sind im IDiS Whitepaper 4 zusammengefasst, das am Ende dieser Seite auf Deutsch und Englisch zum Download bereitsteht.
SMART Standards für skalierbare KI-Prüfung
Ad-Hoc-Gruppe KI-Prüfung
Eckdaten
- Laufzeit: 2024 bis 2025
- Status: Abgeschlossen
- Initiiert von: MISSION KI (acatech, BMDV/BMDS)
- Beteiligt: MISSION KI, DIN, DKE, QI-Digital
- Projektleitung: Dr. Philipp Heß (acatech / MISSION KI)
- Autoren: Dr. Philipp Heß, Raymond Puppan (DKE)
- Ansprechpartner: Janos Koschwitz (DKE)
- Ergebnis: IDiS Whitepaper 4, Deutsch und Englisch, veröffentlicht am 01.Oktober 2026 (am Ende der Seite verlinkt)
Grundlegendes Konzept der Komponenten einer skalierbaren KI-Prüfung auf Basis von SMART Standards (bzw. SMART Content)
| Philipp HeßHintergrund
Vertrauenswürdigkeit ist eine zentrale Voraussetzung für den Einsatz von KI-Anwendungen, insbesondere in Hochrisikobereichen. Neuere gesetzliche Vorgaben, wie die KI-Verordnung der EU, beschreiben hierzu grundlegende Regeln. Konkretere Anforderungen an KI-Systeme werden in den nächsten Jahren verstärkt durch Normen und Standards festgelegt. Um teilweise automatisierbare und somit skalierbare KI-Prüfungen basierend auf Normen und Standards zu ermöglichen, ist es unverzichtbar, dass relevante Normbestandteile maschinenlesbar werden.
Der Prüfaufwand wächst mit der Anzahl der Systeme, mit der Häufigkeit ihrer Änderungen durch Modell- und Datenaktualisierungen und mit der Komplexität der Normenlandschaft. Heute müssen relevante Normen manuell identifiziert und interpretiert, Anforderungen operationalisiert und Prüfcode geschrieben werden. Dieser Aufwand wiederholt sich bei jeder Änderung an Norm oder System.
Die von MISSION KI ins Leben gerufene Gruppe wollte einen Beitrag dazu leisten, dass SMART Standards für die KI-Prüfung eingesetzt werden können. Dazu sollte die Entwicklung neuer KI-Standards analysiert und ein grundlegendes Konzept für die KI-Prüfung mit digitalen Standards aufgestellt werden: von der Erstellung von KI-Normen über die Bereitstellung in Datenräumen bis zum konkreten Prüfen von KI-Systemen. Im Mittelpunkt standen dabei die Normanwender, also Prüforganisationen ebenso wie Entwickler, die ihre KI-Systeme schon während der Entwicklung selbst testen.
Die Gruppe startete im November 2024 mit einem Expertenworkshop. Grundlage des Whitepapers sind Interviews und der fachliche Austausch in der Gruppe. Die Szenarien sind als Vorschlag aus Anwendersicht entstanden und nicht als Umsetzungsfahrplan der Normungsorganisationen zu lesen.
Kurz erklärt: Was sind SMART Standards?
SMART Standards sind Normen, deren Inhalte sowohl für Menschen als auch für Maschinen lesbar, anwendbar und digital bereitstellbar sind. Normungsorganisationen liefern sie zusätzlich zur Norm aus, etwa im Format ReqIF (Requirements Interchange Format).
Ergebnis: IDiS Whitepaper 4
Das Whitepaper „Skalierbare Prüfung von KI-Systemen mit SMART Standards: Szenarien aus Anwendersicht“ beschreibt drei aufeinander aufbauende Szenarien, die von der heutigen manuellen Praxis zu einer zunehmend automatisierten Prüfumgebung führen.
Szenario 1: Normen per Schnittstelle
Norminhalte fließen per API mit eindeutigen Verweisen direkt in Anforderungsmanagement, Entwicklung und Test. Aktualisierungen werden automatisch erkannt, betroffene Anforderungen markiert. Dieses Szenario lässt sich mit heute verfügbaren Komponenten grundsätzlich bereits umsetzen.
Szenario 2: Zuverlässig KI-generierte Prüfartefakte
Ein KI-Assistent ermittelt einschlägige Anforderungen, schlägt Prüfpläne vor und generiert Prüfcode. Grenzwerte werden unverändert aus der Norm übernommen und bleiben auf ihren Normabschnitt zurückführbar. Dafür braucht es neue Arten von SMART Content.
Szenario 3: Ökosystem für KI-Qualität
Norminhalte, Daten und Prüfwerkzeuge stehen als souveräne Ressourcen in einem gemeinsamen Datenraum bereit. Konformitätsnachweise werden digital mit dem KI-System mitgeführt. Dieses Szenario ist langfristig angelegt.
Ein durchgängiges Beispiel zu einem Credit-Scoring-System zeigt, was die Szenarien in der Praxis bedeuten können. Das Whitepaper richtet sich an Anwender von KI-Normen, an Beteiligte in KI-Qualität und -Prüfung und an alle, die eine digitale Prüfinfrastruktur für KI mitgestalten wollen.
Für ihre Beiträge zu Konzeption und Review danken die Autoren insbesondere Martina Paul (Huawei), Dr.-Ing. Marc P. Hauer (TÜV AI.Lab), Achim Pascal Meyer (sphin-X e.V.) und Taras Holoyad (BNetzA) sowie weiteren Beteiligten von DKE, DIN, QI-Digital und dem AI Quality & Testing Hub (AIQ).
Kernaussagen
- Schon heute möglich: Viele Anwendungsfälle lassen sich mit Norminhalten im ReqIF-Format bereits umsetzen.
- Skalierbar heißt nicht vollautomatisch: Die Verantwortung für das Prüfurteil bleibt beim Menschen.
- Die Norm als verlässliche Quelle: Sprachmodelle beziehen Werte und Definitionen direkt aus verifiziertem SMART Content statt aus Trainingswissen.
- Übertragbar: Die Konzepte gelten auch für andere Prüfbereiche, etwa Medizinprodukte oder Cybersicherheit.
Wie es weitergeht
Das Whitepaper versteht sich als Einladung zur Mitgestaltung. Wer an SMART Content, Ontologien und Datenräumen mitwirken oder eigene Anwendungsfälle einbringen möchte, kann sich bei IDiS beteiligen. Die Mitarbeit ist entgeltfrei.
Bei IDiS mitwirken: https://www.dke.de/idis/mitwirken
Beiträge & Veranstaltungen
Downloads
- IDiS Whitepaper 4: „Skalierbare Prüfung von KI-Systemen mit SMART Standards: Szenarien aus Anwendersicht“ (Deutsch, PDF)
- IDiS White paper 4: „Scalable Testing of AI Systems with SMART Standards: Scenarios from a User Perspective“ (English, PDF)
- Folien des Expertenworkshops, 29. November 2024 (PDF)
- Folien „Vorstellung der Ad-hoc-Gruppe KI-Prüfung“, 12. IDiS-Plenum (PDF)
