Interview mit Stefan Goi

Interview mit Stefan Goi

| zapp2photo / stock.adobe.com & Yaruniv-Studio / stock.adobe.com
06.04.2023 Fachinformation

KI-Systeme unter Betrachtung der Funktionalen Sicherheit – es braucht einen holistischen Ansatz

Viele Menschen sehen im autonomen Fahren eine Lösung für die zahlreichen Probleme im Straßenverkehr. Etwas Geduld werden wir noch brauchen, aber der Weg ist bereits geebnet. Gleichzeitig müssen neue Methoden entwickelt werden, um die Sicherheit zu gewährleisten.

Stefan Goi vom TÜV Rheinland spricht mit uns im Interview über die Herausforderungen beim Einsatz von KI im Straßenverkehr, den Standard ISO PAS 8800 und Anforderungen an künftige Standards aus Sicht eines Dienstleisters für Prüfungen und Zertifizierungen von KI-Systemen.

Kontakt
Sascha Man-Son Lee

Interview mit Stefan Goi

DKE: Herr Goi, stellen Sie sich unseren Leserinnen und Lesern bitte vor: Wer sind Sie und was machen Sie?

Goi: Mein Name ist Stefan Goi und ich bin Geschäftsfeldleiter in der Abteilung „Automation, Funktionale Sicherheit und Cybersecurity“ der TÜV Rheinland Industrie Service GmbH. Mein Tätigkeitsschwerpunkt ist Automotive Functional Safety.

Darüber hinaus engagiere ich mich seit zehn Jahren in nationalen Normungsgremien. Unter anderem im deutschen Spiegelgremium der ISO 26262 sowie dem ISO PAS 8800. Letzterer befasst sich mit dem Thema „Safety and Artificial Intelligence“. Insgesamt bringe ich es nun auf mehr als 23 Jahren Erfahrung in der Automotive Branche.

Die größte Gefahrenquelle im Straßenverkehr ist und bleibt der Mensch

DKE: Mit dem neuen Gesetz zum autonomen Fahren wurde ein Rechtsrahmen geschaffen, damit autonome Kraftfahrzeuge (Level 4) in festgelegten Betriebsbereichen im öffentlichen Straßenverkehr fahren können. Wie bewerten Sie diese Entwicklungen aus Sicht der funktionalen Sicherheit?

Goi: Aus dem Blickwinkel der Funktionalen Sicherheit könnte man diese Entwicklungen als besorgniserregend ansehen, da neue Technologien und höhere Komplexität erhöhte Risiken in sich bergen. Erschwerend kommt hinzu, dass diese zurzeit auch noch schwer abzuschätzen sind.

Allerdings wäre dies eine unvollständige Betrachtung der Situation. Schauen wir uns Unfallstatistiken der vergangenen Jahre oder gar Jahrzehnte an, so wird klar, dass das Versagen von technischen Einrichtungen im Fahrzeug nicht die größte Gefahrenquelle darstellt. Diese ist und bleibt der Mensch, der im Falle von hochautomatisiertem Fahren mehr und mehr durch technische Einrichtungen ersetzt wird. Somit sind die Entwicklungen als positiv für die Gesamtsicherheit im Straßenverkehr zu sehen.


VDE DKE Tagung Funktionale Sicherheit 2023
Melanie Kahl / LitschiCo-Erfurt.de

Veranstaltungsrückblick zur VDE DKE Tagung Funktionale Sicherheit 2023

Der Fachkongress fand in diesem Jahr wieder in Präsenz statt. Etwa 130 interessierte Teilnehmende nahmen an der Veranstaltung im Kaisersaal in Erfurt teil.

Neben den kommenden Neuerungen der dritten Ausgabe der Normreihe IEC 61508 und weiterer Normungsvorhaben lag der Fokus auf den Herausforderungen durch die zunehmende Integration von Künstlicher Intelligenz und dem EU Cyber Resilience Act. Wichtige Themen, denn betroffen sind eine Vielzahl von Branchen und Industrien.

Mehr erfahren

KI-Algorithmen können nicht mehr vollständig verifiziert werden

DKE: Warum wird der Einsatz von Künstlicher Intelligenz in sicherheitsrelevanten Systemen dann teilweise kritisch betrachtet? Welche Herausforderungen ergeben sich hierbei?

Goi: Neue Technologien bringen immer erhebliche Herausforderungen mit sich – das ist nichts Neues. Als in den 1980er Jahren Microcontroller und Software auf dem Vormarsch waren, hat das die Technologieindustrie auf den Kopf gestellt. Auch damals war zuerst unklar, wie mit diesen neuen Technologien umzugehen ist. Mittlerweile haben sich entsprechende Maßnahmen etabliert und ihren Weg in einschlägige Normen gefunden, um eine hinreichende Funktionale Sicherheit von elektrischen und elektronischen Systemen zu gewährleisten.

Ein gutes Beispiel ist die ISO-Normenreihe 26262 für Straßenfahrzeuge („Road Vehicles – Functional Safety“). Diese basiert auf der Normenreihe IEC 61508 und stellt den Stand der Technik sehr gut dar. Die in diesen Normen definierten Maßnahmen greifen hervorragend bei allen gängigen Technologien. Allerdings nicht, wenn Künstliche Intelligenz ins Spiel kommt.

Bei KI geht es um Algorithmen, die nicht mehr vollständig verifiziert werden können. Daher ist Umdenken im Hinblick auf die Entwicklung entsprechender Systeme unabdingbar. Wir brauchen neue Methoden und Maßnahmen, um mögliche Probleme in Bezug auf Künstliche Intelligenz adressieren zu können. Und hierfür sind neue Normen und Standards erforderlich, an denen aktuell gearbeitet wird.

ISO PAS 8800 verfolgt einen holistischen Ansatz und berücksichtigt die relevanten Lebenszyklusphasen

DKE: Auf der VDE DKE Tagung Funktionale Sicherheit stellen Sie die ISO PAS 8800 vor. Wie unterstützt der neue Standard die Verifizierung von KI-Systemen?

Goi: Wie schon gesagt, ist eine vollständige Verifizierung dieser Systeme nicht möglich. Aus Sicht der Funktionalen Sicherheit ist das vollkommen inakzeptabel.

Auf der anderen Seite ist es aber auch nicht ausreichend, kurzerhand eine Handvoll neuer Verifikationsmethoden zu definieren. Es gibt keine bekannte Methode zur vollständigen Verifikation von Systemen, die auf Künstlicher Intelligenz basieren.

An diesem Punkt setzt die ISO PAS 8800 an, die nicht nur auf die Verifikation abzielt, sondern einen holistischen Ansatz verfolgt, welcher alle relevanten Lebenszyklusphasen berücksichtigt. Dieser Ansatz umfasst sowohl die Entwicklungsphase als auch die Verifikationsphase sowie Maßnahmen nach dem Inverkehrbringen. Zu letzterem Punkt bekommt das „Field Monitoring“ eine besondere Relevanz.

Ein KI basiertes System einhundertprozentig zu verifizieren, wird auch weiterhin nicht möglich sein. Doch geeignete Maßnahmen für alle Lebenszyklusphasen werden uns ermöglichen, eine hinreichende Sicherheit dieser Systeme zu gewährleisten.


Schaltzentrale
chungking - Fotolia

Funktionale Sicherheit: Der Schutz des Menschen vor der Maschine

Funktionale Sicherheit ist essenziell und kommt immer dann zum Einsatz, wenn Produkte, Anlagen und Prozesse so komplex sind, dass deren Sicherheit auf einfachem Weg nicht mehr ausreichend getestet werden kann.

International liegt mit IEC 61508 eine horizontale Normenreihe vor, die eine Grundlage für eine Vielzahl von Branchen und Anwendungsfeldern bietet.

Zur Fachinformation

Field Monitoring ist beim hochautomatisierten Fahren sehr komplex und erfordert viel Speicherplatz

DKE: Sie haben unter anderem das Field Monitoring angesprochen. Wie ist in diesem Kontext damit umzugehen? Wo liegt die Verantwortung bei Unfällen?

Goi: Field Monitoring ist beim hochautomatisierten Fahren wesentlich umfassender als bei traditionellen Fahrzeugfunktionen, wo Ausfälle überwiegend auf zufällige Hardwarefehler oder systematische Designfehler zurückzuführen sind. Die Analyse von Feldrückläufern kann zwar mit einem hohen Aufwand verbunden sein, ist aber grundsätzlich möglich, um die entstandenen Probleme auf eine Ursache zurückzuführen.

Beim hochautomatisierten Fahren haben wir es mit einer überaus komplexen Technologie zu tun. Viele Entscheidungen des Systems lassen sich nur vollständig nachvollziehen, wenn alle relevanten Eingangsdaten bekannt sind. Nur um das einmal zu verdeutlichen: Wir sprechen hierbei über Systeme, die im Zweifelsfall mehr als ein Gigabyte Rohdaten pro Sekunde generieren und verarbeiten. Zum Vergleich: Wenn Sie einen Film in HD streamen, liegen Sie bei etwa drei Gigabyte – pro Stunde!

Im Vergleich zu traditionellen Fahrzeugfunktionen ist die Problemstellung deutlich komplexer und dies hat einen direkten Einfluss auf das Field Monitoring. Wenn wir in einer Simulation herausfinden wollen, warum das System eine Fehlentscheidung getroffen hat oder ein Objekt nicht sauber erkannt wurde, dann benötigen wir die Rohdaten – und das bedeutet wiederum eine riesige Menge an Speicherplatz.

Wenn wir nur die letzten 30 Sekunden vor dem Auftreten eines Problems abbilden wollen, müssen wir bereits mindestens 30 Gigabyte an Rohdaten vorhalten. Oder reicht es vielleicht aus, komprimierte Videodaten zu speichern, sodass ein Mensch im Nachgang bewerten kann, ob das System etwas hätte erkennen müssen oder nicht? Dann allerdings lässt sich nicht der wirkliche Grund des Problems klar nachvollziehen, denn die komprimierten Daten sind unzureichend für eine Simulation. Field Monitoring beim hochautomatisierten Fahren erweist sich als sehr komplexes Thema, welches noch nicht abschließend geklärt ist.

Zum zweiten Teil Ihrer Frage, wo die Verantwortung bei Unfällen liegt, gibt es viele Diskussionen im Hintergrund. Trägt der Fahrzeughalter Verantwortung für eine Technologie, für die er sich entschieden hat, vielleicht sogar zum Teil mit der Intention den Straßenverkehr sicherer zu machen? Oder sind es die Automobilhersteller, die eine solche innovative Entwicklung vorantreiben? Und wie sieht die Rolle des Gesetzgebers aus?

Meine persönliche Meinung: bei Problemen muss geschaut werden, ob während der Entwicklung der eingesetzten KI-Systeme die aktuell gültigen Normen und Standards berücksichtigt und angewandt wurden – so, wie es auch schon heute in vielen anderen Bereichen der Fall ist. Wenn sich also Hersteller am aktuellen „Stand der Technik“ orientieren und diesen in die Entwicklung einfließen lassen, glaube ich nicht, dass ihnen ein Vorwurf gemacht werden kann. Dies war schon immer eine große Stärke der Normung – Sicherheit geben, sowohl allen Verbraucherinnen und Verbrauchern als auch den Unternehmen, die nach diesen Prinzipien handeln. Aber wie gesagt, das ist meine persönliche Meinung und eine fundierte Antwort sollten wir den Juristen überlassen. Vielleicht ergeben sich aber auf der Tagung zur Funktionalen Sicherheit in Erfurt weitere spannende Diskussionen. Ich wäre auf jeden Fall daran interessiert!


DKE Newsletter-Seitenbild
sdx15 / stock.adobe.com

Mit unserem DKE Newsletter sind Sie immer top informiert! Monatlich ...

  • fassen wir die wichtigsten Entwicklungen in der Normung kurz zusammen
  • berichten wir über aktuelle Arbeitsergebnisse, Publikationen und Entwürfe
  • informieren wir Sie bereits frühzeitig über zukünftige Veranstaltungen
Ich möchte den DKE Newsletter erhalten!

Für die Prüfung und Zertifizierung von KI-Systemen braucht es messbare und vergleichbare Kennzahlen

DKE: In der VDE-AR-E 2842-61-2 werden bereits Anforderungen für die Entwicklung von autonom/kognitiven Systemen beschrieben. Wird die Anwendung der VDE Anwendungsregel und der ISO PAS 8800 eine praxistaugliche Bewertung ermöglichen?

Goi: Sowohl die VDE Anwendungsregel als auch die ISO PAS 8800 spiegeln sehr gut den aktuellen Kenntnisstand zur Entwicklung vertrauensvoller bzw. sicherer Künstliche Intelligenz wider. Allerdings, das müssen wir auch festhalten, bieten beide Standards große Interpretationsspielräume. Das ist verständlicherweise auch der Tatsache geschuldet, dass Künstliche Intelligenz im Kontext der Funktionalen Sicherheit ein relativ neues Thema ist. Insofern ergeben sich derzeit auch noch viele offene Punkte und große Fragezeichen.

Weder die VDE Anwendungsregel noch die ISO PAS 8800 sind die endgültige Antwort zu diesem Thema, aber beide Standards haben – ohne jeden Zweifel – ihre Daseinsberechtigung. Beide Standards sind inhaltlich wirklich gut gelungen und eine große Bereicherung für das Thema. Aber da wir in Bezug auf Künstlicher Intelligenz erst am Anfang stehen, ist es nachvollziehbar, dass hier aus normativer Sicht eine stetige Weiterentwicklung erfolgen muss – und das wird sie auch.

Insofern kann ich aus Sicht eines Unternehmens zur Prüfung und Zertifizierung sagen, dass beide Standards eine sehr gute Grundlage liefern, um Systeme zu prüfen, bei denen Künstliche Intelligenz zum Einsatz kommt doch fehlen noch direkt messbare und somit vergleichbare und verlässliche Kenngrößen – ebenso wie wir es bei der Funktionalen Sicherheit haben. Also etwas „Handfestes“, mit dem wir am Ende sagen können: Das System ist sicher oder das System ist unsicher. Künstliche Intelligenz bleibt nicht nur für die Entwicklung eine große Herausforderung, sondern auch für die Bewertung.

Es wird sich zum Thema KI noch ein „Stand der Technik“ etablieren, welcher dann auch zur Begutachtung solcher Systeme zugrunde gelegt wird. Es wird allerdings noch etwas Zeit brauchen, bis wir an dem Punkt angekommen sind, an dem wir mit der Funktionalen Sicherheit von klassischen Systemen in der Industrie, Automobiltechnik, Luftfahrt und anderen Branchen bereits sind.


Roboter-Finger berühren den Bildschirm eines Autos
iaremenko / stock.adobe.com

Wenn der Mensch nicht mehr selbst entscheidet: KI und Ethik messbar machen

Wir gehen mit großen Schritten in eine Zukunft, in der Künstliche Intelligenz allgegenwärtig sein wird, eine Technologie, die unser Leben von Grund auf verändern wird. Gleichzeitig geben wir jedoch auch zunehmend Verantwortung ab: autonomes Fahren, medizinische Diagnostik, schulische Bildung. Aber wie können wir sicherstellen, dass KI nicht nur auf Grundlage von Daten handelt, sondern auch etische Grundsätze berücksichtigt?

Die Normung hat sich bereits frühzeitig mit dieser Frage beschäftigt und erarbeitet mit ihren Expertinnen und Experten Lösungen für die Praxis.

Mehr erfahren

Hochautomatisiertes Fahren unter Einsatz von KI ist ein wichtiger Schritt in Richtung sichere Mobilität

DKE: Herr Goi, letzte Frage. Sie hatten zu Beginn erwähnt, der Mensch sei das größte Sicherheitsrisiko im Straßenverkehr. Ist es dann ethisch überhaupt vertretbar, auf den Einsatz von Künstlicher Intelligenz zu verzichten, wenn es auf diese Weise zu deutlich weniger Verkehrsunfällen käme?

Die Unfallstatistiken der letzten 50 Jahre zeigen einen deutlich positiven Trend, der zu einem sehr großen Teil durch immer besser werdende Sicherheitseinrichtungen im Fahrzeug begründet ist. Früher gab es beispielsweise weder Kopfstützen, Sicherheitsgurte, Airbags, noch Fahrassistenzsysteme in Fahrzeugen. Dazu kommen noch bessere Schulungen für Verkehrsteilnehmende und härtere Strafen bei Verstößen. Zudem wird die Gesellschaft immer mehr für Sicherheit im Straßenverkehr sensibilisiert.

Hochautomatisiertes Fahren unter Einsatz von Künstlicher Intelligenz ist nun ein weiterer großer und wichtiger Schritt in Bezug auf sichere Mobilität. Ich würde allerdings nicht so weit gehen, zu sagen, dass Menschen nicht mehr ans Lenkrad gehören. Ein gewisses Maß an Vertrauen in die Eigenverantwortung des Menschen sollte man schon noch haben.

DKE: Vielen Dank für das Gespräch.

Goi: Ich danke Ihnen.

Wir bedanken uns für dieses Interview bei

Portraitfoto Stefan Goi

Stefan Goi

Geschäftsfeldleiter „Automation, Funktionale Sicherheit und Cybersecurity“, TÜV Rheinland Industrie Service GmbH

Aktiv in den Spiegelgremien für die Normung von ISO 26262 und ISO PAS 8800

Portraitfoto Stefan Goi

Geschäftsfeldleiter „Automation, Funktionale Sicherheit und Cybersecurity“, TÜV Rheinland Industrie Service GmbH

Aktiv in den Spiegelgremien für die Normung von ISO 26262 und ISO PAS 8800


Interessiert an weiteren Inhalten zu Core Safety?

Fokusbild Core Safety & Information Technologies

Core Safety & Information Technologies umschließt alle Aspekte der Sicherheit: grundlegende  Sicherheitsanforderungen, funktionale Sicherheit, Informationssicherheit sowie deren Wechselwirkungen. Außerdem befasst sich Core Safety mit wichtigen Querschnittsthemen und definiert grundlegende Anforderungen die allgemein einzuhalten sind – zum Beispiel für Elektromagnetische Verträglichkeit, Umwelt- und Ressourceneffizienz, Schadstoffe, Größen, Einheiten und Kennzeichnungen. Weitere Inhalte zu diesem Fachgebiet finden Sie im

DKE Arbeitsfeld Core Safety & Information Technologies

Relevante News und Hinweise zu Normen