Künstliche Intelligenz kann kritische Situationen beim autonomen Fahren proaktiv vermeiden

Lange: Mit dem Begriff „Künstliche Intelligenz“ werden oftmals auch autonome Fahrzeuge erwähnt. Wie lässt sich KI aus Ihrer Sicht am besten beschreiben und kann es KI-gesteuerte Fahrzeuge geben, die nicht autonom sind?

Burton: „Künstliche Intelligenz“ ist ein sehr breiter Begriff und wird oft auch missinterpretiert. Man neigt dazu anthropomorphische Eigenschaften auf ein „denkendes“ Fahrzeug zu übertragen, was wiederum zu Missverständnissen und falschen Erwartungen führen kann. Deswegen rede ich lieber von spezifischen technischen Verfahren, zum Beispiel „Convolutional Neural Networks“, einer Form von Deep Learning, die viel Potential in der maschinellen Verarbeitung von Bilddaten gezeigt haben.

Wenn man von KI-gesteuerten Fahrzeugen spricht, meint man in der Regel autonom fahrende Autos, wo die Fahrzeugsteuerungskommandos, d. h. lenken, bremsen, überholen usw., anhand von maschinellen lernbasierten Algorithmen erzeugt werden. Solche Algorithmen können auch in nicht autonom fahrenden Autos eingesetzt werden. Ein Beispiel hierfür ist eine videobasierte Erkennung und Anzeige des aktuellen Tempolimits auf Basis Neuronaler Netze als Information für den Fahrer.

Lange: Gibt es neben dem autonomen Fahren im Fahrzeug noch andere Anwendungsfelder für KI?

Burton: KI-Methoden haben einen Vorteil, wenn größere Mengen von unstrukturierten Daten ausgewertet werden müssen, um wertschöpfende Rückschlüsse zu ziehen. Dies kann das Lernen von typischem Verhalten anderer Verkehrsteilnehmer sein wie beim autonomen Fahren. Es gibt aber auch andere Anwendungen, zum Beispiel in der Qualitätssicherung in der Fertigung, prädiktive Diagnose und Antriebsstrategieoptimierung.

Lange: Wenn ich an Alpha Go, Alpha Go Zero und Alpha Zero denke, ist das extrem beeindruckend. Allerdings hat das System in diesem Fall 100 Prozent der verfügbaren Informationen. Das ist in der Realität nicht immer so. Wie schlägt sich KI in Situationen mit unvollständigen Informationen?

Burton: Bestimmte Klassen von KI-Algorithmen, wie Neuronale Netze, sind eigentlich gut geeignet, um aus unvollständigen Informationen, Bewertungen abzugeben. Man kann die Funktionsweise grob so verstehen, dass die Algorithmen zunächst mit repräsentativen Datensätzen trainiert werden. Während des Betriebs wird eine Art Mustererkennung durchgeführt, um der aktuellen Situation die gelernten Eigenschaften zuzuordnen. Die Herausforderung, die wir bei autonomem Fahren haben, ist eher zu wissen, welche und wie viele Trainings-Daten repräsentativ genug sind und ab wann der Algorithmus ein ausreichend vollständiges Modell der Zielumgebung gelernt hat. Ein Beispiel hierfür ist die Tatsache, dass unsere Systeme in selten vorkommenden Situationen, zum Beispiel wenn ein Kleinkind seinem Spielball in der Straße hinterherrennt, genauso gut reagieren können müssen, wie in Situationen, die bei jeder Fahrt vorkommen. Wie wissen wir, ob unser gelerntes System tatsachlich alle kritischen Grenzfälle beherrschen kann?

Lange: Wie kann Künstliche Intelligenz dabei unterstützen, Sicherheitssysteme (im Sinne von Safety) zu verbessern und welche Vorteile bietet Künstliche Intelligenz in Sicherheitssystemen?

Burton: Fortschrittliche KI-Algorithmen, gekoppelt mit der erhöhten Rechnungsleistung sowie Sensorik, ermöglichen neue und verbesserte Sicherheitsfunktionen, die in vielen Situationen schneller und besser reagieren können als der Mensch. Letztendlich sind menschliche Fehler zuständig für den Großteil aller Verkehrsunfälle. Dadurch, dass die Algorithmen komplexe Zusammenhänge in den Daten erkennen können, können sie proaktiv kritische Situationen von vornherein vermeiden.

Grundsätze (nicht nur) in der Eisenbahn-Automatisierung

Der Schwerpunkt des Web-Seminars wird die Beziehung zwischen Funktionaler Sicherheit und IT-Sicherheit für kritische Systeme sein. Diese erfährt gegenwärtig große Aufmerksamkeit und führt zu verschiedenen und widersprüchlichen Empfehlungen.

In seinem Web-Seminar erläutert Prof. Jens Braband die Ableitung und Rechtfertigung von Grundprinzipien, die den Ausgangspunkt für die erforderliche weiterführende Diskussion bilden.

Lange: In Ihrem Blogeintrag kritisieren Sie, dass Machine Learning beim autonomen Fahren als Allheilsbringer gesehen wird. Warum ist das aus Ihrer Sicht nicht so?

Burton: Der Punkt, den ich in meinem Blogbeitrag anspreche ist, dass wir mit maschinellem Lernen eine grundsätzlich andere Technologie einsetzen, als wir für bisherige sicherheitskritische Systeme angewendet haben. Die Algorithmen geben keine Schwarz-Weiß-Antworten und deren Entscheidungen sind sehr schwer nachzuvollziehen. Unsere bisher etablierten Prozesse und Standards lassen sich deswegen nicht gut auf diese Art von Algorithmen übertragen. Deswegen müssen wir uns der grundlegenden Frage stellen: Wie kann ausreichend Vertrauen geschaffen werden, dass die KI-Algorithmen unserer Autos in allen Situationen immer sicher gesteuert werden?

Lange: Reicht es Ihrer Meinung aus, neue Funktionen des Machine Learnings nur im Labor zu testen oder sind Feldtests erforderlich?

Burton: Nein, ausschließlich Labortests werden definitiv nicht reichen. Es gibt allerdings sehr gute Argumente dafür, warum man vorerst möglichst viele Tests im Labor durch Simulation fahren soll. In der Simulation kann man eine sehr große Menge und höhere Diversität an Szenarien prüfen, inklusive solcher, bei denen man schon vorher weiß, dass das System dabei seine Schwächen hat oder die einfach zu gefährlich sind, um im Feld getestet zu werden.

Nichtdestotrotz muss man im Feld prüfen, ob alle Annahmen, die man während der Entwicklung und Testphase getroffen hat, tatsachlich valide sind und gleichzeitig neue Klassen von Szenarien entdecken, die bei der Entwicklung der nächsten Iteration der Funktion berücksichtigt werden sollten. Ein weiterer Aspekt ist, dass die Umgebung, in der die Autos fahren, sich kontinuierlich verändert. Deshalb müssen wir eigentlich auch kontinuierlich die Performanz des Systems im Feld überprüfen, um sicherzustellen, dass die Sicherheitsanforderungen weiterhin erfüllt bleiben.

Lange: Im Webinar von Hr. Rolle wurde die Bedeutung der Risikobewertung hervorgehoben. In seinem Interview beschrieb Hr. Kieviet folgendes Szenario: „Man stelle sich einen Verbund kollaborierender, mobiler Mehrfachroboter vor. Wenn jetzt diese ihr Verhalten durch KI lernen, haben sie keine Chance mehr, alles in einer Analyse vorherzubestimmen.“ Gibt es hier bereits erste Lösungsansätze?

Burton: Solch ein emergentes Verhalten ist tatsachlich sehr problematisch für die Sicherheitsvalidierung. Deswegen werden wir solche Systeme nicht für sicherheitskritische Anwendungen zulassen, bis wir besser verstanden haben, wie wir diese absichern können. Hier brauchen wir vorerst Grundlagenforschung sowie anwendungsfallspezifische Betrachtungen um weiterzukommen. Bis wir so weit sind, müssen wir die Sicherheit des Systems durch andere Maßnahmen gewährleisten, beispielsweise durch Verhaltenseinschränkung, Plausibilisierung etc.

In diesem Web-Seminar wird der Lebenszyklus nach DIN EN 61508 (VDE 0803) anhand eines konkreten Anwendungsbeispielsl veranschaulicht. Zudem werden die Kernanforderungen der Norm erläutert.

• 00:01:34 – Der allgemeine Sicherheitsbegriff nach ISO/IEC Guide 51
• 00:06:39 – "Elektrische Sicherheit" aus Sicht der elektrotechnischen Normung
• 00:13:39 – Funktionale Sicherheit aus Sicht der Normenreihe IEC 61508
• 00:40:07 – Eine Anwendung mit elektrischer und funktionaler Sicherheit
• 00:55:10 – Ausblick: Informationssicherheit aus Sicht der Normenreihe IEC 62443

Lange: Gibt es noch weitere Herausforderungen?

Burton: Wie bereits am Anfang erwähnt, erweckt bereits der Begriff „Künstliche Intelligenz“ in einigen Leuten den Instinkt, anthropomorphische Eigenschaften an das System zu übertragen und ethische sowie haftungsrechtliche Erwartungen an das System zu stellen. Hierzu müssen wir gesellschaftlichen und rechtlichen Konsens erarbeiten, welche Erwartungshaltungen an das System übertragen werden können und welche Verantwortung die Hersteller, Betreiber und Anwender tragen müssen.

Es gibt auch spezifische Herausforderungen wie zum Beispiel der Schutz der Privatsphäre (EU-DSGVO usw.) sowie Diskriminierung bei der Auswahl der Trainingsdaten. Es muss unter anderem sichergestellt werden, dass alle Bevölkerungsgruppen von den Systemen gleich behandelt werden. Regionsspezifische Trainingsdaten dürfen nicht dazu führen, dass ethnische Minderheiten von einem Fußgänger-Erkennungssystem weniger sicher erkannt werden als andere Gruppen.

Lange: Künstliche Intelligenz wird häufig als ein System verstanden, das sich im Laufe der Zeit verändert. Sicherheitssysteme werden vor Inbetriebnahme, also am Anfang ihres Lebenszyklus, abgenommen. Jede Veränderung am System führt zumindest zu einer erneuten Teilabnahme der Sicherheitsfunktion. Wie kann man ein sich selbst veränderndes Sicherheitssystem abnehmen?

Burton: Hier existiert noch kein Konsens, wie man so ein System absichern soll. Wir werden sicherlich in erster Linie KI-basierte Systeme in der Entwicklungsphase zuerst trainieren und absichern, bevor wir sie freigeben. Selbstlernende Algorithmen werden wir, meiner Meinung nach, vorläufig nur für Funktionen einsetzen, die wir durch andere Maßnahmen während der Laufzeit absichern können. Zum Beispiel können selbstlernende Verhaltensplaner durch andere, einfachere Maßnahmen dahingehend überprüft werden, ob die ausgewählte Aktion zu einer gefährlichen Überschreitung von Sicherheitsregeln führt.

Lange: Bisher sind die bestehenden Normenreihen IEC 61508 und EN 50128 eindeutig: In beiden Normen wird Künstliche Intelligenz explizit als nicht zu empfehlende Technik benannt. Auch andere Normen wie DO178, DO254 oder ISO26262 verlangen nach einem deterministischen System. Ist eine Entwicklung von Normen bereits absehbar, die sich inhaltlich konkret mit Funktionaler Sicherheit im Kontext von Künstlicher Intelligenz auseinandersetzen?

Burton: Ich stimme Ihnen zu: Diese Normen sind nicht ausgelegt, um die Anwendung von KI-Algorithmen für autonome Systeme zu unterstützen und müssen deswegen angepasst oder durch neue Normen ergänzt werden. Allerdings beschreiben solche Normen den etablierten Stand der Technik. Soweit sind wir noch nicht. Wir müssen zuerst einen Industriekonsens auf Basis seriöser Forschungs- und Vorentwicklungsarbeiten schaffen. Hierfür spielen öffentlich geförderte Forschungsprojekte, bei denen Industrie und akademische Partner gemeinsam solche Themen bearbeiten, aber auch der offene Austausch auf Konferenzen, wie auf der VDE DKE-Tagung zur Funktionalen Sicherheit, eine große Rolle.

Mit dem DKE Newsletter sind Sie immer am Puls der Zeit! Monatlich ...

• fassen wir die wichtigsten Entwicklungen in der Normung kurz zusammen
• berichten wir über aktuelle Arbeitsergebnisse, Publikationen und Entwürfe
• informieren wir Sie bereits frühzeitig über zukünftige Veranstaltungen

Lange: Sollten hierfür bestehende Normen ergänzt oder neue Normen für spezifische Anwendungsbereiche / Anwendungsmöglichkeiten erarbeitet werden?

Burton: Wahrscheinlich beides. Normen, die weiterhin als Voraussetzung für die Sicherheit solcher Systeme gelten werden, wie ISO 26262, sollen in Zukunft den Einsatz von KI-Methoden nicht verhindern, solange die Sicherheit der Systeme überzeugend nachgewiesen werden kann. Wir werden wahrscheinlich auch neue Normen brauchen, um besser auf die neuen Herausforderungen reagieren zu können.

Die ISO PAS 21448 zur „Safety of the intended Function“ ist hierfür ein gutes Beispiel: Diese Norm betrachtet das Thema funktionale Unzulänglichkeiten von Fahrerassistenzsystemen, deckt aber noch nicht alle Bedürfnisse von autonomem Fahren und KI-gesteuerten Systeme ab.

Lange: Wie ist Deutschland im weltweiten Vergleich bei Funktionaler Sicherheit im Kontext Künstlicher Intelligenz aktuell aufgestellt?

Burton: In den USA wird seit einigen Jahren sehr viel in KI und autonomes Fahren investiert und wir sollten auch China nicht unterschätzen. Ich bin aber trotzdem überzeugt, dass wir hier in Deutschland konkurrenzfähig sind. Wir haben nicht nur in den Forschungsinstituten, Hochschulen und Firmen die theoretischen Kenntnisse im Bereich KI, sondern auch eine lange Geschichte und weltweite Spitzenexpertise im Bereich der Funktionalen Sicherheit. Diese Kombination, in einem Umfeld in dem die Automobilindustrie die Sicherheit als regionalen Wettbewerbsvorteil sieht und bereit ist, hierfür zu kollaborieren, ist eine sehr gute Voraussetzung, um diese Thematik anzugehen.

Lange: Nehmen wir hierzulande evtl. sogar eine Vorreiterrolle in einem Bereich ein?

Burton: Ich denke schon. Wenn ich mir die Forschungsinstitute und Firmen anschaue, mit denen ich zu diesem Thema Gespräche geführt und gemeinsame Forschungsprojekte gestartet habe, dann bin ich von der Kompetenz hierzulande begeistert. Dies spiegelt sich zum Beispiel in hochwertigen Beiträgen wie bei den Erfurter Tagen ab.

Lange: Laufen wir – ohne die gleichzeitige Erarbeitung bzw. Ergänzung vorhandener Normen – zukünftig Gefahr, den Anschluss bei Innovationen zu verlieren?

Burton: Die Normen sollen ja die Innovationen ermöglichen und nicht bremsen, aber trotzdem sicherstellen, dass wir ein einheitliches Maß an Sicherheit in der Industrie etablieren. Ich denke, dass, wie bereits beschrieben, wir durch kollaborative Zusammenarbeit einen Industriekonsens finden müssen, was letztendlich durch aktive Mitgestaltung der Normen wiedergespiegelt wird. Technische Innovationen und Normen bleiben dadurch im Takt.

Core Safety & Information Technologies umschließt alle Aspekte der Sicherheit: grundlegende  Sicherheitsanforderungen, funktionale Sicherheit, Informationssicherheit sowie deren Wechselwirkungen. Außerdem befasst sich Core Safety mit wichtigen Querschnittsthemen und definiert grundlegende Anforderungen die allgemein einzuhalten sind – zum Beispiel für Elektromagnetische Verträglichkeit, Umwelt- und Ressourceneffizienz, Schadstoffe, Größen, Einheiten und Kennzeichnungen. Weitere Inhalte zu diesem Fachgebiet finden Sie im