Machine Deep Learning-Algorithmen, Künstliche Intelligenz
WrightStudio / stock.adobe.com
30.11.2018 Kurzinformation 319 0

Harbsafe-162: Ein Goldstandard für Machine-Learning-Anwendungen zur Terminologieharmonisierung

VDE|DKE und die TU Braunschweig haben mit Harbsafe-162 einen Goldstandard entwickelt, der zur Evaluation von maschinellen Verfahren zur Textähnlichkeitsbestimmung dient. Harbsafe-162 ist ein Zwischenergebnis aus dem gleichnamigen Harbsafe-Projekt. Im Fokus steht dabei die Harmonisierung unterschiedlicher Begriffsverständnisse in den Bereichen der IT-Sicherheit, funktionalen Sicherheit und Zuverlässigkeit kritischer IT-Infrastrukturen.

Kontakt

Sven Müller

Normungsexperten setzen Standards – diesmal etwas anders: Fachkompetente menschliche Urteile sind unerlässlich, um Machine-Learning-Systeme zu trainieren und ihre Leistungsfähigkeit abzuschätzen. Im Projekt "Harbsafe", einer Kooperation von VDE|DKE und TU Braunschweig, werden Lösungen entwickelt, die mit Hilfe computioneller Linguistik Begriffe gruppieren, die zusammen gedacht und in einen sinnvollen Zusammenhang gebracht werden müssen. Dies ist insbesondere in der fachlichen Normung eine wichtige Aufgabe, um eine harmonische standardisierte Terminologie zu gewährleisten. Normungsexperten sollen durch eine entsprechende Assistenzlösung bei der Harmonisierung von Terminologien entlastet werden.

Eine Grundlage bildet der neue Goldstandard Harbsafe-162, der unter Beteiligung von Normungsexperten erarbeitet wurde. Es handelt sich hierbei um ein Zwischenergebnis des Projekts, das zur Evaluation von maschinellen Verfahren zur Textähnlichkeitsbestimmung dient, indem es fachkompetente Vergleichswerte liefert. Von vergleichbaren Datensets dieser Art unterscheidet sich Harbsafe-162 dadurch, dass es ausschließlich fachsprachliche Inhalte enthält und diese als komplexe, begriffsorientierte Eintragsstrukturen abbildet, deren Ähnlichkeit von Domänenexperten bewertet wurde. Aus diesem Grund kann es auch für die internationale Forschungscommunity von Interesse sein. VDE|DKE stellt Harbsafe-162 deshalb als neuen Goldstandard zur Verfügung.

Ein halbes Dutzend Normungsexperten haben an einer Bewertungsaufgabe teilgenommen, bei der die Ähnlichkeit von 162 Begriffspaaren aus technischen Normen bewertet wurde. Die Begriffseinträge stammen aus Normen und Normentwürfen aus den Bereichen der funktionalen Sicherheit, IT-Sicherheit und der technischen Zuverlässigkeit – Domänen, die aufgrund der Digitalisierung zukünftig immer stärker konvergieren werden. Die Skala reicht von 0 (vollkommen unähnlich und nicht zusammenhängend) bis 4 (sehr ähnlich). Bei der Validierung der Ergebnisse konnte eine vergleichsweise hohe Übereinstimmung zwischen den Expertenurteilen ermittelt werden (Krippendorff’s α=0.7, Spearman‘s ρ=0.74). Das Datenset beinhaltet den Mittel- und Durchschnittswert sowie die  Standardabweichung der Expertenurteile.

Eine wissenschaftliche Publikation zur detaillierteren Beschreibung des Datensets ist in Vorbereitung.

Das weitere Projekt legt den Fokus auf die Assistenzlösung – das Terminologie-Harmonisierungs-Dashboard. In einem Workshop soll dieses interessierten Normungsexperten vorgestellt und diskutiert werden. Der Harbsafe Workshop findet am 30.01.2019 in Frankfurt am Main statt.

Redaktioneller Hinweis:

Das Projekt "Harbsafe" wird vom Bundesministerium für Wirtschaft und Energie gefördert (Förderkennzeichen: 03TNG006A and 03TNG006B).

Downloads zu Harbsafe-162

Fallback ZIP

Harbsafe-162 Datenset & FAQ

VDE|DKE & TU Braunschweig
Veröffentlichungsdatum 30.11.2018
ZIP: 18 KB

Harbsafe Workshop

28.11.2018

Am 30. Januar 2019 findet in Frankfurt ein Workshop zu dem Thema "Software Assistance for the Harmonization of Terminology in Electrotechnical Standards" statt.

Sie interessieren sich für eine einheitliche Terminologie in der elektrotechnischen Normung? Dann sollten Sie diesen Workshop nicht verpassen.

Kontaktdaten Sven Müller finden Siehe oben rechts.

Flyer inkl. Programm

Relevante News und Verlautbarungen