Künstliche Intelligenz und ihre Auswirkung auf die Risikobeurteilung von Maschinen

Werner Varro, VDMA

© Neura Robotic GmbH

GIT SICHERHEIT: Herr Varro, inwiefern verändert sich der Umgang mit Maschinen und Anlagen durch die immer stärkere Vernetzung aller Komponenten?

Werner Varro: Der Umgang mit Maschinen verändert sich rasant, da mehrere Ereignisse gleichzeitig eintreffen. Die zunehmende Vernetzung führt zu erhöhter Kommunikation und großen Datenmengen, die erzeugt, transportiert, verarbeitet und gespeichert werden. Gleichzeitig wird eine sehr hohe Rechenleistung bereitgestellt, was die steigende Komplexität, Modularität und Flexibilität der Maschinen unterstützt.

Die Mobilität der Maschinen und ihre Fähigkeit zur eigenständigen Erkennung der Umgebung erhöhen ihre „Selbstständigkeit“. Neue Geschäftsmodelle wie Equipment-as-a-Service (EaaS), Robotics-as-a-Service (RaaS) und Pay-per-Use (PpU) bringen neue Teilnehmer und Stakeholder in den Lebenszyklus der Maschinen ein. Diese Änderungen setzen den Einsatz neuer Mensch-Maschinen-Schnittstellen voraus und ermöglichen es, bestehende Schnittstellen für einen größeren „Benutzerkreis“ zu öffnen.

Dadurch findet sozusagen eine Erweiterung der Grenzen der Maschine statt, von der Maschine an sich über die Kommunikationswege bis hin zur Applikation in der Cloud (Navigation, Machine Learning, …) und verändert zwangsläufig auch den Umgang mit Maschinen. Durch diese Interaktionsformen der Menschen mit hochvernetzten Technologien entstehen sogenannte „soziotechnische Systeme“, die neue und zusätzliche Anforderungen an die Technik, aber auch an die Qualifizierung der Menschen stellen.

Welchen Einfluss hat der zunehmende Einsatz von KI auf die Sicherheit von Maschinen und Anlagen im Allgemeinen?

Werner Varro: Der Einfluss ist im Moment schwer abzuschätzen und hängt sehr stark mit der Applikation zusammen. Der Einsatz von KI bedeutet in der Regel eine Öffnung der Schnittstellen der Maschine nach außen, um die notwendigen Kommunikationsmöglichkeiten bereitzustellen. Dadurch erhöhen sich auch die Möglichkeiten, die Maschine von außen zu beeinflussen, z. B. durch Cyber-Angriffe oder durch die Bereitstellung ausgewählter falscher Datensätze für Machine Learning (ML). Wir stehen also wie bisher vor der Aufgabe, die Menschen vor der Maschine zu schützen (Safety), aber nun auch die Maschine vor den Menschen zu schützen (Security). Im Zusammenhang mit KI muss der Schutz des Menschen vor der Maschine in einen größeren Kontext (soziotechnisches System) gestellt werden. Nicht nur der Schutz vor physischen Gefahren, sondern auch psychische Gefahren (Vermenschlichung, Mobbing, Manipulation) und die Einhaltung geltende Gesetze – z. B. Erfassung persönlicher Daten (biometrische Daten, Stimmerkennung, Emotionenerkennung) – spielen in diesem Zusammenhang eine Rolle.

Einerseits kann also der Einsatz von KI eine Erleichterung sein, z. B. als Unterstützung bei der Bedienung der Maschinen oder bei der Entscheidungsfindung auf Basis großer Datenmengen. Andererseits wissen wir aber auch, dass der Mensch dazu neigt, die Maschine zu vermenschlichen. D. h. er überträgt ihr bestimmte menschliche Eigenschaften, vertraut ihren Entscheidungen und generiert dadurch zusätzliche Risiken.

Wieso bedarf es Ihrer Ansicht nach Regulierungen z. B. in Form einer ­erweiterten Risikobeurteilung?

Werner Varro: Bereits heute müssen zum Konformitätsnachweis Risikobeurteilungen und -analysen durchgeführt werden, z. B. gemäß Maschinenrichtlinie, Niederspannungsrichtline, EMV-Richtline sowie Cyber Security Act und AI Act der EU. Die Beurteilungen und Analysen werden dabei getrennt adressiert und in den Unternehme in der Regel auch so umgesetzt. Durch diese Betrachtungsweise besteht die Gefahr, gegenseitige Beeinflussungen nicht vollständig oder zu spät zu erfassen, z. B. der Einfluss der KI auf die Funktion oder der Einfluss der Abläufe auf die KI.

Die erweiterte Risikobeurteilung ist also keine neue Regulierung. Sie ist vielmehr eine konsequente Erweiterung der bestehenden Methode (ISO 12100), um Risiken, die in einem soziotechnischen System durch die Kommunikation, Human Machine Interface und Cloud entstehen, systematisch zu bewerten. Des Weiteren geht es darum, die gegenseitige Beeinflussung von Safety, Security und KI zu erfassen, bzw. zu analysieren und quasi als Nebenergebnis transparent darzustellen. Damit bleibt die Risikobeurteilung Dreh- und Angelpunkt der Sicherheit und Datensicherheit und weiterhin der wichtigste Nachweis der Produktkonformität! Gleichzeitig ist sie aber auch die Basis, um Vertrauen in die neue Methode zu schaffen.

Wie sollte eine erweiterte Risiko­beurteilung, Ihrer Meinung nach, gestaltet sein?

Werner Varro: In die erweiterte Risikobeurteilung müssen zusätzliche Aspekte einfließen und systematisch bewertet werden: Dazu gehören z. B. erweiterte Grenzen, die vom Sensor bis zur Cloud reichen, aber auch die Nutzer selbst, die im Lebenszyklus mit der Maschine interagieren. Des Weiteren gilt es ethische, soziale und gesetzliche Aspekte (ELSI), wie die Erfassung persönlicher Daten und Diskriminierung, zu berücksichtigen. Und natürlich sind die Generierung, Bearbeitung und Nutzung von Daten, die Daten- und Cybersicherheit, Rückfallstrategien und KI-Algorithmen wichtige Bestandteile. D. h. die erweiterte Risikobeurteilung muss all diese Aspekte adressieren und identifizieren, die wechselseitigen Möglichkeiten zur Beeinflussung analysieren und abgestimmte Maßnahmen definieren und umsetzen.

So ausgestaltet, bleibt die Risikobeurteilung weiterhin das Basisdokument für die Konformität einer Maschine. Ein interessantes Beispiel zu dieser Entwicklung ist der Entwurf der Norm „BS 8611 Robots and robotic devices. Guide to the ethical design and application of robots and robotic systems“, die Hilfestellungen zur Identifizierung ethischer Gefährdungen gibt.

Die Gefahr von Cyber-Attacken hat in den letzten Jahren extrem zugenommen. Da auch eine künstliche Intelligenz durch eine Cyber-Attacke korrumpiert werden könnte, stellt sich natürlich die Frage, wie die Sicherheit von Maschinen in ­diesem Zusammenhang zu bewerten ist.

Werner Varro: Security, also Daten- und Cybersicherheit ist eine Voraussetzung für eine funktionierende KI und muss im gesamten Lebenszyklus berücksichtigt werden. D. h. für jede Lebensphase der Maschine müssen die richtigen Securitymaßnahmen definiert und ihre Wirksamkeit in regelmäßigen Abständen überprüft und neu justiert werden.

Zum Abschluss wäre es noch interessant zu erfahren, welche sozialen Interaktionsprobleme zwischen Mensch und Maschine beim zunehmenden ­Einsatz von KI entstehen können und ob auch hier eine Regulierung hilfreich sein kann.

Werner Varro: Das Gebiet der sozialen Interaktionsprobleme zwischen Mensch und Maschine beim zunehmenden Einsatz von KI ist weit und zum Teil noch unerforscht. In diesem Zusammenhang ist z. B. noch einmal die Vermenschlichung zu nennen, wodurch Vertrauen in die Maschine und deren Entscheidungen entsteht, was wiederum das Risiko erhöht, persönliche Daten preiszugeben. Ein weiteres Problem ist die Manipulation, sowohl der Maschine durch den Menschen, indem das Verhalten angepasst und „geschönte“ Daten verwendet werden, als auch des Menschen durch die Maschine, beispielsweise durch gezielte Abfrage persönlicher Daten. Ethik spielt ebenfalls eine Rolle, etwa ob die Maschine den Gesundheitszustand des Menschen erkennen muss. Zudem stellt sich die Frage, ob Sprach- und Gestikbefehle immer ausgeführt oder auch abgelehnt werden sollten und wenn ja, welche und wie. Eine Regulierung wird daher nicht vermeidbar sein, um die Schutzziele der geltenden Gesetze und Richtlinien zu erreichen.