Dallmeier Electronic: Wie gut ist eine künstliche Intelligenz?

KI-basierte Videoanalytik verspricht einen gewaltigen technischen Sprung nach vorne – mit hohem Kundennutzen. Aber nur, wenn der mündige – sprich informierte – Anwender die Technik richtig beurteilen kann. Dieser Beitrag von Dr. Maximilian Sand möchte einige Grundlagen vermitteln, um die Funktionalität, Einsetzbarkeit und den Nutzen für die eigene, spezifische Anwendung richtig bewerten zu können. Der Autor befasst sich mit dem Bereich Artificial Intelligence bei Dallmeier Electronic.

Längst haben Verfahren auf Basis künstlicher Intelligenz (KI) Einzug gehalten in die Videosicherheitstechnik. Immer neue Anwendungen und Produkte nutzen die Algorithmen, um neue Analysen anzubieten oder bestehende Analysen deutlich robuster zu machen. Das Ziel ist ein deutlicher Mehrwert für die Anwender, und die Ergebnisse sprechen dabei für sich: War es früher zum Beispiel mit klassischer Bildverarbeitung noch ein hoher Aufwand, einen sich im Wind bewegenden Baum zuverlässig als Fehlalarm zu erkennen, erledigt dies heute eine KI ohne Probleme.

Das wesentliche Unterscheidungsmerkmal zwischen Bild- bzw. Video-Analysen mit klassischer Bildverarbeitung und solchen mit künstlicher Intelligenz ist dabei, dass Algorithmen nicht mehr „nur“ programmiert, sondern mit einer großen Menge an Daten „angelernt“ werden. Anhand dieser Daten lernt das System, Muster zu erkennen und so beispielsweise einen Baum von einem Eindringling zu unterscheiden.

Das Konzept des maschinellen Lernens wirft aber auch neue Probleme und Herausforderungen auf. Ein prominentes Beispiel dafür sind Unterschiede bei der Erkennungsqualität unterschiedlicher ethnischer Gruppen, eine Problematik die es auch in die Schlagzeilen geschafft hat. Dabei ist der Hintergrund vergleichsweise simpel: Nur wenn ausreichend viele und ausreichend diverse und gleich verteilte Daten vorliegen, kann eine KI robust lernen.

„Gute“ und „schlechte“ künstliche Intelligenz  
Dies alles führt zur Frage nach der Leistungsfähigkeit eines Systems, das künstliche Intelligenz nutzt. Welche Maßzahlen eignen sich, um beispielsweise zwei Verfahren, unterschiedliche Systeme oder Hersteller vergleichen zu können? Was bedeutet es, wenn in einer Broschüre z. B. eine „95%ige Detektionsgenauigkeit“ oder eine „zuverlässige Erkennung“ versprochen wird. Wie gut ist denn eine Genauigkeit von 95 Prozent? Und was ist eine „zuverlässige Erkennung“?

Dazu gilt es zuallererst zu verstehen, wie KI-Verfahren evaluiert werden können. Der erste Schritt ist die anwendungs- und kundenspezifische Definition, was „falsch“ und was „korrekt“ bedeutet, insbesondere in Grenzfällen: Ist beispielsweise bei einem Personenerkennungssystem eine Detektion als korrekt zu werten, wenn im Bild bzw. Video gar keine echte Person, sondern nur ein Werbeplakat mit einer Person zu sehen ist? Dies und weitere Parameter müssen festgelegt werden.

Sobald diese Festlegung steht, benötigt man einen Datensatz, bei dem die zu erwartenden korrekten Ergebnisse bekannt sind. Die KI wird nun diesen Datensatz analysieren und so den Anteil der richtigen und falschen Detektionen ermitteln. Die Mathematik gibt dem Anwender hier unterschiedlichste Metriken an die Hand, beispielsweise die Sensitivität (Anteil der erwarteten Detektionen, die wirklich detektiert wurden) oder die Treffergenauigkeit (Anteil der Detektionen, die wirklich korrekt sind). Die „Güte“ der KI ist letztendlich also immer eine statistische Aussage über den verwendeten Evaluationsdatensatz.

Sommer oder Winter?
Wie brauchbar diese Aussage für den Anwender oder potentiellen Kunden eines Systems wirklich ist, hängt von der Verteilung des Datensatzes ab. So kann eine Evaluation eine gute Erkennungsleistung bescheinigen. Wenn aber dem Datensatz ausschließlich Bildmaterial aus Sommermonaten zugrunde lag, hat diese Evaluation keinerlei Aussagekraft über die Güte der KI im Winter, da Licht- und Wetterverhältnisse sich deutlich unterscheiden können.

Daraus folgt im Allgemeinen: Aussagen über die Güte einer KI-Analyse – insbesondere solche mit konkreten Zahlen wie etwa „99.9 %“ – sind mit Vorsicht zu betrachten, wenn nicht alle Parameter bekannt sind. Ohne Kenntnis des verwendeten Datensatzes, der verwendeten Metrik und der weiteren Parameter ist nämlich keine eindeutige Aussage darüber möglich, wie repräsentativ das Ergebnis ist.

Exakte Angaben kann es nicht geben
Jedes System hat seine Grenzen, so natürlich auch KI-Systeme. Die Grenzen zu kennen, ist deshalb die Grundvoraussetzung für fundierte Entscheidungen. Doch auch hier treffen Statistik und Realität aufeinander, wie sich an folgendem Beispiel erkennen lässt: Eine KI erkennt Objekte im Bild bzw. Video logischerweise schlechter, je kleiner diese sind.

Die erste Frage, die sich einem Anwender vor dem Kauf eines Systems deshalb stellt, ist die nach dem Maximalabstand, bis zu dem Objekte detektiert werden können. Denn dies hat Einfluss auf die Anzahl der benötigten Kameras und damit auf die Kosten des Gesamtsystems. Einen exakten Abstand anzugeben, ist aber schlechterdings nicht möglich. Es gibt schlicht keinen Wert, bis zu dem die Analyse zu 100 Prozent korrekte Ergebnisse liefert und einen anderen Wert, ab dem keine Erkennung mehr möglich ist. Eine Evaluation ist hier lediglich in der Lage, Statistiken zu liefern. Beispielsweise die Detektionsgenauigkeit in Abhängigkeit von der Objektgröße.

Am besten direkt vergleichen
Hinsichtlich der Systemgrenzen hat sich etabliert, z. B. in Produktdatenblättern die Grenzen des Systems mit konkreten Mindest- oder Maximal-Werten soweit wie möglich zu beschreiben. Dazu gehören Werte bezüglich eines Mindestabstands bzw. einer Mindestauf­lösung. Dies ist auch sinnvoll, denn Kunden oder Errichter brauchen Anhaltspunkte, um das System einschätzen zu können.

Trotzdem bleibt natürlich vieles im Ungewissen – z. B. ob diese Grenzwerte vom Hersteller eher konservativ oder optimistisch angegeben werden. Der Anwender tut gut darin, sich stets vor Augen zu führen, dass es bei Videoanalyse eben keine definierten, scharfen Grenzen gibt. Es wird bei jedem System so sein, dass auch innerhalb bestimmter Parameter Fehler produziert werden und gleichzeitig nützliche Ergebnisse unter guten Bedingungen auch über die Grenze hinaus erbracht werden können.

Möchte man als Anwender die wirkliche Güte einer KI-basierten Analyse ermitteln, so geht das eigentlich nur über einen direkten Vergleich – zu unterschiedlich sind die Zahlen und Parameter der verschiedenen Hersteller. Und außerdem müssen die Rahmenbedingungen und der Input natürlich bei allen Systemen gleich sein. Ein realer Test mit Demo-Produkten, Leihstellungen oder ähnlichem ist hierfür die optimale Möglichkeit. Zudem zeigt sich dann auch die Leistungsfähigkeit des Systems in genau dem benötigten Anwendungsfall.

Das ist im Übrigen auch das Stichwort bei der Beurteilung der Leistungsfähigkeit von KI-Systemen ganz allgemein: Es kommt ganz auf den jeweiligen Anwendungsfall an. Dieser sollte so genau wie möglich spezifiziert sein. Dann lässt sich mit der richtigen Lösung auch ein wirklicher Mehrwert für den Kunden realisieren.