Wie Sonifikation die Videoüberwachung verbessern soll

Der Sehsinn steht - das steckt schon in seinem Namen - bei der Videoüberwachung im Vordergrund. Um Optisches geht es meist auch, wenn alles aus einem Bild herausgeholt werden soll, was geht: Mit Tag- und Nachtkameras, Schwenk-Neige-Zoom-Technik, Bewegungserkennung, etc.

Das Hören spielt eher eine Nebenrolle und sein Potential wird keinesfalls ausgeschöpft - bis jetzt. Wissenschaftler, die sich mit Sonifikation, also
der Verklanglichung von Vorgängen oder Objekten befassen, wollen das ändern. Matthias Erler von GIT-SICHERHEIT.de sprach darüber mit Prof. Dr. Gunther Heidemann vom Institut für Kognitionswissenschaft an der Universität Osnabrück.

GIT-SICHERHEIT.de: Herr Prof. Heidemann, das Wort „Sonifikation" heißt so viel wie „Verklanglichung" - man vertont beispielsweise Videobilder. Wie sieht das genau aus?

Gunther Heidemann: Sonifikation stellt Daten aller Art in Form von Klängen dar. Bei der Videoüberwachung werten Bilderkennungs-Algorithmen die Videodaten aus und das Ergebnis wird durch Sonifikation klanglich dargestellt. Das Nadelöhr ist dabei zunächst die Bilderkennung: Leider gibt es noch keine Algorithmen, die so leistungsstark sind, dass sie jedes beliebige Bild erkennen und auswerten können. Vielmehr muss man das System jeweils an die konkreten Bedürfnisse anpassen, man muss also vorher definieren, worum es einem geht - etwa um Personen, die sich bewegen, Fahrzeuge oder Tiere. Wenn das System in der Lage ist, diese zu erkennen, dann kann man eine Verklanglichung gewissermaßen hinterherschalten.

Man verknüpft also Klänge mit diesen ­Personen, Fahrzeugen etc.?

Gunther Heidemann: Ja, man ordnet sie ihnen zu - dabei kann man beliebige Audio-Files verwenden. Gehenden Personen kann man Schrittgeräusche, Autos Fahrgeräusche oder Hunden ein Bellen zuordnen. Es können aber auch beliebige andere Töne sein. Das kann der Anwender frei entscheiden. Auch ist denkbar, etwa einen bestimmten zum Haus gehörenden LKW klanglich differenziert zu markieren. Ebenso könnten beispielsweise Personen mit einer blauen Mütze auf dem Kopf - weil sie zum Werk gehören - igno­riert werden.

Geben Sie uns ein paar Beispiele für die ­Zuordnung von Geräuschen?

Gunther Heidemann: Vor allem ist sicherlich die Verbindung von gehenden Personen mit Schrittgeräuschen interessant. Der Überwachende hört dann durch den Stereoton auch, ob die Schritte näher kommen oder sich entfernen - und wohin. Dasselbe geht mit Fahrzeugbewegungen, die mit Motorgeräuschen verbunden werden, Türen und Fenster lassen sich mit Auf- und Zuklappgeräuschen verbinden, ebenso Tore oder Lüftungsschächte. Wichtig ist, dass jedes Objekt, das erkannt werden kann, mit jedem gewünschten Geräusch verknüpfbar ist.

Kann sich das System nicht auch vergucken - und wie genau unterscheidet es die Quellen? Kann es z. B. ein Motorrad von einem Auto unterscheiden? Oder eine Katze von einem schleichenden Dieb?

Gunther Heidemann: Die Sonifikation ist grundsätzlich nur so genau wie das Bilderkennungssystem. Die Leistungsfähigkeit der Bilderkennung ist heute noch recht beschränkt. Uns stellt sich aber eher die Frage nach der Adaptierbarkeit, also: Wie leicht lässt sich ein Bilderkennungssystem an eine konkrete Bedarfslage anpassen, also etwa an die Unterscheidung Auto - Motorrad? Brauche ich dafür einen Fachmann oder braucht der Laie nur ein paar Mausklicks, um das Programm auf die eigenen Bedürfnisse zuzuschneiden? Wir arbeiten deshalb stark an der Schnittstelle Mensch-Maschine. Anders gesagt: Sie werden kein Videosystem finden, das von selbst alles kann und völlig immun ist gegen unvorhergesehene Einflüsse - seien dies hell aufgedrehte Scheinwerfer oder schlechtes Wetter. Je besser aber die Mensch-Maschine-Schnittstelle funktioniert, desto eher kann ich das System darauf abstimmen. Dies basiert auf künstlichen neuronalen Netzen: Führt man eine Korrektur ein, adaptiert das System sich automatisch.

Sie haben gerade erläutert, dass beliebige Audio-Files mit Personen oder Objekten verknüpft werden. Warum kann man nicht einfach Mikrophone aufhängen und die tatsächlichen Geräusche verstärken?

Gunther Heidemann: Das bringt Ihnen nicht die Vorteile, die man mit Sonifikation erreichen kann, bei der Bilddaten in Klänge umgesetzt werden. Mikrophone sind problematisch, weil sie auch Störgeräusche und Echos einfangen. Außerdem liefern Mikrophone nur eine begrenzte Zahl feststehender Punkte im Raum, von denen aus man Geräusche hören kann. Sonifikation erlaubt es dagegen, sich virtuell an beliebige Punkte zu setzen. Die Virtualität ist in diesem Fall besser als die Realität.

Beschreiben Sie uns einmal die Vorteile der Sonifikation anhand einer konkreten Sicherheitsanwendung?

Gunther Heidemann: Nehmen Sie zum Beispiel eine Tiefgarage, die mit Kameras ausgestattet ist, die verschiedene Blickwinkel und -positionen bereitstellen. Versuchen Sie sich nun anhand der gelieferten Bilddaten ein dreidimensionales Bild von der Tiefgarage zu machen, so ist das sehr schwierig und komplex. Mit unserem System können Sie sich an einem frei wählbaren Punkt sozusagen virtuell in den überwachten Raum hineinsetzen, um die Geräusche so zu hören, wie sie an dieser Stelle hörbar wären. Man führt also die komplexen Informationen aus vielen Kameras durch Verklanglichung zusammen. Dadurch kann man sich virtuell in der Tiefgarage bewegen und hört beispielsweise auch, welchen Weg eine Person geht - durch welche Tür, wo sie entlang geht, etc. Man kann sich auf dem virtuellen Beobachtungsposten auch den Aufmerksamkeitsbereich einstellen - sich etwa Luchsohren für riesige Bereiche verschaffen - und sich drehen wohin man will.

Dafür gibt's doch Domekameras und Schwenk-, Neige und Zoom-Technik?

Gunther Heidemann: Das stimmt, aber die Sonifikation ist sehr bequem und entspricht sehr der Art, in der ein Mensch die Umwelt wahrnimmt. Das Gehör ist dafür sehr wichtig. Das Sehen ohne gleichzeitig zu hören ist im Grunde genommen etwas Künstliches - so macht der Mensch das normalerweise nicht. Deshalb soll die Sonifikation aber auch die Kamerabilder nicht ersetzen sondern ergänzen. Sie ist eine zusätzliche Technik, um die Leistungsfähigkeit von Wachleuten zu verbessern. Sonifikation liefert zusätzliche Informationen und höhere Natürlichkeit.

Auch an anderen Universitäten in Deutschland arbeitet man an diesem Thema. Wie sieht hier die Zusammenarbeit aus - auch international?

Gunther Heidemann: Sie haben Recht, auch in Bielefeld ist etwa Dr. Thomas Hermann seit langem mit dem Thema beschäftigt - wenn auch nicht spezialisiert auf die Überwachung. Im Rahmen eines Schwerpunktprogramms der Deutschen Forschungsgemeinschaft arbeiten wir mit Prof. Dr. Daniel Weiskopf von der Universität Stuttgart zusammen. Was den internationalen Rahmen betrifft, gibt es relativ wenige Leute, die sich mit Sonifikation beschäftigen. So gibt es auch nur eine namhafte internationale Konferenz zum Thema, nämlich die International Conference on Auditory Display (ICAD).

Gibt es schon Hersteller, die sich für die ­Technik interessieren?

Gunther Heidemann: Wir haben einen Prototypen bereits konzipiert und streben in der Tat eine Kooperation mit einem Hersteller an, den wir aber noch nicht gefunden haben. Wir suchen einen Partner, mit dem wir ein System entwickeln können, das in der Praxis verwendet werden kann.

Besten Dank für das Gespräch.