Mensch-Maschine-Interaktion (WS 2005/06), LMU-München
Michael Pollner

Sonification zur Repräsentation von Daten

Einleitende Erklärung

Bei dem Forschungsgebiet Sonifikation geht es darum mit Hilfe von auditiven Komponenten Daten darzustellen. Sonifikation steht somit in direkter Verwandtschaft mit anderen Methoden zur Datenrepräsentation wie die Visualisierung. Beim Menschlichen Gehört handelt es sich um ein hoch entwickeltes Organ, welches in sehr kurzer Zeit Informationen aufnehmen kann. Zudem ist das menschliche Gehör empfindlich auf akustische Frequenzschwankungen (Tonhöhe), zeitliche Abstände der Töne und einer weiterenn Vielzahl von Parametern, die in einem gehörten akustischen Ereignis vorkommen können. Daher scheint es nicht verwunderlich, dass sich Wissenschaftler aus verschiedensten Bereichen zusammenfinden um in diesem sehr interdisziplinären Gebiet zu forschen. Primäres Ziel dabei ist es nicht nur für Blinde Personen ein Interface zu entwickeln, das die Bedienung beispielsweise eines Webbrowsers überhaupt erst ermöglicht, sondern auch die bestehenden Kommunikationskanäle und Interfaces entscheidend zu erweitern.

Bisherige Einsatzgebiete

Es existieren viele Beispiele für bereits Erfolgreich eingesetzte akustische Datenrepräsentation, bei denen man jedoch bisher Sonifikation eher intuitiv verstand. Der Geiger Zähler beispielsweise ermöglicht es mit Hilfe von ständig ertönenden knackenden Geräuschen den Zerfall von radioaktiven Elementen zu repräsentieren. Menschen haben sich an diese Geräuschkulisse derart gewöhnt, dass das charakteristische Geräusch des Geigerzählers zum Sinnbild für die Radioakzive Gefahr wurde. Je öfters das Knacken zu hören war, desto gefählicher wurde die Situation eingschätzt. Hätte ein simples Anzeigendisplay, welches lediglich den derzeit gemessenen Strahlungswert in Rad angibt die selbe Wirkung? Angefangen von Flugverkehr über Autobau bis hin zur Medizin finden sich immer wieder Beispiele für Sonifikation.
Ein kleiner Lautsprecher in der Nähe des Lenkrades moderner Autos ist dafür verantworlich dass charakteristische 'Blinker - Klick Klack' Geräusch von älteren Autos zu imitieren. Wir haben uns einfach derart an die Geräuschkulisse eines Relaisschalters, der das Blinkerlicht An und Aus schaltet gewöhnt, dass dessen Abwesenheit durch moderne Chip- Elektronik eine unwirkliche Leere im Straßenverkehr hinterlassen würde.

Derzeitige Forschungsgebite und Stand der Technologie

Die heutigen Forschungsziele im Bereich der Sonifikation beziehen sich jedoch nicht nur auf die Unterstützung von Tätigkeiten durch Soundelemente, sondern durch gezielte Verwendung des zusätzlichen menschlichen Aufnahmekanals Audio. Der Vorteil dieses 'menschlichen Eingabekanals' ist, dass die Aufmerksamkeit des Benutzers nicht, wie beim herkömmlichen Visuellen Kanal, auf einen bestimmten Bereich im Raum, zum Beispiel ein Display, gerichtet werden muss. Somit ermöglicht dieser Eingabekanal zusätzliche Informationen aufzunehmen.
Wie bereits einleitend erwähnt, ist das menschliche Gehör in der Lage Informationen schnell aufzunehmen und Variationen in einem abgespielten Audiosignal leicht zu erkennen. Diese Tatsache wird es in Zukunft ermöglichen ein große Anzahl an Daten schnell auszuwerten ohne dabei den Benutzer in einer Informationsflut zu ersticken. Mehrdimensionale Datenfelder, wie beispielsweise Versuchs- oder Untersuchungsergebnisse in der Medizin und Technik, könnten sich auf diese Weise weit aus effizienter und vor allem schneller auswerten lassen als das studieren von Diagrammen und Analysezeichnungen.
Dieses Anwendungsgebiet der Sonifikation wird als 'Parameter mapping' bezeichnet und stellt vielleicht den derzeit am meist untersuchten Teilbereich der Sonifikation dar. Die in vorherigen Schritten ermittelten Datenreihen werden auf ein akustisches Trägersignal 'gemapped', welches die Dimensionen der Versuchsergebnisse in Tonhöhe, Lautstärke, Modulation und einer Vielzahl anderer Modifikationen beschreibt. Moderne Technologien ermöglichen es zudem sogar die Position des Signals im Raum als zusätzlich genutzte Dimension zu verwerten. Mit etwas Erfahrung lassen sich somit sehr schnell bestimmte Anomalien in Geräuschkulissen auffinden, die mit herkömmlichen Methoden oftmals wesentlich länger verborgen geblieben wären.
Eine große Schwierigkeit bei diesem Ansatz liegt in der Akzeptanz des Benutzers. Es ist sinnlos ein sehr leistungsfähiges Mensch Maschine Interface zu entwickeln, wenn die Benutzung dessen sehr unangenehm für den Benutzer selbst ist. Die Modulation eines akustischen Signals mag technisch ohne größere Schwierigkeiten zu bewerkstelligen sein, die Modulation derart, dass auch stets ein relativ angenehmes Geräusch entsteht, ist es jedoch nicht. In vielen, zu jetziger Zeit noch laufenden, Forschungen werden somit Möglichkeiten Untersucht, wie sich dieser Nachteil korrigieren lässt.
Genau wie bei den 'Auditor Icons' welche den Lernaufwand zur Nutzung im Gegensatz zu den 'Earcons' dadurch drastisch reduzieren, dass sie auf wohl bekannten Geräuschen und Klängen aufbauen und direkt mit der jeweiligen Operation assoziiert werden können, liegt auch beim Parameter Mapping der Ausgangspunkt bei natürlichen Klängen. Auch hier wird versucht auf Basis von, aus der Natur bekannten Geräuschkulissen, eine Grundlage für die Projektion von mehrdimensionalen Daten zu schaffen.
Ähnlich wie in der Natur soll ein physikalisches Grundmodell dazu dienen die akustische Trägerwelle nach natürlichen Gesetzmäßigkeiten zu verändern. Diese 'modelbasierte Sonifikation' wählt in einem ersten Schritt zur Repräsentation eines Datensatzes somit eine mit diesem Datensatz verwandte Geräuschkulisse, wie beispielsweise Windgeräusche zur Darstellung von Turbinenmesswerten. Anschließend werden die ermittelten Messdaten in das erstellte Modell eingegeben, welches physikalische Gesetzmäßigkeiten von Beispielsweise Wind benutzt um eine möglichst realistische und vertraute Audiokulisse aufzubauen. Auf diese Weise sind die jeweiligen Dimensionen wesentlich intuitiver zu erkennen und schneller zu erlernen.
Ein spielerischer Ansatz wurde auf der TED (Technology, Entertainement, Design) Konferenz 2005 von Thomas Dolby Robartson und Tom Wujac vorgestellt. Mit Hilfe eines Datensatzes über Solare Aktivitäten wie Partikelemissionen und magnetische Schwankungen bei Sonneneruptionen, die von einem Satelliten aufgezeichnet wurden, gelang ein beeindruckendes akustisches Werk. Ihr Audioclip über Sonnenwinde , akustische Darstellung der Tsunami Katastrophe Ende 2004 und die Präsentation von Regen die zum Ende hin eher einem Werk eines klassischen Komponisten ähnelt als der Manifestierung von Daten, sollten uns zeigen, dass diese neue Art von Mensch Maschine Interaktion durchaus angenehm zu benutzen ist. Sie kann sogar entspannend wirken.
Bereits bei diesen kurzen Clips sollte jedoch eine Problem der modelbasierte Sonifikation und der Sonifikation allgemein erkennbar werden. Zur genauen zukünftigen Analyse von akustisch Dargestellten Daten sind hochwertige Soundanlagen unabdingbar. Während einfache Aufgabenbereiche sich vielleicht noch mit herkömmlichen PC- Lautsprechern analysieren lassen ist die Analyse von komplexen multidimensionalen Datensätzen angewiesen auf die Erkennung feiner Nuancen im akustischen Signal, welches hochqualitative Ausgabe und Erstellungsmedien voraussetzt. Das Scientific Sonification Projekt setzt bei der Transferierung von Daten in den Akustischen Raum auf DIASS (Digital Instrument for Additive Sound Synthesis), einem anpassungsfähigen und mit in einer Vielzahl von Parametern arbeitenden Kompositionswerkzeug. Dieses System ist jedoch allein aufgrund der geforderten hohen Rechenleistungen für den Gebrauch in kleineren Labors und im Alltag nicht tauglich. Das Bedürfnis nach einfachen und möglichst standardisierten Softwarepaketen wird derzeit somit nicht erfüllt.

Aussichten für die Zukunft

Die Zukunft von Sonifikation sieht sehr vielversprechend aus.
Auch wenn die nächsten Jahre sicherlich noch von der Suche nach Einsatzgebieten, Untersuchungen zur Nützlichkeit und effizienten Kombinationsmöglichkeiten mit anderen Schnittstellen (z.B. visuell) dominiert werden, ist zu erwarten, dass Sonifikation in unser Leben vordingen wird. Als Analysetool in Forschung und Entwicklung und bei der immer weiter vorschreitenden Soft- und Hardwareentwicklung ist in den kommenden Jahren nicht nur mit 'Earcons' sondern viel mehr mit akustisch hoch ausgereiften und speziell konzipierten Schnittstellen zu rechnen.

Verwendete Referenzen

Data Exploration by Sonification: http://www.techfak.uni-bielefeld.de/ags/ni/projects/datamining/datason/datason_e.html
WELCOME TO THE SCIENTIFIC SONIFICATION PROJECT: http://www-unix.mcs.anl.gov/~kaper/Sonification/
Sonification Report: http://www.icad.org/websiteV2.0/References/nsf.html
Interactive Sonification Homepage http://www.interactive-sonification.org/
The Flat Earth Society:http://www.thomasdolby.com/projection/sonification.html
Using sonification: http://ccrma.stanford.edu/courses/120/using_sonification.pdf
Wie klingt das Wetter morgen:http://www.sonification.de/wetter/
The neuroinformatics Group: http://www.techfak.uni-bielefeld.de/ags/ni/