GMU:Bits, Beats & Pieces/jca/jca project synesthesia Synästhesie

SYNÄSTHESIE | SYNESTHESIA



Synästhesie

Etwa vier Prozent der Menschen haben eine Form der Synästhesie. Als eine der bekanntesten Formen gilt das Sehen von Farben bei ertönenden Klängen. Anhaltspunkt dieser Arbeit ist das entfernte Nachempfinden einer solchen Wahrnehmung. Zweiten Anhaltspunkt bildet die (pseudo-)wissenschaftliche Darstellung von Frequenzen als Farben. Da Obertöne stets als ganzzahlige Vielfache eines Grundtons entstehen, ist es möglich die bei einer 40fach oktavierten Obertonschwingung des Grundtons (beipsielsweise F mit 349,2 Hz beim Kammerton A mit 440 Hz) eine Frequenz der elektromagnetischen Wellen zu errechnen ( -> 384 THz (~ 780nm)). Dennoch erweist sich die Darstellung als schwierig, da das Wellenlängenspektrum von 380 nm bis 780 nm vom menschlichen Auge zu den Rändern hin abflacht und in sich kein kontinuierliches Farbspektrum bildet. Außerdem, da das Licht monochromatisch ist, existieren keine Magenta-Töne.

Ist die benutzende Person ein Synästhetiker oder einfach neugierig, so kann sie die Töne anspielen lassen, die Farbe einstellen und schauen, ob das Bild dem im Kopf ähnelt. Es lässt sich ermitteln, ob die eigene bildliche Wahrnehmung eher aus den Frequenzen sich errechnet oder insgesamt der Klang mit seinem umfassenden Obertonspektrum die Farbe bildet.

Funktionsweise

Mittels Fourier-Analyse des vom-Mikrofon-aufgenommen Klanges werden die 8 lautesten Frequenzen errechnet, sowie deren Lautstärke ermittelt. Der Pitch wird über verschiedene Wege den Farben "zugemappt". Die Tonhöhe bildet die repräsentative Farbe und die insgesamte Tonhöhe regelt den Anteil von Weiß in der Farbe. Je höher der Ton, desto heller die Farbe.

Patch

File:pd_project_synesthesia.zip

Hier ist die Steuerkonsole zu sehen, welche die 8 lautesten Frequenzen zeigt. Neben des Switches und der Einstellung der Farbskala kann man einstellen, wie schnell die Farben sich ändern sollen, sowie eine Sägezahnwelle bei verschiedenen Frequenzen abspielen, um zu sehen, wie sich bei klaren lauten Klängen die Obertöne arrangieren. In einem separaten Fenster sind 8 Kreise in einem Ring angeordnet. Der Radius und die Farbe wird von Lautstärke und Frequenz gesteuert. Die Rechnungen sind in einem Subpatch versteckt.

Andere Farbskalen (Hue / Scriabin / selbsterstellte Farbskala)

Bei der Sägezahnwelle erklingen alle ganzzahligen Vielfache der Grundschwingung (Obertöne). Hier ist leicht zu sehen, dass 1, 2, 4 und 8 die selbe Farbe haben. Das heißt, dass 2,4,8 die jeweilige Oktave der Grundschwingung sind. Auch sieht man, dass die Quinte als dritter Teilton sich ebenfalls als sechster oktaviert.

Die Kreisfelder

Der Hauptpatch mit seiner Fouriertransformation, GEM, saw wave, Sinuswellen-Stimmung und seinen vielen Abstraktionen

Die Abstraktion "myfrequencycalc" errechnet aus den Frequenzen über Logarithmierung die Töne, welche die Farbe bestimmen. Die Hue- und Saturation- Werte werden weitergeleitet, die anderen Werte gemappt und dann als RGB verschickt.

Die Abstraktion "myhsv2rgb" rechnet die frequenzgesteuerten Hue- / Saturation- / Value-Werte in RGB-Werte um, welche die Farbe bestimmen für die Kreise. Auf der anderen Seite müssen sie weitergerechnet werden, um PD-Color-Werte zu bekommen, die die Farbe der Farbfelder ändern.

Die Abstraktion "myhsv2rgb_extra" funktioniert wie die vorherige, ist aber zuständig für die Farbfelder der Klaviatur.

Der Subpatch "smoothening" ist über das line-Objekt zuständig für die Auslöschung von sehr schnell schwankenden Werten und somit Reduzierung eines extremen Flackerns durch das Rauschen.

Ergebnisse

In den meisten Fällen wird bei der Synästhesie nicht klar die Tonhöhe mit einer Farbe wahrgenommen, wenn..., dann höchstwahrscheinlich nur der Grundton. Vielmehr ausschlaggebend sind insgesamter Klang. Höchstwahrscheinlich wird Scriabin mit seiner niedergeschriebenen Farbklaviatur die Töne in anderen Oktaven farblich anders wahrgenommen haben, sowie Töne bei anderen Instrumenten. Kandinskys Farbe-Klang-Analogien sprechen sehr grob von Klängen und deren Tonhöhen, beispielsweise vergleicht er den scharfen Klang einer Trompete mit einem hellem Gelb, das Horn habe einen lila Klang, das absolute Grün den ruhigen mitteltiefen Klang einer Geige oder Fanfaren den Klang von warmem Rot.

Wie bereits erwähnt:

Ist die benutzende Person ein Synästhet oder einfach neugierig, so kann sie die Töne anspielen lassen, die Farbe einstellen und schauen, ob das Bild dem im Kopf ähnelt. Es lässt sich ermitteln ob die eigene bildliche Wahrnehmung eher aus den Frequenzen sich errechnet oder insgesamt der Klang mit seinem umfassenden Obertonspektrum die Farbe bildet oder aber auch ob überhaupt keine Synästhesie vorherrscht.

Es ist möglich mit dem Singen in das Mikrofon mögliche Formanten oder durch anatomische-Bedingungen-veränderte Obertöne in der Stimme zu finden, umso ein Bild zu ermitteln, das die Besonderheit des Klanges der eigenen Stimme darstellt.

Vorm Ändern im "smoothening" zum line-Objekt, habe ich das mean-Objekt (Cyclone) verwendet, welches aus allen Werten eine Liste erstellt und daraus einen Mittelwert errechnet. Dies hat zur Folge, dass ein wirkliches Mittel gebildet wird. Lässt man dieses so laufen, so werden analog zu Alvin Luciers "I Am Sitting In a Room" langsam die vorherrschendsten Frequenzen, welche sich aus den Resonanzen des Raumes und des Mikrofons ableiten lassen, farblich ersichtlich.

Probleme

Es kommt durch einen GEM-Fehler ständig zu einer "GL: invalid_value"-Meldung.

Das color-Objekt hat Probleme die korrekten RGB-Werte dem Kreis zuzuordnen.