GMU:Signale – digitale Kunst/Dokumentation/Listen How It Looks Like: Difference between revisions
Line 70: | Line 70: | ||
''Listen how it looks like'' - '''it's music!''' | ''Listen how it looks like'' - '''it's music!''' | ||
Bei der Durchführung der verschiedenen Experimente zeigt sich, dass der aus dem Bild erzeugte Klang nicht nur reinen Informationsgehalt sondern vielmehr auch eine gewisse Musikalität in sich trägt. Hier entstand die Idee durch Kombination, Variation und Manipulation der Bilder und somit der Töne ein vollwertiges Musikinstrument zu erschaffen. Der Musiker spielt mit diesem Instrument nicht auf Tasten oder Saiten, sondern | Bei der Durchführung der verschiedenen Experimente zeigt sich, dass der aus dem Bild erzeugte Klang nicht nur reinen Informationsgehalt sondern vielmehr auch eine gewisse Musikalität in sich trägt. Hier entstand die Idee durch Kombination, Variation und Manipulation der Bilder und somit der Töne ein vollwertiges Musikinstrument zu erschaffen. Der Musiker spielt mit diesem Instrument nicht auf Tasten oder Saiten, sondern „auf Bildern“. | ||
Line 77: | Line 77: | ||
| | | | ||
|width="300px"|[[Image:PixListener21.jpg|350px]] | |width="300px"|[[Image:PixListener21.jpg|350px]] | ||
|} | |} | ||
Line 84: | Line 83: | ||
| | | | ||
|width="300px"|<videoflash type=youtube>pg34GlnrGJQ|350|260|</videoflash> | |width="300px"|<videoflash type=youtube>pg34GlnrGJQ|350|260|</videoflash> | ||
|} | |} | ||
Der Musiker hat die Möglichkeit über eine Videokamera Bilder zu suchen und per Tastendruck in einer 3x3 Matrix abzuspeichern. Jedes einzelne Bild der Matrix stellt eine Klangparzelle dar und kann individuell ausgegeben und manipuliert werden. Grundsätzlich lässt sich pro Parzelle zwischen drei verschiedenen Klanggeneratoren wählen: Noisegenerator [noise~], Sinuswellengenerator [osc~] und Sägezahngenerator [phasor~]. So kann ein Klangspektrum von eher perkussiven über flächige bis hin zu melodischen Tönen zusammengesetzt werden. Durch die individuelle Anpassung der Auslesegeschwindigkeit lassen sich sowohl rhythmische als auch arhythmische Pattern aufbauen. Zusätzlich gibt es die Möglichkeit | Der Musiker hat die Möglichkeit über eine Videokamera Bilder zu suchen und per Tastendruck in einer 3x3 Matrix abzuspeichern. Jedes einzelne Bild der Matrix stellt eine Klangparzelle dar und kann individuell ausgegeben und manipuliert werden. Grundsätzlich lässt sich pro Parzelle zwischen drei verschiedenen Klanggeneratoren wählen: Noisegenerator [noise~], Sinuswellengenerator [osc~] und Sägezahngenerator [phasor~]. So kann ein Klangspektrum von eher perkussiven über flächige bis hin zu melodischen Tönen zusammengesetzt werden. Durch die individuelle Anpassung der Auslesegeschwindigkeit lassen sich sowohl rhythmische als auch arhythmische Pattern aufbauen. Zusätzlich gibt es die Möglichkeit zå.B. die Helligkeit, den Kontrast oder die Sättigung der Bilder der Klangparzellen zu verändern. Damit hat der Musiker ein weiteres Bildwerkzeug zur Klanggestaltung. | ||
Sämtliche in Live-Sessions gefundenen und abgespielten Klangparzellen werden in einem Bildarchiv gespeichert und können so jederzeit erneut in eine Performance eingebunden werden. | Sämtliche in Live-Sessions gefundenen und abgespielten Klangparzellen werden in einem Bildarchiv gespeichert und können so jederzeit erneut in eine Performance eingebunden werden. | ||
Eine zweite Videokamera dient als | Eine zweite Videokamera dient als „Soloinstrument“ und kann zusätzlich dazu gemischt werden. Im Unterschied zu den Klangparzellen der Matrix werden hier nicht Standbilder, sondern direkt das Live-Bild der Videokamera ausgelesen. Damit haben Bewegungen der Kamera und der Motive unmittelbaren Einfluss auf die Klangerzeugung. |
Latest revision as of 16:19, 2 August 2011
Ausgangsidee
Listen how it looks like - Am Anfang stand die Idee, ein synästhetisches Erlebnis durch die direkte Umwandlung von visuellen in auditive Reize zu erzeugen. Eine einfache Methode hierbei ist die Manipulation der Headerinformation von digitalen Klängen und Bildern: Jede Datei, ob Bild, Musik oder Video, besteht aus einem Zahlencode. Die Information, ob diese Datei ein Video, ein Bild oder ein Musikstück ist, steht dabei nur in wenigen Zeilen am Anfang des langen Zahlencodes (Header). Mit einem Hexeditor lässt sich der Code einer Datei lesen und verändern. So kann zum Beispiel der Header vertauscht werden und ein Bild enthält plötzlich die Information es sei eine Audiodatei. Mit einem Player (z.B. Quicktime) kann diese manipulierte Datei also als ein Stück Klang abgespielt werden.
Erste Experimente
<videoflash type=youtube>IREJiUiz9bo|240|240|</videoflash> | Zunächst war es wichtig, den oben genannten Prozess zu automatisieren. Dem Rezipient sollte ein intuitiver und experimenteller Umgang mit dem Zusammenhang von Bild und Toninformation ermöglicht werden. Die Idee war es, eine "Audiokamera" zu entwickeln, die auf Knopfdruck das Bild im Sucher in Form eines Audiostückes wiedergibt. In einem Pure Data Patch wird das Bild gespeichert und pixelweise von links unten nach rechts oben ausgelesen ähnlich dem Prinzip der Headermanipulation. Dabei werden die Grauwerte der einzelnen Pixel in hörbare Frequenzen umgewandelt. |
Weiterentwicklung
1. Rückübersetzung
Ein spannendes Moment ist die Rückübersetzung des erzeugten Audiomaterials in ein Bild:
- Ist es möglich das Ausgangsbild aus dem Klang zu gewinnen?
- Wie wirken sich bei der Übertragung verschiede Parameter wie z.B. Umgebungsgeräusche, Raumlicht, etc auf das Ergebnis aus?
- Wie lange lässt sich der Prozess wiederholen, bis das Ausgangsmaterial nicht mehr vorhanden ist?
<videoflash type="youtube">pnkXb166J4U|350|260</videoflash> | ![]() | |
![]() |
![]() |
Der experimentelle Installationsaufbau zeigt zwei sich gegenüberstehende Rechner. Der erste Rechner zeigt ein Bild (hier die SW-Fotografie von B. Stolpmann). Mittels eines Algorithmus in Pure Data wird das Bild ausgelesen und in eine Frequenz übersetzt.
Das so erzeugte Tonsignal wird über Lautsprecher ausgegeben. Der zweite Rechner nimmt dieses Signal über ein Mikrofon auf und wandelt die empfangenen Frequenzen wiederum in Grauwerte. So entsteht ein neuer Abzug des Ursprungsbildes. Dieses Bild wird nun erneut vom ersten Rechner über eine Kamera aufgenommen - usw. Gestört wird die Signalübertragung durch die Übertragung im offenen Raum (Umgebungsgeräusche, Licht etc.). Dadurch verblasst das Bild nach und nach und die Tonmelodie verwandelt sich in einen konstanten Sinuston.
Nach einigen Experimenten mit oben beschriebenem Installationsaufbau an verschiedenen Orten (innen/außen, weiträumig/klein, hell/dunkel) mit geringer Auflösung (50x50 und 100x100 Pixel) und Standbildern wird im folgenden Installationsaufbau die Bildauflösung verbessert und mit Bewegtbild gearbeitet.
<videoflash type="youtube">FLkdKrSegB0|350|260</videoflash> | ![]() |
![]() |
![]() |
![]() |
2. Weitere Experimente
Um die Einwirkungen der Umgebung auf das Ergebnis zu verstärken wird die Installation in einem Raum mit extrem langer Nachhallzeit aufgebaut. Zudem besteht ein größerer Abstand zwischen den einzelnen Komponenten (Mikrofon, Kamera, Lautsprecher, Leinwand) der Installation.
<videoflash type=youtube>FWx64mmHSLc|344|283|</videoflash>
In einem weiteren Aufbau werden drei Rechner in einem Netzwerk miteinander verbunden. An zwei Rechnern ist je eine Kamera und ein Lautsprecher, am dritten Rechner ein Mikrofon angeschlossen. Die beiden unterschiedlichen Kamerabilder werden nach bekanntem Prinzip in Klang gewandelt und über die Lautsprecher wiedergegeben. Der dritte Rechner empfängt die simultan ausgespielten Klänge und wandelt diese wiederum in ein neues Bild um. |
Das Resultat ist eine über den Audioweg gewonnene Mischung der beiden Ausgangsbilder. Die Abbildungen zeigen das Ergebnis der Vermischung zweier Porträts.
Die Installationsaufbauten zeigen wie Audiovisionen im digitalen Zeitalter lediglich auf Zahlen basieren, die sich mühelos in den jeweiligen Zustand übersetzen lassen – also entweder als Bild oder als Ton interpretiert werden können. Zudem stehen die Installationen allegorisch für einen Qualtitäts- und damit einen Informationsverlust bei vielfacher Übertragung und Übersetzung von Daten.
Musikinstrument
Listen how it looks like - it's music!
Bei der Durchführung der verschiedenen Experimente zeigt sich, dass der aus dem Bild erzeugte Klang nicht nur reinen Informationsgehalt sondern vielmehr auch eine gewisse Musikalität in sich trägt. Hier entstand die Idee durch Kombination, Variation und Manipulation der Bilder und somit der Töne ein vollwertiges Musikinstrument zu erschaffen. Der Musiker spielt mit diesem Instrument nicht auf Tasten oder Saiten, sondern „auf Bildern“.
![]() |
![]() |
<videoflash type=youtube>spCzkwVdpTs|350|260|</videoflash> | <videoflash type=youtube>pg34GlnrGJQ|350|260|</videoflash> |
Der Musiker hat die Möglichkeit über eine Videokamera Bilder zu suchen und per Tastendruck in einer 3x3 Matrix abzuspeichern. Jedes einzelne Bild der Matrix stellt eine Klangparzelle dar und kann individuell ausgegeben und manipuliert werden. Grundsätzlich lässt sich pro Parzelle zwischen drei verschiedenen Klanggeneratoren wählen: Noisegenerator [noise~], Sinuswellengenerator [osc~] und Sägezahngenerator [phasor~]. So kann ein Klangspektrum von eher perkussiven über flächige bis hin zu melodischen Tönen zusammengesetzt werden. Durch die individuelle Anpassung der Auslesegeschwindigkeit lassen sich sowohl rhythmische als auch arhythmische Pattern aufbauen. Zusätzlich gibt es die Möglichkeit zå.B. die Helligkeit, den Kontrast oder die Sättigung der Bilder der Klangparzellen zu verändern. Damit hat der Musiker ein weiteres Bildwerkzeug zur Klanggestaltung. Sämtliche in Live-Sessions gefundenen und abgespielten Klangparzellen werden in einem Bildarchiv gespeichert und können so jederzeit erneut in eine Performance eingebunden werden.
Eine zweite Videokamera dient als „Soloinstrument“ und kann zusätzlich dazu gemischt werden. Im Unterschied zu den Klangparzellen der Matrix werden hier nicht Standbilder, sondern direkt das Live-Bild der Videokamera ausgelesen. Damit haben Bewegungen der Kamera und der Motive unmittelbaren Einfluss auf die Klangerzeugung.