GMU:Audio+Video projekte

Liste der im Kurs Audio + Video entstehenden Projekte:

Anja Erdmann: Schatten->Klang

1. Schatten/Licht-Projektionen sollen in Klang “übersetzt” werden
2. zunächst am Beispiel einer Videoaufnahme, dass die Assoziation eines fluiden, oszillierenden “Etwas” wecken könnte ;)

Dominique Wollniok: Verkehrsströme

Nacht. Eine Kreuzung. Auto-Lichter. Ich will diese Lichter übereinander lagern, sodass Lichtlinien entstehen (wie man es bei einer Langzeitbelichtung kennt). Je mehr Auto-Lichter gespeichert werden und sich überlagern, desto lauter soll ein Audio-File werden.

Kleine undefinierbare Bilder, die mit dem Patch entstehen können:

• 
• 
• 
• 005.jpg
• 
• 007.jpg

Audio-File: <flashmp3 id="Verkehrsstromaudio.mp3">Verkehrsstromaudio.mp3</flashmp3>

Florian Erdmenger: Doppelte Zeitreise

Ich möchte einen Patch bauen mit dem es möglich ist mehrere soundfiles(einzelne Wörter) zufällig anzuordnen, sodass sie einen neuen Sinn ergeben. Das ganze passiert nach einem Telefonat in die Vergangeheit( eine 30's Videosequenz mit einer Person am Telefon wäre ganz passend - !für Hinweise wäre ich dankbar). Um die Person(im Video) an das Telefon zu bekommen, ist es nötig eine zufällige bestimmte Schlüsselmelodie("Pastkey") nachzusummen. Ist das ziel ereicht, wird die Person dem Anrufer einen verschleierten Satz verraten , aus dem jeder seine ganz eigene Zukunft deuten kann. Dem Computer wird somit eine Art persönlichkeit/intelligenz verliehen. Zusätzlich möchte ich ein Headset in ein Telefonhörer einbauen den ich futuristisch gestalten werde. Weiterer Ausbau noch in Planung - werde versuchen video noch stärker zu integrieren...

Johann Niegl

PDGame

Das PDGame ist ein Projekt, das auf spielerische Weise unterschiedliche Reize miteinander verknüpft. Es handelt sich dabei um ein interaktives Programm das auf auditiven Input visuell und auditiv reagiert.

1. Prinzip

Der Benutzer hat die Möglichkeit die Position eines schwebenden roten Balls mittels Töne (z.B. Pfeifen) zu kontrollieren. Je höher das Pfeifen desto höher schwebt der rote Ball. Von Zeit zu Zeit, mit ansteigender Geschwindigkeit und Frequenz, fliegen bunte Punkte durch das Bild. Es gilt grüne Punkte mit dem roten Ball aufzufangen und gelben Punkten auszuweichen. Die Anzahl der abgefangenen grünen Punkte wird gezählt und die dauer des Spiels wird gemessen. Beide Werte werden am Ende einer Partie (sobald der rote Ball mit einem gelben Punkt kollidiert ist) als Punktestand angezeigt.

2. Konzept

Das PDGame stellt eine neue Form der Interaktion im spielerischen Kontext vor. Der Benutzer hat die Möglichkeit das Geschehen ohne jegliche motorische Handlung zu kontrollieren. Es werden Sinne und Fertigkeiten angesprochen, die traditionell in Spielen eher unterfordert werden. So z.B. die Fähigkeit Tonhöhen gezielt durch Pfeifen zu erzeugen. Nicht eine gute Auge-Hand-Koordination, wie sie in den meisten Spielen trainiert wird, sondern eine Auge-Mund-Koordination wird benötigt um das Spiel zu meistern. Das PDGame stellt somit eine erfrischende Abwechslung zu traditionellen Programmen dar.

3. Umsetzung

Pure Data bietet die Möglichkeit auf schnelle und effektive Weise unterschiedlichen Input (visuel, auditiv) im Computer zu verarbeiten und in ein Programm mit einzubeziehen. Das geschieht beim PDGame auf unterschiedlichen Ebenen.

Die zentrale Funktion, bei der äußere Einflüsse eine Rolle spielen, ist die Kontrolle der Flughöhe des roten Balls mittels Pfeifen. Die Tonhöhe des Pfeifens wird durch ein Mikrophon aufgenommen und von dem Programm in den Y-Wert der Koordinaten des Balls umgerechnet. Dies geschieht mit einer gewissen gewollten Trägheit (mit der Hilfe eines sog. line-objekt), damit die Bewegungen des Balls nicht zu hektisch werden und einen "schwebenden" Charakter bekommen.

Eine weitere wichtige Rolle bei der Beeinflussung visueller Eigenschaften durch Klänge spielt die Musik. Diese besteht aus vier Elementen - Schalgzeug, Synthesizerflächen, Keyboards und Gesang. Die vier Elemente können im Programm unabhängig voneinander angesteuert werden. Das bedeutet, dass je nach Spielsituation mehr oder weniger der Elemente zu hören sind. Hauptauslöser hierbei ist die ansteigende Spielgeschwindigkeit. Je weiter die Partie fortgeschritten ist, desto schneller die Spielgeschwindigkeit, detso mehr Elemnte sind in der Musik zu hören.

Jedoch wird nicht nur die Musik vom Spielgeschehen beeinflusst, sondern andersherum beeinflusst auch die Musik selber das Erscheinungsbild von PDGame. Die oben genannten vier Elemente der Musik werden in den Parametern Tonhöhe und Lautstärke analysiert. Diese Daten können dann in Echtzeit dazu weiterverwendet werden andere Spielinhalte zu beeinflussen. So verändert sich z.B. die Helligkeit des Hintergrunds in Abhängigkeit der Tonhöhe der Synthesizerflächen. Oder der vom Benutzer gesteuerte Ball blinkt im Rhythmus des Schalgzeugs.

Auf ähnliche Weise funktionieren weitere Ereignisse im Programm: Signaltöne, beim Abfangen grüner Punkte oder bei einer Kollision mit einem gelben Punkt sowie sowie das Aufleuchten des Hintergrund abgebildeten Mondes bei dem Erhalt eines Bonuspunktes.

Video von PDGame:

<videoflash type="youtube">-pfsOi5mMmqI</videoflash>

(Leider sind hier audio + video nicht ganz synchron. Das liegt an dem Aufzeichnungsprogramm.)

Laura Jozefini

wir hatten da doch das eine patch, wo von einer linie bilddaten abgelesen und im array dargestellt werden. könnte man nun nicht noch ein zweites gemwindow machen, das, losgelöst vom ersten, die daten aus dem array abliest und sie z.B. in spehren versch. größe oder farbe umwandelt? ich würde aber eigentlich nicht nur eine linie ablesen wollen, sondern das gesamt bild und es so umwandeln.

Mathieu Rathelot

I would like to make a radio drama with a Wave Field Synthesis system. This kind of system works with a PD patch with wich you can place a sound where you want in the space (XYZ). I need to create an automation in the PD patch for place all the sounds of the radio drama at the right time in a specific place. The listener could be inside the story with this system.

Matthias Breuer

Raummode

Ziel ist es, ein autonomes Gerät zu konstruieren, dass zwischen zwei parallelen Flächen eine stehende Schallwelle erzeugt. Mittels eines Oszillators, dessen Frequenz stetig inkrementiert wird, findet das Gerät die Frequenz mit der maximalen Amplitude, welche schliesslich die stehende Welle ist.

• Stehende Welle — Hifi-Lexikon

Bang-Server

Etwas mehr technisches. Der Bang Server soll eine Möglichkeit sein Puredata bangs mit Timestamp und optionalen Datenpaket dezentral zu verteilen. So kann eine Puredata Instanz ein Bang und Datenpaket an den Server senden, welcher diese dann an alle andern verbunden Client verteilt. Neben der Echtzeit Komponente soll es noch ein API geben mit dem man die letzten n Bangs erhalten kann.

Meredith Barnes

I would like to make a kind-of interactive animation. I think it is easiest if I describe what I imagine to be the final installation: There is a monitor with a blank screen, and through the speakers once can hear various sounds; perhaps of people clapping or yelling. When a noise is made above a certain decibel, a certain amount of a video clip is played. The amount of the clip that is played is directly proportionate to that duration of the sound that was made. If there is no noise above a certain level, then the screen remains blank, but there is audio playing. The audio is a recording of the previous noise that has been created by people interacting with the work. If someone makes a noise above a certain level again, the audio stops and more of the video clip plays. This process is repeated in an infinite loop.

I want to use Pure Data to create this interactive situation. The video clip that I would like to play will be an animation of a person saying ‘stop yelling at me’ over and over. The only way to make the entire animation play is to keep making sounds or ‘yelling’ at the animated person, as they are asking you not to. One can also hear the reactions of the people who have interacted with the work before them, and thus hear to what extent other people have gone against the animated person’s request.

Narinda Reeders: Help yourself This is a really cool interactive self-help desk.

If I were to continue this project, I would also like to have various different animated possibilities, so that if someone kept making noise, the animated person could get angrier and angrier or perhaps sadder and sadder, so that the audience is made to feel guilty by continuing to interact with the work.

other stuff i like:

• http://mic.org.nz/events/exhibitions/twothousandandeight/mirror-states/alex-davies/
• http://mic.org.nz/events/exhibitions/twothousandandeight/mirror-states/john-tonkin/

Sebastian Wolf

Ziel soll ein patch sein, der aus einem in-die-Hände-Klatschen etliche macht, aus dem Applaus einer einzelnen Person den einer Menschenmasse. damit man sich selbst applaudieren kann ;)

Das ganze spielt sich sowohl auf Audio- als auch auf Video-Ebene ab. Beispielvideo/audio folgt!

Tobias Zeller

Ich werde meine Kamera an ein patch anklemmen und mal ein paar Schwenks machen. Bin gespannt wie sich das anhört :-)