GMU:Audio+Video/projekte

Dokumentation der im Kurs Audio + Video entstandenen Projekte:

Anja Erdmann: Schatten->Klang

Idee

Die Idee für diese Arbeit entstand aus der Videoaufnahme einer Schattenprojektion durch Sonnenlicht in meinen eigenen vier Wänden. Aus Licht und Schatten, bzw. ihren Bewegungen sollen Klänge generiert werden. In diesem Fall auf Grundlage des Videos. Der Patch soll später ausgebaut werden um selbst erzeugte Schattenbilder/-bewegungen live in eine Klangumgebung zu transformieren und zu verräumlichen.

Klanggenerierung

Die verwendeten Bildinformationen werden an einer horizontalen Linie ausgelesen. Der Grauwert steuert einen Oscillator. Durch das Setzen einer kleinen Rampe mit dem line~ Objekt entstehen die kurzen impulsartigen Geräusche. Die Farbwerte bestimmen die Frequenzbereiche des „Granularsynthesizers“. Daraus resultiert das windartige Geräusch.

Umsetzung

Das Bild wird in Grauwerte umgewandelt und invertiert. „Zwielichtiges Schattenwesen“

• 
• 
• 
• 

• movie
• audio

Cédric Richard: MusicPainter

the patch

A player patch, using multitracked musics to create a numeric animated painting.

Project documentation

Dominique Wollniok: VerkehrsMalerei

Verkehrsstraßen sind die Adern einer Stadt. Besonders im Dunklen zeichnen Autos diese nach. Motor-Geräusche überlagern sich und man bekommt den Eindruck von einem rauschenden Meer. Mit meinem Projekt werden die Adern sichtbar und ergeben schließlich ein Netz von Lichtern. Man kann dabei zusehen, wie sich Lichtbahnen überkreuzen.

Projektdokumentation

Florian Erdmenger: Link to the Past

Ich möchte einen Patch bauen mit dem es möglich ist mehrere soundfiles(einzelne Wörter) zufällig anzuordnen, sodass sie einen neuen Sinn ergeben. Das ganze passiert nach einem Telefonat in die Vergangeheit( eine 30's Videosequenz mit einer Person am Telefon wäre ganz passend - !für Hinweise wäre ich dankbar). Um die Person(im Video) an das Telefon zu bekommen, ist es nötig eine zufällige bestimmte Schlüsselmelodie("Pastkey") nachzusummen. Ist das ziel ereicht, wird die Person dem Anrufer einen verschleierten Satz verraten , aus dem jeder seine ganz eigene Zukunft deuten kann. Dem Computer wird somit eine Art persönlichkeit/intelligenz verliehen. Zusätzlich möchte ich ein Headset in ein Telefonhörer einbauen den ich futuristisch gestalten werde. Weiterer Ausbau noch in Planung - werde versuchen video noch stärker zu integrieren...

Hallo Florian, eine Filmsequenz von einem Telefonat findest du bestimmt bei Archive.org --max 16:00, 31 March 2010 (UTC)

Johann Niegl: PDGame

Das PDGame ist ein Projekt, das auf spielerische Weise unterschiedliche Reize miteinander verknüpft. Es handelt sich dabei um ein interaktives Programm das auf auditiven Input visuell und auditiv reagiert.

1. Prinzip
   Der Benutzer hat die Möglichkeit die Position eines schwebenden roten Balls mittels Töne (z.B. Pfeifen) zu kontrollieren. Je höher das Pfeifen desto höher schwebt der rote Ball. Von Zeit zu Zeit, mit ansteigender Geschwindigkeit und Frequenz, fliegen bunte Punkte durch das Bild. Es gilt grüne Punkte mit dem roten Ball aufzufangen und gelben Punkten auszuweichen. Die Anzahl der abgefangenen grünen Punkte wird gezählt und die dauer des Spiels wird gemessen. Beide Werte werden am Ende einer Partie (sobald der rote Ball mit einem gelben Punkt kollidiert ist) als Punktestand angezeigt.
2. Konzept
   Das PDGame stellt eine neue Form der Interaktion im spielerischen Kontext vor. Der Benutzer hat die Möglichkeit das Geschehen ohne jegliche motorische Handlung zu kontrollieren. Es werden Sinne und Fertigkeiten angesprochen, die traditionell in Spielen eher unterfordert werden. So z.B. die Fähigkeit Tonhöhen gezielt durch Pfeifen zu erzeugen. Nicht eine gute Auge-Hand-Koordination, wie sie in den meisten Spielen trainiert wird, sondern eine Auge-Mund-Koordination wird benötigt um das Spiel zu meistern. Das PDGame stellt somit eine erfrischende Abwechslung zu traditionellen Programmen dar.
3. Umsetzung
   Pure Data bietet die Möglichkeit auf schnelle und effektive Weise unterschiedlichen Input (visuel, auditiv) im Computer zu verarbeiten und in ein Programm mit einzubeziehen. Das geschieht beim PDGame auf unterschiedlichen Ebenen.

Die zentrale Funktion, bei der äußere Einflüsse eine Rolle spielen, ist die Kontrolle der Flughöhe des roten Balls mittels Pfeifen. Die Tonhöhe des Pfeifens wird durch ein Mikrophon aufgenommen und von dem Programm in den Y-Wert der Koordinaten des Balls umgerechnet.

Eine weitere wichtige Rolle spielt die Musik. Diese besteht aus vier Elementen - Schalgzeug, Synthesizerflächen, Keyboards und Gesang. Die vier Elemente können im Programm unabhängig voneinander angesteuert werden. Das bedeutet, dass je nach Spielsituation mehr oder weniger der Elemente zu hören sind. Jedoch wird nicht nur die Musik vom Spielgeschehen beeinflusst, sondern andersherum beeinflusst auch die Musik selber das Erscheinungsbild von PDGame. Die oben genannten vier Elemente der Musik werden in den Parametern Tonhöhe und Lautstärke analysiert. Diese Daten können dann in Echtzeit weiterverwendet werden z.B. um die Helligkeit des Hintergrunds in Abhängigkeit der Tonhöhe der Synthesizerflächen zu verändern.

Video von PDGame:

<videoflash type="youtube">pfsOi5mMmqI|300|335</videoflash>

(Leider sind hier audio + video nicht ganz synchron. Das liegt an dem Aufzeichnungsprogramm.)

Laura Jozefini

Dieser Patch ist ein kleines Programm, das auf visuellen Input reagiert und diesen in einen abstrakten Bewegungsmelder umwandelt.

1. Prinzip
   Der Nutzter des Patches kann mit Hilfe einer Kamera seine Bewegungen in abgewandelter Form aufzeichnen.
2. Konzept
   Der Patch ist eine ganz einfache und schnelle Form der Interaktion. Es ist ein Bewegungsmelder, der dem Nutzer ein schnelles Ergebnis liefert, ohne das dieser lange warten muss. Man muss nicht lange Grübeln und Nachdenken um ein Ergebnis zu erzielen. Eine zufällige Bewegung vor der Kamera reicht und schon hat man den Sinn des Ganzen verstanden.
3. Umsetzung
   PD machte es möglich visuellen Input auf verschiedenste Art und Weise in das eigene Programm einzubinden und zu verarbeiten.

Die Hauptaufgabe des Patches ist es diesen visuellen Input auf Bewegungen allein zu reduzieren und dann in ein Partikelsystem umzuwandeln. Zuerst wird das von einer Kamera aufgenommene Bild durch die Verwendung von pix_movement, und der damit eingebauten threshold, auf die Darstellung von Bewegungen reduziert.

Die durch die Bewegungen entstehenden Farbwerte werden an das Partikelsystem gesand. Damit jedoch ein deutlicher Zusammenhang zwischen dem Austoß von Partikeln und der dargestellten Bewegung erkenntlich wird, werden nur Partikel gebildet, wenn auch Bewegung vorhanden ist.

In einer weiteren Ebene des Patches wird eine zeitliche Modifikation des Ausstoßes der Partikel aufgezeichnet. Diese Ebene entsteht, indem im framebuffer aus einem bestimmten Pixel-Bereich des Partikelsystems ein Bild „genommen“ wird (pix_snap Objekt). Dieses Bild wird dann im pix_rtx Objekt weiterverwendet.

Die Modifikationsebene wird dann auch für den auditiven Output verwendet. Aus den Farbwerten werden die Grauwerte rausgefiltert und nicht nur auditiv sondern auch visuelle in einem Graph wieder gegeben.

File:LJ AV.zip

• 
• 
• 
• 

Noch ein Audio-File: <flashmp3 id="Av_wsprojekt.mp3"> Av_wsprojekt.mp3</flashmp3>
Und ein Video:
<videoflash type="vimeo">10808794|400|300</videoflash>

Mathieu Rathelot

This semester, I was interested by working on the sound for a 3D TV project with a wave field synthesis system. But after many test, I realized that it would be to difficult for me to learn how work the WFS system and the 3D system in the same time in only six months. So I decided to make a radio drama with the WFS system.

This radio drama length is about 7 minutes. The story take place in a space schuttle. I used pure data to do the spatialization of my sound. On my patch I had three slider for the three axis X,Y and Z wich I can change the position of a sound. I made an automation to change the position of the character during the story.

This is a version of my radio drama without mix. To listen my work you need a WFS system :

<flashmp3 id="WFS-RADIO-DRAMA-MATHIEU-RATHELOT.mp3">WFS-RADIO-DRAMA-MATHIEU-RATHELOT.mp3</flashmp3>

• 
• 

Matthias Breuer

Raummode

Ziel ist es, ein autonomes Gerät zu konstruieren, dass zwischen zwei parallelen Flächen eine stehende Schallwelle erzeugt. Mittels eines Oszillators, dessen Frequenz stetig inkrementiert wird, findet das Gerät die Frequenz mit der maximalen Amplitude, welche schliesslich die stehende Welle ist.

• Stehende Welle — Hifi-Lexikon

Bang-Server

Etwas mehr technisches. Der Bang Server soll eine Möglichkeit sein Puredata bangs mit Timestamp und optionalen Datenpaket dezentral zu verteilen. So kann eine Puredata Instanz ein Bang und Datenpaket an den Server senden, welcher diese dann an alle andern verbunden Client verteilt. Neben der Echtzeit Komponente soll es noch ein API geben mit dem man die letzten n Bangs erhalten kann.

Meredith Barnes: Stop yelling at me

a work-in-progress interactive animation video.

My aim was to create an interactive animation, in which the audience interacts with an animated drawn person on a screen. A person may interact with the animation by making a sound within a specified threshold, specific to the area in which the installation is set up. By making a sound within the threshold, a person will make part of an animated video play. In order to make the entire duration of the video play, the person must make continuous sound. The sound the interacting person makes is then played back to them after a delay.

1. Concept
   The concept for this work is part playful, part pseudo psychological. When the entire installation is realised, the animated person will be saying to the participant ‘stop yelling at me’. The only way to make the entire animation play, and to fully interact with the work, will be to keep making sound or ‘keep yelling’ at the character against its requests. One will then hear back the sound or ‘yelling’ they have created. The installation is designed to test what lengths people will go to in interacting with an artwork. As the viewer hears back the sound they have made after a delay, they are reminded of their own choices. If I were to continue this project, I would also like to have various different animated possibilities, so that if someone kept making noise, the animated person could get angrier and angrier or perhaps sadder and sadder.
   The Pure Data patch is a simple patch using a microphone to detect sound within a threshold, and playing it back out of speakers after a delay. Once the sound is detected it causes the video to play with GEM. The video will continue to play if sound is detected in the previous second, otherwise GEM will receive the stop message.
2. Influences
   Narinda shipowner: Help Yourself - interactive self-help desk, ‘Experimenta Playground’ exhibition, 2007 Carriageworks, Sydney.

Mirror States exhibition 2006, Campbelltown City Arts Centre, Sydney. In particular:

• Alex Davies Dislocation 2005
• John Tonkin Time and Motion Study 2006

Sebastian Wolf: Applaus

Ziel soll ein patch sein, der aus einem in-die-Hände-Klatschen etliche macht, aus dem Applaus einer einzelnen Person den einer Menschenmasse. damit man sich selbst applaudieren kann ;)

Vor allem auf technischer Ebene ist das eine Herausforderung. Gerade aufgrund der relativ komplexen Struktur des patches und der Verarbeitung des Inputs. In erster Linie wird das also ein Weg sein, tiefer in PureData einzutauchen.

Das Ganze geschieht im Wechselspiel zwischen Benutzer und Computer. So reagiert der Rechner auf jeden Beifall den man IHM gibt mit einem größereren und stärkeren Applaus seinerseits. Nun ist der Mensch wieder an der Reihe - die Maschine fordern, ihr etwas zum imitieren geben. Natürlich beschränkt sich das nicht nur auf schnödes Klatschen, auch andere Geräusche werden vom Programm aufgenommen, vervielfacht und verfremdet. Im Laufe der Zeit entstehen auf diese Weise interessante Klänge und abstrakte Geräuschkulissen. Das regt zum Ausprobieren und Herumspielen an. Auch der visuelle Output weckt Interesse – was passiert da, wie reagiert es auf mich?

Video macht leider Probleme! Dafür hier aber der (nicht ganz so aussagekräftige) Ton dazu.

<flashmp3 id="Applaus-audio.mp3">Applaus-audio.mp3</flashmp3>

• Und die patches zum anschauen: File:Applaus.zip