GMU:Audio+Video projekte

Dokumentation der im Kurs Audio + Video entstandenen Projekte:

Anja Erdmann: Schatten->Klang

Idee

Die Idee für diese Arbeit entstand aus der Videoaufnahme einer Schattenprojektion
durch Sonnenlicht in meinen eigenen vier Wänden. Aus Licht und Schatten, bzw. ihren
Bewegungen sollen Klänge generiert werden. In diesem Fall auf Grundlage des Videos.
Das patch soll später ausgebaut werden um selbst erzeugte Schattenbilder/-bewegungen
live in eine Klangumgebung zu transformieren und zu verräumlichen.
(z.Bsp für: Installation with paper and fans)

Klanggenerierung

Die verwendeten Bildinformationen werden an einer horizontalen Linie ausgelesen.
Der Grauwert steuert einen Oscillator. Durch das Setzen einer kleinen Rampe mit dem
line~ Objekt entstehen die kurzen impulsartigen Geräusche.
Die Farbwerte bestimmen die Frequenzbereiche des "Granularsynthesizers".
Daraus resultiert das windartige Geräusch.

Umsetzung

Das Bild wird in Grauwerte umgewandelt und invertiert.
Ein "Zwielichtiges Schattenwesen"?

• 
• 
• 
• 

movie

Dominique Wollniok: _VerkehrsMalerei

Verkehrsstraßen sind die Adern einer Stadt. Besonders im Dunklen zeichnen Autos diese nach. Motor-Geräusche überlagern sich und man bekommt den Eindruck von einem rauschenden Meer. Mit meinem Projekt werden die Adern sichtbar und ergeben schließlich ein Netz von Lichtern. Man kann dabei zusehen, wie sich Lichtbahnen überkreuzen.

Das Original-Video wurde in der Dämmerung aufgenommen. In Pure Data wird es durch Objekte in schwarz-weiß gebracht. Die Helligkeit wird heraus gefiltert und gespeichert. So entstehen weiße Linien, die das Licht der Autos im Bild darstellen. Das originale Video liefert die Veränderung im Audiobereich. RGB-Werte beeinflussen die Höhen der Töne aus dem Oszillator Ein weiteres Objekt verändert stetig die zusammengeführten Töne. Im Video unten wurde jedoch ein Audiofile zur Gestaltung der Audioebene verwendet.

Mit dem Patch kann man aber auch Bilder zeichnen. Für eine Live-Installation integriert man eine Kamera oder Webcam in das Patch und dunkelt einen Raum ab. Mit Handlichtern, Laser-Pointern oder sonstigen Lichtquellen kann man nun an eine Wand zeichnen oder, wenn der Raum es erlaubt, einfach in die Luft. Die Zeichen-Linien werden gespeichert:

• 
• 
• 005.jpg

Gegenstände werden angeleuchtet und dann bewegt: eine Kleberolle

• 
• 
• 007.jpg

<videoflash type="youtube">XMKiX48Mm0g|410|260</videoflash>

Audio-File: <flashmp3 id="Verkehrsstromaudio.mp3">Verkehrsstromaudio.mp3</flashmp3>

Florian Erdmenger: Doppelte Zeitreise

Ich möchte einen Patch bauen mit dem es möglich ist mehrere soundfiles(einzelne Wörter) zufällig anzuordnen, sodass sie einen neuen Sinn ergeben. Das ganze passiert nach einem Telefonat in die Vergangeheit( eine 30's Videosequenz mit einer Person am Telefon wäre ganz passend - !für Hinweise wäre ich dankbar). Um die Person(im Video) an das Telefon zu bekommen, ist es nötig eine zufällige bestimmte Schlüsselmelodie("Pastkey") nachzusummen. Ist das ziel ereicht, wird die Person dem Anrufer einen verschleierten Satz verraten , aus dem jeder seine ganz eigene Zukunft deuten kann. Dem Computer wird somit eine Art persönlichkeit/intelligenz verliehen. Zusätzlich möchte ich ein Headset in ein Telefonhörer einbauen den ich futuristisch gestalten werde. Weiterer Ausbau noch in Planung - werde versuchen video noch stärker zu integrieren...

Hallo Florian, eine Filmsequenz von einem Telefonat findest du bestimmt bei Archive.org --max 16:00, 31 March 2010 (UTC)

Johann Niegl: PDGame

Das PDGame ist ein Projekt, das auf spielerische Weise unterschiedliche Reize miteinander verknüpft. Es handelt sich dabei um ein interaktives Programm das auf auditiven Input visuell und auditiv reagiert.

1. Prinzip
   Der Benutzer hat die Möglichkeit die Position eines schwebenden roten Balls mittels Töne (z.B. Pfeifen) zu kontrollieren. Je höher das Pfeifen desto höher schwebt der rote Ball. Von Zeit zu Zeit, mit ansteigender Geschwindigkeit und Frequenz, fliegen bunte Punkte durch das Bild. Es gilt grüne Punkte mit dem roten Ball aufzufangen und gelben Punkten auszuweichen. Die Anzahl der abgefangenen grünen Punkte wird gezählt und die dauer des Spiels wird gemessen. Beide Werte werden am Ende einer Partie (sobald der rote Ball mit einem gelben Punkt kollidiert ist) als Punktestand angezeigt.
2. Konzept
   Das PDGame stellt eine neue Form der Interaktion im spielerischen Kontext vor. Der Benutzer hat die Möglichkeit das Geschehen ohne jegliche motorische Handlung zu kontrollieren. Es werden Sinne und Fertigkeiten angesprochen, die traditionell in Spielen eher unterfordert werden. So z.B. die Fähigkeit Tonhöhen gezielt durch Pfeifen zu erzeugen. Nicht eine gute Auge-Hand-Koordination, wie sie in den meisten Spielen trainiert wird, sondern eine Auge-Mund-Koordination wird benötigt um das Spiel zu meistern. Das PDGame stellt somit eine erfrischende Abwechslung zu traditionellen Programmen dar.
3. Umsetzung
   Pure Data bietet die Möglichkeit auf schnelle und effektive Weise unterschiedlichen Input (visuel, auditiv) im Computer zu verarbeiten und in ein Programm mit einzubeziehen. Das geschieht beim PDGame auf unterschiedlichen Ebenen.

Die zentrale Funktion, bei der äußere Einflüsse eine Rolle spielen, ist die Kontrolle der Flughöhe des roten Balls mittels Pfeifen. Die Tonhöhe des Pfeifens wird durch ein Mikrophon aufgenommen und von dem Programm in den Y-Wert der Koordinaten des Balls umgerechnet. Dies geschieht mit einer gewissen gewollten Trägheit (mit der Hilfe eines sog. line-objekt), damit die Bewegungen des Balls nicht zu hektisch werden und einen "schwebenden" Charakter bekommen.

Eine weitere wichtige Rolle bei der Beeinflussung visueller Eigenschaften durch Klänge spielt die Musik. Diese besteht aus vier Elementen - Schalgzeug, Synthesizerflächen, Keyboards und Gesang. Die vier Elemente können im Programm unabhängig voneinander angesteuert werden. Das bedeutet, dass je nach Spielsituation mehr oder weniger der Elemente zu hören sind. Hauptauslöser hierbei ist die ansteigende Spielgeschwindigkeit. Je weiter die Partie fortgeschritten ist, desto schneller die Spielgeschwindigkeit, detso mehr Elemnte sind in der Musik zu hören.

Jedoch wird nicht nur die Musik vom Spielgeschehen beeinflusst, sondern andersherum beeinflusst auch die Musik selber das Erscheinungsbild von PDGame. Die oben genannten vier Elemente der Musik werden in den Parametern Tonhöhe und Lautstärke analysiert. Diese Daten können dann in Echtzeit dazu weiterverwendet werden andere Spielinhalte zu beeinflussen. So verändert sich z.B. die Helligkeit des Hintergrunds in Abhängigkeit der Tonhöhe der Synthesizerflächen. Oder der vom Benutzer gesteuerte Ball blinkt im Rhythmus des Schalgzeugs.

Auf ähnliche Weise funktionieren weitere Ereignisse im Programm: Signaltöne, beim Abfangen grüner Punkte oder bei einer Kollision mit einem gelben Punkt sowie sowie das Aufleuchten des Hintergrund abgebildeten Mondes bei dem Erhalt eines Bonuspunktes.

Video von PDGame:

<videoflash type="youtube">pfsOi5mMmqI|300|335</videoflash>

(Leider sind hier audio + video nicht ganz synchron. Das liegt an dem Aufzeichnungsprogramm.)

Laura Jozefini

Dieser Patch ist ein kleines Programm, das auf visuellen Input reagiert und diesen in einen abstrakten Bewegungsmelder umwandelt.

1. Prinzip
   Der Nutzter des Patches kann mit Hilfe einer Kamera seine Bewegungen in abgewandelter Form aufzeichnen.Die ursprüngliche Bewegung wird auf der einen Seite original dargestellt, auf der anderen Seite beeinflusst sie das Partikelsystem.
2. Konzept
   Der Patch ist eine ganz einfache und schnelle Form der Interaktion. Es ist ein Bewegungsmelder, der dem Nutzer ein schnelles Ergebnis liefert, ohne das dieser lange warten muss. Man muss nicht lange Grübeln und Nachdenken um ein Ergebnis zu erzielen. Eine zufällige Bewegung vor der Kamera reicht und schon hat man den Sinn des Ganzen verstanden.
3. Umsetzung
   PD machte es möglich visuellen Input auf verschiedenste Art und Weise in das eigene Programm einzubinden und zu verarbeiten.

Die Hauptaufgabe des Patches ist es diesen visuellen Input auf Bewegungen allein zu reduzieren und dann in ein Partikelsystem umzuwandeln. Zuerstwird das von einer Kamera aufgenommene Bild durch die Verwendung von pix_movement, und der damit eingebauten threshold, auf die Darstellung von Bewegungen reduziert.

Die durch die Bewegungen entstehenden Farbwerte werden an das Partikelsystem gesand. Damit jedoch ein deutlicher Zusammenhang zwischen dem Austoß von Partikeln und der dargestellten Bewegung erkenntlich wird, werden nur Partikel gebildet, wenn auch Bewegung vorhanden ist. Das wird durch das Ablesen des alpha-channels ermöglichtund einer weiteren threshold möglich gemacht.

In einer weiteren Ebene des Patches wird eine zeitliche Modifikation des Ausstoßes der Partikel aufgezeichnet. Dort kann man sich praktisch auf abstrakte Weise ansehen, wie oft und wie lange man sich in der letzten Minute etwa vor der Kamera bewegt hat. Diese Ebene entsteht, indem im framebuffer aus einem bestimmten Pixel-Bereich des Partikelsystems ein Bild „genommen“ wird (pix_snap Objekt), da die Informationen der Partikel an sich nämlich nicht wieder in Pixel umgewandelt werden können. Dieses Bild wird dann im pix_rtx Objekt weiterverwendet.

Um zu dem visuellen Input nicht nur ein visuellen Output zu haben, werden Farbwerte aus der Modifikationsebene für einen auditiven Output verwendet. Aus diesen Farbwerten werden die Grauwerte rausgefiltert (pix_data Objekt) und nicht nur auditiv sondern auch visuelle in einem Graph wieder gegeben. Die Tonhöhe des Outputs ist mit einem Regler veränderbar.

• 
• 
• 
• 
• 
• 

Hier noch ein Audio-File: <flashmp3 id="Av_wsprojekt.mp3"> Av_wsprojekt.mp3</flashmp3>
Und ein Video in suuuper Qualität und ohne Ton, wenn man das unbedingt sehen will:
<videoflash type="vimeo">10554162|400|300</videoflash>

Mathieu Rathelot

This semester, I was interested by working on the sound for a 3D TV project with a wave field synthesis system. But after many test, I realized that it would be to difficult for me to learn how work the WFS system and the 3D system in the same time in only six months. So I decided to make a radio drama with the WFS system.

This radio drama length is about 7 minutes. The story take place in a space schuttle. I used pure data to do the spatialization of my sound. On my patch I had three slider for the three axis X,Y and Z wich I can change the position of a sound. I made an automation to change the position of the character during the story.

This is a version of my radio drama without mix. To listen my work you need a WFS system :

<flashmp3 id="WFS-RADIO-DRAMA-MATHIEU-RATHELOT.mp3">WFS-RADIO-DRAMA-MATHIEU-RATHELOT.mp3</flashmp3>

• 
• 

Matthias Breuer

Raummode

Ziel ist es, ein autonomes Gerät zu konstruieren, dass zwischen zwei parallelen Flächen eine stehende Schallwelle erzeugt. Mittels eines Oszillators, dessen Frequenz stetig inkrementiert wird, findet das Gerät die Frequenz mit der maximalen Amplitude, welche schliesslich die stehende Welle ist.

• Stehende Welle — Hifi-Lexikon

Bang-Server

Etwas mehr technisches. Der Bang Server soll eine Möglichkeit sein Puredata bangs mit Timestamp und optionalen Datenpaket dezentral zu verteilen. So kann eine Puredata Instanz ein Bang und Datenpaket an den Server senden, welcher diese dann an alle andern verbunden Client verteilt. Neben der Echtzeit Komponente soll es noch ein API geben mit dem man die letzten n Bangs erhalten kann.

Meredith Barnes: Stop yelling at me

a work-in-progress interactive animation video.

My aim was to create an interactive animation, in which the audience interacts with an animated drawn person on a screen. A person may interact with the animation by making a sound within a specified threshold, specific to the area in which the installation is set up. By making a sound within the threshold, a person will make part of an animated video play. In order to make the entire duration of the video play, the person must make continuous sound. The sound the interacting person makes is then played back to them after a delay.

1. Concept
   The concept for this work is part playful, part pseudo psychological. When the entire installation is realised, the animated person will be saying to the participant ‘stop yelling at me’. The only way to make the entire animation play, and to fully interact with the work, will be to keep making sound or ‘keep yelling’ at the character against its requests. One will then hear back the sound or ‘yelling’ they have created. The installation is designed to test what lengths people will go to in interacting with an artwork. As the viewer hears back the sound they have made after a delay, they are reminded of their own choices. If I were to continue this project, I would also like to have various different animated possibilities, so that if someone kept making noise, the animated person could get angrier and angrier or perhaps sadder and sadder.
   The Pure Data patch is a simple patch using a microphone to detect sound within a threshold, and playing it back out of speakers after a delay. Once the sound is detected it causes the video to play with GEM. The video will continue to play if sound is detected in the previous second, otherwise GEM will receive the stop message.
2. Influences
   Narinda shipowner: Help Yourself - interactive self-help desk, ‘Experimenta Playground’ exhibition, 2007 Carriageworks, Sydney.

Mirror States exhibition 2006, Campbelltown City Arts Centre, Sydney. In particular:

• Alex Davies Dislocation 2005
• John Tonkin Time and Motion Study 2006

Sebastian Wolf: Applaus

Ziel soll ein patch sein, der aus einem in-die-Hände-Klatschen etliche macht, aus dem Applaus einer einzelnen Person den einer Menschenmasse. damit man sich selbst applaudieren kann ;)

Vor allem auf technischer Ebene ist das eine Herausforderung. Gerade aufgrund der relativ komplexen Struktur des patches und der Verarbeitung des Inputs. In erster Linie wird das also ein Weg sein, tiefer in PureData einzutauchen.

Das Ganze geschieht im Wechselspiel zwischen Benutzer und Computer. So reagiert der Rechner auf jeden Beifall den man IHM gibt mit einem größereren und stärkeren Applaus seinerseits. Nun ist der Mensch wieder an der Reihe - die Maschine fordern, ihr etwas zum imitieren geben. Natürlich beschränkt sich das nicht nur auf schnödes Klatschen, auch andere Geräusche werden vom Programm aufgenommen, vervielfacht und verfremdet. Im Laufe der Zeit entstehen auf diese Weise interessante Klänge und abstrakte Geräuschkulissen. Das regt zum Ausprobieren und Herumspielen an. Auch der visuelle Output weckt Interesse – was passiert da, wie reagiert es auf mich?

Video macht leider Probleme! Dafür hier aber der (nicht ganz so aussagekräftige) Ton dazu.

<flashmp3 id="Applaus-audio.mp3">Applaus-audio.mp3</flashmp3>

Die patches zum anschauen.

File:Applaus.zip