GMU:Audio+Video projekte: Difference between revisions

From Medien Wiki
Line 68: Line 68:
==[[Laura Jozefini]]==
==[[Laura Jozefini]]==


wir hatten da doch das eine patch, wo von einer linie bilddaten abgelesen und im array dargestellt werden. könnte man nun nicht noch ein zweites gemwindow machen, das, losgelöst vom ersten, die daten aus dem array abliest und sie z.B. in spehren versch. größe oder farbe umwandelt? ich würde aber eigentlich nicht nur eine linie ablesen wollen, sondern das gesamt bild und es so umwandeln.
Dieses Patch ist ein kleines Programm, das auf visuellen Input reagiert und diesen in einen abstrakten Bewegungsmelder umwandelt.
 
Prinzip
Der Nutzter des Patches kann mit Hilfe einer Kamera seine Bewegungen in abgewandelter Form aufzeichnen. Je länger und je mehr sich der Nutzer vor der Kamera bewegt, desto stetiger ist der Ausstoß von Partikeln. Die ursprüngliche Bewegung wird auf der einen Seite original dargestellt, auf der anderen Seite beeinflusst sie das Partikelsystem. Zudem wird der Ausstoß der Partikel aufgezeichnet und der Nutzr kann sich anschauen, wie viel er sich in der letzten Minute etwa bewegt hat.
 
Konzept
 
Das Patch ist eine ganz einfache und schnelle Form der Interaktion. Es ist ein Bewegungsmelder, der dem Nutzer ein schnelles Ergebnis liefert, ohne das dieser lange warten muss. Man muss nicht lange Grübeln und Nachdenken um ein Ergebnis zu erzielen. Eine zufällige Bewegung vor der Kamera reicht und schon hat man den Sinn des Ganzen verstanden. Wenn man mehr hübsche, farbige Partikel sehen möchte, muss man sich halt bewegen. Das Patch ist so eine ganz einfache und simple Methode der Unterhaltung.
 
Umsetzung
 
PD machte es möglich visuellen Input auf verschiedenste Art und Weise in das eigene Programm einzubinden und zu verarbeiten.
 
Die Hauptaufgabe des Patches ist es diesen visuellen Input auf Bewegungen allein zu reduzieren und dann in ein Partikelsystem umzuwandeln. Zuerst wird von der angeschlossenen Kamera ein komplettes Bild aufgenommen. Dieses wird dann durch die Verwendung von pix_movement, und der damit eingebauten threshold, auf die Darstellung von Bewegungen reduziert.
 
Die durch die Bewegungen entstehenden Farbwerte werden an das Partikelsystem gesand und bilden durch Mischung sich ändernde Farben der Partikelspheren. Damit jedoch ein deutlicher Zusammenhang zwischen dem Austoß von Partikeln und der dargestellten Bewegung erkenntlich wird, werden nur Partikel gebildet, wenn auch Bewegung vorhanden ist. Das wird durch das Ablesen des alpha-channels ermöglicht. Durch das Einbauen einer neuen threshold, die vom alpha-channel abhängig ist, kann eine true or false message an das Partikelsystem gesand werden und dort die Bildung der Partikel (am part_source Objekt) regulieren. Damit der Austoß und das Verschwinden der Partikel nicht zu schnell von statten geht und man auch was zum anschauen hat, wird die Geschwindigkeit der Partikel herabgesetzt (part_damp Objekt).
 
In einer weiteren Ebene des Patches wird eine zeitliche Modifikation des Ausstoßes der Partikel aufgezeichnet. Dort kann man sich praktisch auf abstrakte Weise ansehen, wie oft und wie lange man sich in der letzten Minute etwa vor der Kamera bewegt hat. Diese Ebene entsteht, indem im framebuffer aus einem bestimmten Pixel-Bereich des Partikelsystems ein Bild „genommen“ wird (pix_snap Objekt), da die Informationen der Partikel an sich nämlich nicht wieder in Pixel umgewandelt werden können. Dieses Bild wird dann im pix_rtx Objekt weiterverwendet. Das Endergebnis dieser Ebene ist eine Darstellung, in der die x-Achse mit der Zeit-Achse vertauscht ist. Man hat also eine sich immer wieder erneuernde Darstellung seiner eigenen Bewegung (in Partikeln) in der letzten Minute.
 
Um zu dem visuellen Input nicht nur ein visuellen Output zu haben, werden Farbwerte aus der Modifikationsebene für einen auditiven Output verwendet. Die Farbwerte werden auf einer dünnen Linie in der zeitlichen Darstellung abgelesen und man erhält nur Klänge, wenn in der Modifikation Partikel vorhanden sind. Man muss sich also bewegt haben. Aus diesen Farbwerten werden die Grauwerte rausgefiltert (pix_data Objekt) und nicht nur auditiv sondern auch visuelle in einem Graph wieder gegeben. Die Tonhöhe des Outputs ist mit einem Regler veränderbar.


==[[Mathieu Rathelot]]==
==[[Mathieu Rathelot]]==

Revision as of 13:19, 30 March 2010

Liste der im Kurs Audio + Video entstehenden Projekte:

Anja Erdmann: Schatten->Klang

  1. Schatten/Licht-Projektionen sollen in Klang “übersetzt” werden
  2. zunächst am Beispiel einer Videoaufnahme, dass die Assoziation eines fluiden, oszillierenden “Etwas” wecken könnte ;)

Cédric Richard

Dominique Wollniok: Verkehrsströme

Nacht. Eine Kreuzung. Auto-Lichter. Ich will diese Lichter übereinander lagern, sodass Lichtlinien entstehen (wie man es bei einer Langzeitbelichtung kennt). Je mehr Auto-Lichter gespeichert werden und sich überlagern, desto lauter soll ein Audio-File werden.

Kleine undefinierbare Bilder, die mit dem Patch entstehen können:

Audio-File: <flashmp3 id="Verkehrsstromaudio.mp3">Verkehrsstromaudio.mp3</flashmp3>

Florian Erdmenger: Doppelte Zeitreise

Ich möchte einen Patch bauen mit dem es möglich ist mehrere soundfiles(einzelne Wörter) zufällig anzuordnen, sodass sie einen neuen Sinn ergeben. Das ganze passiert nach einem Telefonat in die Vergangeheit( eine 30's Videosequenz mit einer Person am Telefon wäre ganz passend - !für Hinweise wäre ich dankbar). Um die Person(im Video) an das Telefon zu bekommen, ist es nötig eine zufällige bestimmte Schlüsselmelodie("Pastkey") nachzusummen. Ist das ziel ereicht, wird die Person dem Anrufer einen verschleierten Satz verraten , aus dem jeder seine ganz eigene Zukunft deuten kann. Dem Computer wird somit eine Art persönlichkeit/intelligenz verliehen. Zusätzlich möchte ich ein Headset in ein Telefonhörer einbauen den ich futuristisch gestalten werde. Weiterer Ausbau noch in Planung - werde versuchen video noch stärker zu integrieren...

Johann Niegl

PDGame


Das PDGame ist ein Projekt, das auf spielerische Weise unterschiedliche Reize miteinander verknüpft. Es handelt sich dabei um ein interaktives Programm das auf auditiven Input visuell und auditiv reagiert.


1. Prinzip

Der Benutzer hat die Möglichkeit die Position eines schwebenden roten Balls mittels Töne (z.B. Pfeifen) zu kontrollieren. Je höher das Pfeifen desto höher schwebt der rote Ball. Von Zeit zu Zeit, mit ansteigender Geschwindigkeit und Frequenz, fliegen bunte Punkte durch das Bild. Es gilt grüne Punkte mit dem roten Ball aufzufangen und gelben Punkten auszuweichen. Die Anzahl der abgefangenen grünen Punkte wird gezählt und die dauer des Spiels wird gemessen. Beide Werte werden am Ende einer Partie (sobald der rote Ball mit einem gelben Punkt kollidiert ist) als Punktestand angezeigt.


2. Konzept

Das PDGame stellt eine neue Form der Interaktion im spielerischen Kontext vor. Der Benutzer hat die Möglichkeit das Geschehen ohne jegliche motorische Handlung zu kontrollieren. Es werden Sinne und Fertigkeiten angesprochen, die traditionell in Spielen eher unterfordert werden. So z.B. die Fähigkeit Tonhöhen gezielt durch Pfeifen zu erzeugen. Nicht eine gute Auge-Hand-Koordination, wie sie in den meisten Spielen trainiert wird, sondern eine Auge-Mund-Koordination wird benötigt um das Spiel zu meistern. Das PDGame stellt somit eine erfrischende Abwechslung zu traditionellen Programmen dar.


3. Umsetzung

Pure Data bietet die Möglichkeit auf schnelle und effektive Weise unterschiedlichen Input (visuel, auditiv) im Computer zu verarbeiten und in ein Programm mit einzubeziehen. Das geschieht beim PDGame auf unterschiedlichen Ebenen.

Die zentrale Funktion, bei der äußere Einflüsse eine Rolle spielen, ist die Kontrolle der Flughöhe des roten Balls mittels Pfeifen. Die Tonhöhe des Pfeifens wird durch ein Mikrophon aufgenommen und von dem Programm in den Y-Wert der Koordinaten des Balls umgerechnet. Dies geschieht mit einer gewissen gewollten Trägheit (mit der Hilfe eines sog. line-objekt), damit die Bewegungen des Balls nicht zu hektisch werden und einen "schwebenden" Charakter bekommen.

Eine weitere wichtige Rolle bei der Beeinflussung visueller Eigenschaften durch Klänge spielt die Musik. Diese besteht aus vier Elementen - Schalgzeug, Synthesizerflächen, Keyboards und Gesang. Die vier Elemente können im Programm unabhängig voneinander angesteuert werden. Das bedeutet, dass je nach Spielsituation mehr oder weniger der Elemente zu hören sind. Hauptauslöser hierbei ist die ansteigende Spielgeschwindigkeit. Je weiter die Partie fortgeschritten ist, desto schneller die Spielgeschwindigkeit, detso mehr Elemnte sind in der Musik zu hören.

Jedoch wird nicht nur die Musik vom Spielgeschehen beeinflusst, sondern andersherum beeinflusst auch die Musik selber das Erscheinungsbild von PDGame. Die oben genannten vier Elemente der Musik werden in den Parametern Tonhöhe und Lautstärke analysiert. Diese Daten können dann in Echtzeit dazu weiterverwendet werden andere Spielinhalte zu beeinflussen. So verändert sich z.B. die Helligkeit des Hintergrunds in Abhängigkeit der Tonhöhe der Synthesizerflächen. Oder der vom Benutzer gesteuerte Ball blinkt im Rhythmus des Schalgzeugs.

Auf ähnliche Weise funktionieren weitere Ereignisse im Programm: Signaltöne, beim Abfangen grüner Punkte oder bei einer Kollision mit einem gelben Punkt sowie sowie das Aufleuchten des Hintergrund abgebildeten Mondes bei dem Erhalt eines Bonuspunktes.

Video von PDGame:

<videoflash type="youtube">pfsOi5mMmqI</videoflash>

(Leider sind hier audio + video nicht ganz synchron. Das liegt an dem Aufzeichnungsprogramm.)

Laura Jozefini

Dieses Patch ist ein kleines Programm, das auf visuellen Input reagiert und diesen in einen abstrakten Bewegungsmelder umwandelt.

Prinzip

Der Nutzter des Patches kann mit Hilfe einer Kamera seine Bewegungen in abgewandelter Form aufzeichnen. Je länger und je mehr sich der Nutzer vor der Kamera bewegt, desto stetiger ist der Ausstoß von Partikeln. Die ursprüngliche Bewegung wird auf der einen Seite original dargestellt, auf der anderen Seite beeinflusst sie das Partikelsystem. Zudem wird der Ausstoß der Partikel aufgezeichnet und der Nutzr kann sich anschauen, wie viel er sich in der letzten Minute etwa bewegt hat.

Konzept

Das Patch ist eine ganz einfache und schnelle Form der Interaktion. Es ist ein Bewegungsmelder, der dem Nutzer ein schnelles Ergebnis liefert, ohne das dieser lange warten muss. Man muss nicht lange Grübeln und Nachdenken um ein Ergebnis zu erzielen. Eine zufällige Bewegung vor der Kamera reicht und schon hat man den Sinn des Ganzen verstanden. Wenn man mehr hübsche, farbige Partikel sehen möchte, muss man sich halt bewegen. Das Patch ist so eine ganz einfache und simple Methode der Unterhaltung.

Umsetzung

PD machte es möglich visuellen Input auf verschiedenste Art und Weise in das eigene Programm einzubinden und zu verarbeiten.

Die Hauptaufgabe des Patches ist es diesen visuellen Input auf Bewegungen allein zu reduzieren und dann in ein Partikelsystem umzuwandeln. Zuerst wird von der angeschlossenen Kamera ein komplettes Bild aufgenommen. Dieses wird dann durch die Verwendung von pix_movement, und der damit eingebauten threshold, auf die Darstellung von Bewegungen reduziert.

Die durch die Bewegungen entstehenden Farbwerte werden an das Partikelsystem gesand und bilden durch Mischung sich ändernde Farben der Partikelspheren. Damit jedoch ein deutlicher Zusammenhang zwischen dem Austoß von Partikeln und der dargestellten Bewegung erkenntlich wird, werden nur Partikel gebildet, wenn auch Bewegung vorhanden ist. Das wird durch das Ablesen des alpha-channels ermöglicht. Durch das Einbauen einer neuen threshold, die vom alpha-channel abhängig ist, kann eine true or false message an das Partikelsystem gesand werden und dort die Bildung der Partikel (am part_source Objekt) regulieren. Damit der Austoß und das Verschwinden der Partikel nicht zu schnell von statten geht und man auch was zum anschauen hat, wird die Geschwindigkeit der Partikel herabgesetzt (part_damp Objekt).

In einer weiteren Ebene des Patches wird eine zeitliche Modifikation des Ausstoßes der Partikel aufgezeichnet. Dort kann man sich praktisch auf abstrakte Weise ansehen, wie oft und wie lange man sich in der letzten Minute etwa vor der Kamera bewegt hat. Diese Ebene entsteht, indem im framebuffer aus einem bestimmten Pixel-Bereich des Partikelsystems ein Bild „genommen“ wird (pix_snap Objekt), da die Informationen der Partikel an sich nämlich nicht wieder in Pixel umgewandelt werden können. Dieses Bild wird dann im pix_rtx Objekt weiterverwendet. Das Endergebnis dieser Ebene ist eine Darstellung, in der die x-Achse mit der Zeit-Achse vertauscht ist. Man hat also eine sich immer wieder erneuernde Darstellung seiner eigenen Bewegung (in Partikeln) in der letzten Minute.

Um zu dem visuellen Input nicht nur ein visuellen Output zu haben, werden Farbwerte aus der Modifikationsebene für einen auditiven Output verwendet. Die Farbwerte werden auf einer dünnen Linie in der zeitlichen Darstellung abgelesen und man erhält nur Klänge, wenn in der Modifikation Partikel vorhanden sind. Man muss sich also bewegt haben. Aus diesen Farbwerten werden die Grauwerte rausgefiltert (pix_data Objekt) und nicht nur auditiv sondern auch visuelle in einem Graph wieder gegeben. Die Tonhöhe des Outputs ist mit einem Regler veränderbar.

Mathieu Rathelot

I would like to make a radio drama with a Wave Field Synthesis system. This kind of system works with a PD patch with wich you can place a sound where you want in the space (XYZ). I need to create an automation in the PD patch for place all the sounds of the radio drama at the right time in a specific place. The listener could be inside the story with this system.

Matthias Breuer

Raummode

Ziel ist es, ein autonomes Gerät zu konstruieren, dass zwischen zwei parallelen Flächen eine stehende Schallwelle erzeugt. Mittels eines Oszillators, dessen Frequenz stetig inkrementiert wird, findet das Gerät die Frequenz mit der maximalen Amplitude, welche schliesslich die stehende Welle ist.

Bang-Server

Etwas mehr technisches. Der Bang Server soll eine Möglichkeit sein Puredata bangs mit Timestamp und optionalen Datenpaket dezentral zu verteilen. So kann eine Puredata Instanz ein Bang und Datenpaket an den Server senden, welcher diese dann an alle andern verbunden Client verteilt. Neben der Echtzeit Komponente soll es noch ein API geben mit dem man die letzten n Bangs erhalten kann.

Meredith Barnes

I would like to make a kind-of interactive animation. I think it is easiest if I describe what I imagine to be the final installation: There is a monitor with a blank screen, and through the speakers once can hear various sounds; perhaps of people clapping or yelling. When a noise is made above a certain decibel, a certain amount of a video clip is played. The amount of the clip that is played is directly proportionate to that duration of the sound that was made. If there is no noise above a certain level, then the screen remains blank, but there is audio playing. The audio is a recording of the previous noise that has been created by people interacting with the work. If someone makes a noise above a certain level again, the audio stops and more of the video clip plays. This process is repeated in an infinite loop.

I want to use Pure Data to create this interactive situation. The video clip that I would like to play will be an animation of a person saying ‘stop yelling at me’ over and over. The only way to make the entire animation play is to keep making sounds or ‘yelling’ at the animated person, as they are asking you not to. One can also hear the reactions of the people who have interacted with the work before them, and thus hear to what extent other people have gone against the animated person’s request.

Narinda Reeders: Help yourself This is a really cool interactive self-help desk.

If I were to continue this project, I would also like to have various different animated possibilities, so that if someone kept making noise, the animated person could get angrier and angrier or perhaps sadder and sadder, so that the audience is made to feel guilty by continuing to interact with the work.

other stuff i like:

Sebastian Wolf

Ziel soll ein patch sein, der aus einem in-die-Hände-Klatschen etliche macht, aus dem Applaus einer einzelnen Person den einer Menschenmasse. damit man sich selbst applaudieren kann ;)

Das ganze spielt sich sowohl auf Audio- als auch auf Video-Ebene ab. Beispielvideo/audio folgt!

Tobias Zeller

Ich werde meine Kamera an ein patch anklemmen und mal ein paar Schwenks machen. Bin gespannt wie sich das anhört :-)