GMU:Audio+Video

Beschreibung

Sehen und Hören sind zwei Sinne, welche in der Perzeption von Medienkunst in ein multisensuelles Zusammenspiel verwickelt sind. Was passiert zwischen den Sinnen? Was zwischen den Medien? Synergien und Interferenzen der Wahrnehmung sind Synästhesien. Dieses Neurologische Phänomen ist in der Bildenden Kunst nicht zuletzt durch Wassily Kandinsky bekannt geworden. Ab den 1920er Jahren wurden durch Ludwig Hirschfeld-Mack und László Moholy-Nagy filmische und objekthafte Experimente mit Licht und Schatten durchgeführt, die durch Oskar Fischinger, Norman McLaren und anderen mit Ton fortgesetzt wurden. Der Music-Clip kann als eine Vermischung der Medien Musik und Video gesehen werden - hier tritt, wie auch im Fluxus und Happening, Intermedialität auf. In den digitalen Medien werden Ton und Bild als zwei unabhängige Datenströme behandelt. Während das Bild auch ohne die Dimension Zeit sichtbar bleibt, existiert Ton nur mit ihr. Beim Bewegtbild, dem Video, werden Bild und Ton synchron wiedergegeben. Die Digitalisierung eröffnete neue Möglichkeiten der Manipulation von Video die in den späten 1990er Jahren bis etwa 2005 zu einer Explosion des VeeJaying, später auch - wegen der Erosion der Begriffe VJ und Multimedia - Live Cinema genannten Trends. Dieser Hype ist vorbei - wo stehen wir jetzt?

Im Werkmodul Audio+Video werden wir uns intensiv mit Programmiertechniken befassen, welche es uns erlauben Audio und Video in Echtzeit zu manipulieren. Plattform ist die datenstromorientierte Programmierumgebung Pure Data und die Grafikbibliothek Gem. Innerhalb davon werden wir uns der OpenGL Shading Language bedienen. Es werden keine Vorkenntnisse erwartet. Wir fangen ganz von vorne an und erarbeiten uns schrittweise Fähigkeiten, die es uns erlauben Audiovisuelle Performances oder Installationen zu verwirklichen.

Kursdetails

• Lehrperson: Max Neupert
• Bewertung: 6 ECTS, 4 SWS
• Termin: Freitag, 10.00 Uhr
• Ort: Marienstraße 7b, Raum 204
• Erster Termin: 21.10. 2009

English description

Audiovisual performances and installations became pandemic since computer hardware and software can manipulate realtime streams. Since the big Hype of Veejaying around this turn of the millennium has declined we can find new approaches and aesthetics for audiovisual processing beyond that. In the class we learn techniques how to approach realtime media with software environments like Pure Data and Gem with the use of OpenGL Shading Language. We start right at the beginning continue step by step to approach systems which will enable you to create complex audiovisual installations and performances.

We recommend to join the class “Bild zu Ton, Ton zu Bild“ in conjunction with this one.

Voraussetzungen

Keine Vorkenntnisse erforderlich.

Leistungsnachweis

Engagement und aktive, regelmäßige Teilnahme, künstlerische Prüfung, Dokumentation

Zielgruppe

Undergraduate (Bachelor)-Studierende der Fakultäten Medien und Gestaltung

Syllabus

• 21.10.09 Einführung in die Grammatik von Pure Data, Sounddatei abspielen
• 30.10.09 Einführung in Gem, Videodatei abspielen, Soundfdatei aus dem Speicher abspielen
• 06.11.09 Audio und Video Synchron abspielen, Video aus dem Zwischenspeicher abspielen
• 13.11.09 audio + video auf zwei instanzen verteilen: Netsend-Netreceive, pd~
• 20.11.09 Scanned Synthesis
• 27.11.09 Eingabegeräte: Midi, USB, Maus, Tastatur, Kamera
• 04.12.09 Hüllkurven, Live video + audio
• 08.-10.12.09 Exkursion nach Linz und Graz
• 11.12.09
• 18.12.09
• 08.01.10 openGL shading language in GEM
• 15.01.10 variables Delay
• 22.01.10 Projektbetreuung
• 29.01.10 Evaluierung, Projektbetreuung
• 05.02.10 Zwischenpräsentation, Übung
• 31.03.10 Abgabe der Projekte (per E-Mail)

Literatur

• Puckette, Miller: The Theory and Technique of Electronic Music ISBN 981-270077-3 Online Version
• Kreidler, Johannes: Loadbang ISBN 978-3-936000-57-3 Online Version (english, deutsch, español)
• Farnell, Andy: Designing Sound ISBN 0-262-01441-6 obiwannabe.co.uk on Archive.org Code examples
• Zimmer, Fränk: Bang: Pure Data ISBN 3-936000-37-9
• Chung, Bryan WC: Multimedia Programming with Pure Data ISBN 1782164642 source
• Brinkmann, Peter: Making Musical Apps – Real-time audio synthesis on Android and iOS ISBN 978-1-4493-1490-3 (e-Book ISBN 978-1-4493-1489-7 )
• Barkl, Michael: Composition: Pure Data as a Meta-Compositional Instrument ISBN 3838316479
• Matsumura, Sei: Pd Recipe Book ― Pure Data ではじめるサウンドプログラミング ISBN 978-4-86100-780-4
• Miyama, Chikashi: Pure Data チュートリアル&リファレンス ISBN 978-4862671424
• Lyon, Eric: Designing Audio Objects for Max/MSP and Pd ISBN 978-0-89579-715-5

• Hillerson, Tony: Programming Sound with Pure Data: Make Your Apps Come Alive with Dynamic Audio ISBN 978-1-93778-566-6
• Rost, Randi J.: OpenGL shading language ISBN 0-321-33489-2

Alle diese Bücher und noch weitere findet ihr im Semesterapparat

Links

• Liste der im Kurs entstandenen Projekte
• Schnellstart Pure Data im wiki
• Linkliste Audiovision
• Download der im Kurs verwendeten Dateien
• Audacity ein einfacher open source Audioeditor (Linux, OS X, Windows)
• Ardour eine komplexe open source Audio Workstation (Linux, OS X)
• Samplitude Audioeditor, wird beim Experimentellen Radio verwendet (Windows)