GMU:DeepVisualMemories

Lecturer: Dr. Alexander König (http://www.media-art-theory.com)

Durch eine eigens dafür entworfene Online-Lernumgebung erkunden wir zunächst die Cloud-Welten in denen das machine learning (AI) beheimatet ist und versuchen dessen Bild-Verständnis zu begreifen. NACH diesem technischen Ausflug folgt dann eine kritische Auseinandersetzung mit dem Thema anhand von ausgewählten theoretischen Texten. Gleichzeitig werden wir das als Pix2Pix bezeichnete Verfahren nutzen, um Neuronale Netze mit unseren eigenen visuellen Kondensaten zu trainieren, die sich dann Form von Lernprozessen in deren Strukturen kristallisieren. Das so erhaltene kondensierte Kristall kann dann benutzt werden um jeglichen visuellen Inhalt, in seine innere monadische Struktur zu übertragen.

Das Setup des Kurses nutzt die Möglichkeiten moderner Cloud-Architekturen und ist gleichzeitig eine Einführung in die Team Arbeit in Open-Source Clouds.

Wir werden zusammen ein Projekt entwickeln in dem wir ein AI-System, ein sogenanntes GAN, mit visuellem Material trainieren. Dieses System ist dann in der Lage einen visuellen (procedural kreierten und auf Musik reagierenden) Input in die Stilistik des trainierten Materials zu übertragen. Das Endresultat wir ein aufführungsfähiges, interaktives Live-Visual-System sein, das kreative Ausdrucksweisen mit den modernen Möglichkeiten einer AI verbindet. Dabei wird klar ersichtlich werden, dass eine solche Technologie niemals KünstlerInnen ersetzen kann, jedoch wie jedes andere Toll neue Möglichkeiten für kreative Prozesse ermöglicht. Zudem wird so die innere Funktionsweise der Systeme offengelegt und exemplarisch verdeutlicht.

Das Modul besteht aus drei Schichten: Zum einen ist es eine Einführung in Machine Learning unter Verwendung von GANs und der Entwicklung eines interaktiven Frontends in Touchdesigner, welches auf Musik reagiert. Außerdem werden Methoden zur interdisziplinären Zusammenarbeit im Sinne der Philosophie Gilbert Simondons vorgestellt und somit aus einer kreativen Auseinandersetzung mit dem Thema AI, Positionen entwickelt die es den TeinlehmernInnen ermöglichen kritisch und reflektierend an dem aktuellen Diskurs über AI zu partizipieren. Es sind keine Vorkenntnisse notwendig.

Am Ende des Kurses steht eine Live-Aufführung des entstandenen Werkes. ____

Together we will develop a project in which we train an AI system, a so-called GAN, with visual material. This system is then able to transfer a visual (procedurally created and music responsive) input into the stylistics of the trained material. The end result will be a performable, interactive live visual system that combines creative expression with the modern possibilities of AI. It will become clear that such a technology can never replace artists, but like any other Toll, it opens up new possibilities for creative processes. In addition, the inner workings of the systems will be revealed and exemplified.

The module consists of three layers: Firstly, it is an introduction to machine learning using GANs and the development of an interactive front end in Touchdesigner that reacts to music. In addition, methods for interdisciplinary cooperation in the sense of the philosophy of Gilbert Simondon are presented and thus, from a creative examination of the topic of AI, positions are developed that enable the students to participate critically and reflectively in the current discourse on AI.

Experience in one of the following fields is desired:

• Programming (Python)
• Visual Programming (Touchdesigner/Processing/VVVV etc.)
• Sound production / audio (MAX/Ableton/reaper etc.)
• Machine Learning (Tensorflow)
• Media theory
• UX/UI/Design