GMU:DeepVisualMemories

Lecturer: Dr. Alexander König akoenig@media-art-theory.com

Course Site mat.education

Durch eine eigens dafür entworfene Online-Lernumgebung erkunden wir zunächst die Cloud-Welten in denen das machine learning (AI) beheimatet ist und versuchen dessen Bild-Verständnis zu begreifen. NACH diesem technischen Ausflug folgt dann eine kritische Auseinandersetzung mit dem Thema anhand von ausgewählten theoretischen Texten. Gleichzeitig werden wir das als Pix2Pix bezeichnete Verfahren nutzen, um Neuronale Netze mit unseren eigenen visuellen Kondensaten zu trainieren, die sich dann Form von Lernprozessen in deren Strukturen kristallisieren. Das so erhaltene kondensierte Kristall kann dann benutzt werden um jeglichen visuellen Inhalt, in seine innere monadische Struktur zu übertragen.

Wir werden zusammen ein Projekt entwickeln in dem wir ein AI-System, ein sogenanntes GAN, mit visuellem Material trainieren. Dieses System ist dann in der Lage einen visuellen (procedural kreierten und auf Musik reagierenden) Input in die Stilistik des trainierten Materials zu übertragen. Das Endresultat wir ein aufführungsfähiges, interaktives Live-Visual-System sein, das kreative Ausdrucksweisen mit den modernen Möglichkeiten einer AI verbindet. Dabei wird klar ersichtlich werden, dass eine solche Technologie niemals KünstlerInnen ersetzen kann, jedoch wie jedes andere Toll neue Möglichkeiten für kreative Prozesse ermöglicht. Zudem wird so die innere Funktionsweise der Systeme offengelegt und exemplarisch verdeutlicht.

Das Modul besteht aus drei Schichten: Zum einen ist es eine Einführung in Machine Learning unter Verwendung von GANs und der Entwicklung eines interaktiven Frontends in Touchdesigner, welches auf Musik reagiert. Außerdem werden Methoden zur interdisziplinären Zusammenarbeit im Sinne der Philosophie Gilbert Simondons vorgestellt und somit aus einer kreativen Auseinandersetzung mit dem Thema AI, Positionen entwickelt die es den TeinlehmernInnen ermöglichen kritisch und reflektierend an dem aktuellen Diskurs über AI zu partizipieren. Es sind keine Vorkenntnisse notwendig.

Das Setup des Kurses nutzt die Möglichkeiten moderner Cloud-Architekturen und ist gleichzeitig eine Einführung in die Team Arbeit in Open-Source Clouds.

Am Ende des Kurses steht eine Live-Aufführung des entstandenen Werkes.

---

English Course Description

Using a specially designed online learning environment, we first explore the worlds of the cloud in which machine learning (AI) is at home and try to understand its pictorial understanding. This technical excursion is followed by a critical analysis of the topic using selected theoretical writings. At the same time, we will use the process known as Pix2Pix to train neural networks with our own visual condensates, which then crystallize into their structures in the form of learning processes. The resulting condensed crystal can then be used to transfer any visual content into its internal monadic structure.

Together we will develop a project in which we train an AI system, a so-called GAN, with visual material. This system is then able to transfer a visual (procedurally created and music responsive) input into the stylistics of the trained material. The end result will be a performable, interactive live visual system that combines creative expression with the modern possibilities of AI. It will become clear that such a technology can never replace artists, but like any other Toll, it opens up new possibilities for creative processes. In addition, the inner workings of the systems will be revealed and exemplified.

The module consists of three layers: Firstly, it is an introduction to machine learning using GANs and the development of an interactive front end in Touchdesigner that reacts to music. In addition, methods for interdisciplinary cooperation in the sense of the philosophy of Gilbert Simondon are presented and thus, from a creative examination of the topic of AI, positions are developed that enable the students to participate critically and reflectively in the current discourse on AI.

---

How to join / Wo und wann man sich trifft

The seminar will be held via the specially developed website www.mat.education . After registering for the course and contacting the lecturer at akoenig@media-art-theory.com , students will receive a password and login The site mat.education refers to applications for online teaching, teamwork, programming and video conferencing. We meet each Monday (first meeting on Monday 11.05.2020) at 9.15 and work throughout the day

Literature

Coursebook of last years seminar "Learning Machines"

• Simondon, Gilbert: On the Mode of Existence of Technical Objects
• Zuboff, Shoshana: The Age of Surveillance Capitalism
• Hui, Yuk: On the Existence of Digital Objects
• Marr, David: Vision

• Arthur I. Miller, The Artist in the Machine: The World of AI-Powered Creativity ISBN 978-0262042857, available here:
• Entangled Realities: Living with Artificial Intelligence / Leben mit künstlicher Intelligenz ISBN 978-3856169060
• Free Online Course: Machine Learning for Artists and Musicians
• Georg Trogemann on Gregory Bateson categories of learning
• Damm, Trogemann: Algorithms rethought – zum fiktionalen Potential von Software