A-Kristin Jakubek

MFA Thesis Project Alternate A(animal) I(intelligence) working title

Zusammenfassung

“Alternate A(nimal) I(ntelligence)” (AT) wird ein Videokunstwerk und dessen immersive Videoinstallation.
 Das Filmnarrativ setzt sich mittels eines kontemporären Kontexts zeitgemäß mit dem Intelligenz- Begriff auseinander, indem die “tierische Intelligenz” der “künstlichen Intelligenz” gegenübergestellt wird. Die Wahrnehmung von 10 unterschiedlichen Tieren wird in dem Film als Video-Datensatz, welcher von einer Künstlichen Intelligenz (KI) verarbeitet wird, visuell dargestellt. Anlass für diese Gegenüberstellung ist, dass der Intelligenz-Begriff, welcher in der Regel für Menschen vorbehalten war, nun auch auf maschinelle Lern- Algorithmen der KI-Forschung angewandt wird. Auch ist von “maschinellem Lernen” die Rede. Da diese künstlichen Netzwerke durch Daten “lernen”, wirft das spekulative Filmszenario grundlegende Fragen rund um die KI auf, mittels eines Datensatz von tierischen Perspektiven, der so in der Praxis bisher nicht existiert. Allen voran die Frage: “Welches selektive Weltbild wird den Maschinen vermittelt?” und “Welchen Vorteil könnte das Miteinbeziehen der nicht-menschlichen Perspektive in ein umfassenderes zukünftiges Verständnis von (künstlicher) Intelligenz haben?”

Filmhandlung

Die Zuschauer:innen sehen in dem Film Videosequenzen, die das artspezifische Sehen und Hören von 10 verschiedenen Tieren zeigen. Dies ist ein “Datensatz der tierischen Wahrnehmung”, welcher hier als “tierische Intelligenz” interpretiert und bezeichnet wird. Von diesen kinematischen Darstellungen der tierischen Perspektiven, führt der Film in die algorithmische und numerisch- basierte Welt der künstlichen, neuronalen Netze. Im Verlauf der Filmhandlung werden die Videosequenzen der tierischen Intelligenz als Eingabedaten in ein neuronales KI-Netz eingespeist, welches hiermit Computer-Vision-Aufgaben löst. Das KI-Netz wird in mehreren Stufen visualisiert, wobei Einblicke in die Datenverarbeitung gegeben werden. Auf diese Weise wird das “tierische Sehen” in einen direkten Zusammenhang mit dem “Computersehen” gestellt - verschiedene Methoden der Verarbeitung der Welt werden somit nebeneinander gestellt.

Synopsis

Grundlegende Fragen zum Thema "Intelligenz" werden durch ein spekulatives Szenario aufgeworfen, in dem eine künstliche Intelligenz einen Datensatz verarbeitet, der aus der Wahrnehmung von Tieren besteht, d.h. "tierische Intelligenz".

//

Project description

The film sets out to make audiences think differently about what it means to be ‘intelligent’. The term, which is most commonly reserved for humans, has now also been assigned to machine learning algorithms. By looking at our biological co-species and positioning their ‘animal intelligence’ inside the framework of today’s most innovative and future-forming technology (AI), the artist - by creating an interpretation of intelligence - brings attention to the similarities and the differences between ‘biological’ and ‘artificial’. It is our understanding of both animals and machines, and how we, as humans, relate to them via the concept of ‘intelligence’, that is vitally and persistently important for future decision-making and sustainable thinking.

Film plot

By combining videos of the audio-visual perception of animals with visualisations of the data processing of an artificial neural network, the film deals with fundamental ideas surrounding ‘intelligence’, among them e.g. ‘perception’, ‘learning’ and ‘being’ are explored through a speculative scenario, raising the question: What might be the advantage of including animal perception into a more comprehensive future understanding of what constitutes intelligence? Technically, in the film the viewer will see video sequences which show the species-specific vision and hearing of 10 different animals as a small dataset of animal perception – here artistically interpreted and referred to as ‘animal intelligence’. From these vivid portrayals of animalistic perspectives, the film journeys into the algorithmic and numerically based world of artificial neural networks. As the plot of the film unfolds, the video sequences of ‘animal intelligence’ are fed as an input dataset to an AI neural network, which solves computer vision tasks with the provided data. When showing this process, several stages of how the artificial neural network processes the dataset-images are visualised. In this way, ‘animal vision’ is placed into a direct relation next to ‘computer vision’; different methods of processing the world are set side by side.

Synopsis

Fundamental questions surrounding “intelligence” are raised through a speculative scenario, in which an Artificial Intelligence processes a dataset consisting of the perception of animals i.e. “Animal Intelligence”.

Research and Production

Ich habe mich ausgehend von Literatur zur Wahrnehmungspsychologie für eine Auswahl von 10 möglichst diversen Tieren entschieden. Diese Tiere wurden basierend auf ihren - sich vom Menschen stark unterscheidenden - Sehvermögen oder auditiven Wahrnehmung ausgesucht, für welche auf Anhieb eine künstlerische Interpretation denkbar war. Wichtig hierbei war es ein möglichst diverses Register zu bilden über Vögel, Säugetiere, Reptilien, Pflanzenfresser, Nager und Fische, um bereits hiermit zu verdeutlichen, dass es bei den Filmarbeiten nicht darum gehen würde eine biologisch/anatomische korrekte Darstellung der Wahrnehmung dieser Tiere zu kreieren sondern, sich diesem künstlerisch anzunähern. Die Tiere dienen innerhalb des Filmnarrativ als Model-Organismen, welche eine andere Wahrnehmung (innerhalb des Projekt als 'animal intelligence' interpretiert und bezeichnet) als die menschliche darstellen und somit den Raum öffnen auch die 'künstliche Intelligenz' in ein anders Licht zu rücken.

Die Recherche hat sich im weiteren über zahlreiche Gespräche mit Wissenschaftler:Innen in unterschiedlichen Expertisen und einem Besuch des Center for the Advanced Study of Collective Behaviour einer Abteilung des Max-Planck Institut für Verhaltensbiologie ausgezeichnet.

//

Based on literature on the psychology of perception, I decided on a diverse selection of 10 animals. These animals were chosen on the basis of their visual or auditory perception differing greatly from humans and for which an artistic interpretation was imaginable. It was important to create a diverse register of birds, mammals, reptiles, herbivores, rodents and fish to make clear from the beginning that the film would not be about creating a biologically/anatomically correct representation of the perception of each of these animals. Instead, the animals serve within the film narrative as model organisms, which together represent different possible perceptions than the human one (referred to as 'animal intelligence' within this project) and thus move 'artificial intelligence' into a different light.

The research was further characterised by numerous conversations with scientists in different fields of expertise and a visit to the Center for the Advanced Study of Collective Behaviour, a department of the Max Planck Institute for Behavioural Biology.

Dreharbeiten / Filming

• 
• 
• 
• 

• 
• 
• 
• 
• 
• 

Post-Produktion (Teil 1) Bearbeitung der Filmaufnahmen / Editing Film-footage'

• 
• 
• 
• 
• 
• 
• 
• 
• 
• 
• 
• 

Die Postproduktion des Film stellt sich aus verschiedenen Aufgabenbereichen zusammen. Die Bearbeitung der Filmaufnahmen beinhaltet zum einen das 'Compositing', sprich das Zusammenfügen der zwei Kameraperspektiven zu einem nahtlosen Gesamtbild. Zum anderen wird durch VFX ('Visual Effects') das Filmmaterial basieren auf der Recherchearbeit zur Biologie der jeweiligen Tiere künstlerisch aufbereitet. Die Recherche dient hierbei immer als Informationsquelle/Richtwert, welcher dann in Videoeffekte uminterpretiert wird.

Für diese Aufgabenbereiche worden jeweils eine weiter Person/Kollaborateur an Board geholt, welche mittels Briefing-Dokumenten, Gesprächen, gemeinsamen Arbeitssessions und Feedbackrunden angeleitet werden.

//

The post-production of the film consists of various tasks. The editing of the film footage includes compositing, i.e. the merging of the two camera perspectives into one seamless image. On the other hand, VFX ('Visual Effects') is used to further edit and enhance the film material based on the research of the biology of the respective animals. The research always serves as a source of information/reference, which is then reinterpreted into video effects.

For each of these tasks another person/collaborator was brought on board, who is guided by briefing documents, conversations, joint work sessions and feedback rounds.

Post-Produktion (Teil 2) Visualisierung der KI / Visualising the AI

• 
• 

Neben der tierischen Wahrnehmung steht die Datenverarbeitung durch das künstliche neuronale Netzwerk - auch 'Künstliche Intelligenz' genannt -. Diese digitale Instanz soll durch Animationen visualisiert werden. Die Verarbeitung durch den Computer soll in 'Stufen' dargestellt werden um den Zuschauer an das Thema heranzuführen und die zunehmen abstrakte Datenverarbeitung greifbar zumachen.

Die erste Ebene ist eine Art Veranschaulichungsebene in welcher der Datensatz der tierischen Perspektiven (die Filmaufnahmen) in einer digitalen 3D Ansicht zusehen ist. Der Zuschauer soll dem Datensatz als intaktes, Gesamtgebilde zusehen bekommen. In einem digitalen 'void-space' sehen wir den Datensatz der Videoaufnahmen und anschließend das künstliche neuronale Netz. Zuerst von außen, dann fliegt die Kamerasicht durch den Datensatz und das Netzwerk. Über diesen digitalen 'voidspace' navigiert das Filmnarrative in die unterschiedlichen Dateien des Datensatz i.e. Filmaufnahmen.

• 
• 
• 
• 
• 
• 

Visualisation Stage 2 - Using ANNs for break-down of computer vision

Der Verarbeitungsprozess durch den Computer wird zunehmend herunter gebrochen. Für die zweite Visualisierungsebene verwende ich im Schaffungsprozess neuronale Netzwerke die mit Bildverarbeitung zutuen haben. Es werden 'FlowNet2' und 'VGG16 visualisation' genutzt um einen tatsächlichen Einblick in die Verarbeitung durch den Computer zugeben. Das verwenden der Netzwerke selbst gibt einen Einblick in Bildgebendeverfahren der Computer Vision und somit einen 'echten Bezug' zu wie Video/Bild durch künstlische neuronale Netze verarbeitet werden.

In der reduziertesten Visualiserungsebene wird die binäre Verarbeitung durch den Computer auf Level der 'maschinellen Sprache' dargestellt. Der Computer selbst funktioniert im Grunde nur durch Code der sich zuletzt auf 1 und 0 reduziert. Diese Binärität wird mittels eines reduzierten Schwarz-Weiß Animationsstil aufgegriffen und künstlerisch weitergedacht. Dies entsteht in Zusammenarbeit mit August Guccione im Programm TouchDesigner. Die Wahl des Programm war wichtig, da dieses durch seine generativ 'Node' basierte Funktionsweise ebenfalls sehr nah am Computer selbst ist.

• 
• 
• 
• 

Visualisation Stage 2 - Using Touchdesigner to show binary computer language

//

The film is composed of, on the one hand filmed footage i.e. 'animal perception' interpreted through a subjective camera in characteristic habitats and on the other, the data processing by an artificial neural network(ANNs). The dataset and it's processing through the AI network will be visualised via animations. The Visualisation has different 'stages' to introduce the viewer to the topic and to make the initially abstract data processing tangible.

The first level is a kind of visualisation level in which the dataset of the animal perspectives (filmed footage) is shown in a digital 3D view. In a digital 'void-space' we see the dataset and then the artificial neural network. First from the outside, then the camera view flies through the dataset and the network. Through this digital 'void space' the film narrative navigates into the different files of the dataset i.e. film recordings.

The processing by the computer will be increasingly broken down throughout the different 'stages' of visualisation. For the second level of visualisation, I use actual neural networks used for image processing in the computer science field. 'FlowNet2' and 'VGG16 visualization' are used to give an actual insight into the processing by the computer. By using ANNs themselves an actual insight into computer vision imaging techniques and thus a 'real reference' to how video/images are processed by artificial neural networks is inserted into the film.

In the most reduced level of visualisation, the binary processing by the computer is represented at the level of 'machine language'. The computer itself basically works only by code which at its core reduces to 1 and 0. This binary is interpreted in a reduced black and white animation style. These animations are created in collaboration with August Guccione in the program TouchDesigner. The choice of the program was important because this program is also very close to the computer itself through its generative 'Node' based functionality.

Exhibition plans

• 
• 
• 
•