GMU:Bits, Beats & Pieces/Clemens

Studie eines Einsatzes

Idee

Wir atmen ständig. Auch in unserer Kommunikation spielen Atemgeräusche eine wichtige Rolle - so auch in der Musik. Doch nicht nur für Sänger und Bläser ist die Atmung ein großer Bestandteil ihrer Musik, auch für andere Instrumentalisten wie Streicher stellt das gezielte Einatmen einen wichtigen Teil der Kommunikation mit anderen Musikern dar. Die Atmung wird dadurch ein Teil der Musik. Um die Intensität und Wichtigkeit unterschiedlich starker Einsätze von Instrumentalisten und auch Dirigenten erfahrbar zu machen, wurden für das Projekt verschieden laute Einsätze von Musikern von Video-Plattformen aus dem Internet gesammelt und zurechtgeschnitten. Diese kann der Benutzer des Programms nun mit Hilfe seiner Atemgeräusche auslösen. Der Benutzer soll sich damit seiner eigenen Atmung spielerisch bewusst werden.

Erste Skizze, hier soll das Audiosignal noch mit einem Arduino verarbeitet werden

Technischer Aufbau

Mit einem an einer Brille befestigtem Lavallier-Mikrofon wird an der Nase des Benutzers der Luftstrom beim Ein- und Ausatmen aufgenommen. Durch ein Audio-Interface wird das so erzeugte Signal an einen PC weitergegeben. Mit Hilfe von Pure Data werden die Amplituden des eingehenden Signals gemessen und in 31 Lautstärke-Stufen klassifiziert. Je nach Lautstärke wird nun einer der 31 kurzen Videoclips von verschieden starken Einsätzen des Benutzers ausgelöst. Wichtig dabei ist das Tragen von Kopfhörern und eine relativ ruhige Umgebung, damit keine Rückkopplungen entstehen.

Fertige Mikrofonbrille und technisches Setup

Probleme und deren Lösungen

Einer der wichtigsten Punkte des Projekts ist das Messen der Atmung des Benutzers. Zuerst wurde über Lösungen wie ein Sensorgurt, um die Veränderung des Brustumfangs beim Ein- und Ausatmen zu messen, nachgedacht. Der Einfachhalthalber und um dem tatsächlichen Atmen von Musikern näher zu kommen, wurde dann auf ein Mikrofon an der Nase zurückgegriffen. Der Arduino zur Verarbeitung der von einem Sensor ermittelten Daten kann wegfallen, da das Kategorisieren des Audio-Peaks in Pure Data sich als einfacher erwiesen hat. Ein weiteres erhebliches Problem auf der Software-Seite war das Triggern der Videos. Damit das Programm immer das stärkste Einsatz-Video benutzt und nicht schon beim Anfang des Atemgeräusches ein schwächeres Video triggert, welches später ausgelöste Videos überlagert, muss das letztlich ausgelöste Video alle darunter liegenden Videoplayer deaktivieren. Dadurch ist eine kurze Verzögerung des Signals nötig, damit keine unerwünschten Videos angeschnitten werden. Diesen Delay bemerkt der Nutzer jedoch kaum.

Main Pure Data-Patch

Sub-Patch und GEM

Demonstration des Projektes

File:Demo v2.mp4

Downloads

• Main Patch: File:1.01 Atem MAIN PATCH.pd
• Video Player: File:avplayer~.pd
• Buffer File: File:pix buffer filmopen.pd

(If you want to run the programm, you have to put all the files in one directory + the video- and soundfiles (named A01.avi, A01.aif, A02.aiv, A02.aif and so on (not included here due to copyright reasons))

I used Pure Data ver: 0.49.0 and GEM ver: 0.93.3

---

shortened project description in english

To refer to the importance of breathing in music, I wanted to use the sounds of inhaling and exhaling to trigger different breathing sounds from conductors and string ensembles. With a microphone positioned under the nose, the airflow of inhaling and exhaling is measured. The data is now passed on to a PC. With the help of Pure Data, the incoming peaks trigger the found-footage videos of inhaling musicians depending on the volume level of the users inhaling.

Clemens Hornemann 2018/2019