Interaktive generative Kunst, einfach erklärt

Interaktive generative Kunst ist Kunst, die von einem Regelsystem geschaffen wird, das mit einer gewissen Eigenständigkeit läuft und auf das reagiert, was ihr Publikum tut. Die Künstlerin oder der Künstler entwirft die Regeln. Wenn sie ablaufen, prägen mehrere Dinge zugleich das Ergebnis: die Regeln selbst, die Bedingungen, mit denen das System beginnt, ein gewisses Maß an Zufall und die Eingabe der Person, die davorsteht. Silk, wo dein Strich gespiegelt und zu einem Muster vervielfacht wird, das du von Hand nie gezeichnet hättest, ist ein bekanntes Beispiel. Ebenso Partikelfelder, die vor deiner Hand auseinanderstieben, und Musikmaschinen, die so lange weiterspielen, bis du sie berührst.

Was »generativ« bedeutet

Die meistzitierte Definition stammt vom Künstler und Forscher Philip Galanter, aus seinem Aufsatz What is Generative Art? von 2003. Sinngemäß: Generative Kunst ist jede Praxis, bei der die Künstlerin oder der Künstler ein System in Gang setzt, sei es ein Satz schriftlicher Regeln, ein Programm, eine Maschine oder ein anderes Verfahren, und dieses System trägt mit »einem gewissen Grad an Autonomie« zum fertigen Werk bei oder bringt es hervor.

Daraus folgen drei Dinge, und jedes korrigiert eine verbreitete Annahme.

• Sie braucht keinen Computer. Sol LeWitts Wandzeichnungen sind schriftliche Anweisungen, die andere Menschen ausführen; jede Ausführung derselben Zeichnung fällt etwas anders aus. In seinen »Paragraphs on Conceptual Art« (1967) schrieb er, dass »die Idee zu einer Maschine wird, die die Kunst macht«.
• Die Autonomie ist begrenzt. Das System entscheidet Einzelheiten, die die Künstlerin oder der Künstler nicht eine nach der anderen festgelegt hat, aber die Regeln, den Wertebereich und oft den Ausgangspunkt hat sie oder er gewählt. Der Zufall spielt meist eine Rolle, aber innerhalb gesetzter Grenzen.
• Das Ergebnis kann statisch sein. Eine Plotterzeichnung von 1965 oder eine gedruckte Edition, die ein Programm erzeugt hat, ist generativ, auch wenn sich das Ergebnis nie wieder bewegt. Generativ ist sie wegen der Art, wie sie entstanden ist, nicht weil sie sich auf dem Bildschirm weiter verändert.

Galanters Definition ist absichtlich weit gefasst, und nicht alle verwenden das Wort gleich. Manche Künstlerinnen und Künstler sprechen nur bei computergestützten Arbeiten von »generativ«; andere betonen die Emergenz, bei der das Ergebnis Muster zeigt, die keine einzelne Regel beschreibt. Die Definition oben ist eine nützliche gemeinsame Grundlage, nicht das letzte Wort.

Eine kurze Geschichte der generativen Kunst

Generative Kunst ist älter, als die meisten annehmen, und Jahrzehnte älter als KI-Bildgeneratoren.

• Anfang der 1960er-Jahre. In den Bell Labs begann A. Michael Noll 1962, Bilder mit einem Computer und einem Plotter zu erzeugen.
• 1965. Georg Nees zeigte im Februar 1965 in Stuttgart computergenerierte Zeichnungen, oft als erste Ausstellung von Computerkunst genannt; Frieder Nake stellte im selben Jahr eigene Plotterarbeiten aus.
• Ab den 1960er-Jahren. Vera Molnár, eine Malerin, die bereits von Hand mit systematischen Variationen gearbeitet hatte, wandte sich dem Computer zu und wurde zu einer der Pionierinnen des Feldes.
• 1970er-Jahre. Harold Cohen begann mit der Entwicklung von AARON, einem Programm, das Zeichnungen nach Regeln anfertigte, die er über Jahrzehnte verfeinerte.
• 1970 und 1986. Zwei Systeme, denen alle begegnen, die kreativ programmieren, kamen auf: Conways Spiel des Lebens, im Oktober 1970 in Martin Gardners Kolumne im Scientific American der Öffentlichkeit vorgestellt, und Craig Reynolds' Boids, eine Simulation von Schwarmverhalten aus dem Jahr 1986.
• 1990er-Jahre. Brian Eno machte den Begriff generative Musik bekannt. 1998 fand in Mailand die erste internationale Generative-Art-Konferenz statt.
• Ab den 2000er-Jahren. Werkzeuge für kreatives Programmieren wie Processing und p5.js brachten generative Systeme in die Reichweite von Künstlern, Designerinnen und Studierenden, und der Browser wurde zu einem Ort, um sie zu zeigen.

Drei Systeme, auseinandergenommen

Generative Kunst versteht man am leichtesten über kleine Systeme. Keines der drei unten wurde als Kunstwerk geschaffen, und genau darum geht es: Ein Algorithmus ist für sich genommen keine Kunst. Er wird zum Material für Kunst, wenn jemand ihn auswählt, rahmt, abstimmt und entscheidet, was den Betrachtenden begegnet. Die Bilder sind echte Ergebnisse dieser Regeln, für diesen Leitfaden mit festen Startwerten erzeugt.

Das Spiel des Lebens: Verhalten, das niemand geschrieben hat

Die Regel. Ein Raster aus Zellen, jede lebendig oder tot. Bei jedem Schritt zählt jede Zelle ihre acht Nachbarn. Eine lebende Zelle mit zwei oder drei lebenden Nachbarn überlebt; eine tote mit genau drei erwacht zum Leben; alle anderen sterben oder bleiben leer. Der Mathematiker John Conway hat es entworfen; Martin Gardner machte es 1970 berühmt.

Was passiert. Aus einem zufälligen Anfang heraus brodelt das Raster, lichtet sich und pendelt sich in einer Mischung aus stillen Formen ein, aus Formen, die blinken, und aus kleinen Formen, die über das Raster wandern. Nirgends hat jemand »erzeuge eine wandernde Form« geschrieben.

Was die Urheberin oder der Urheber steuert. Die Regel selbst, die in der klassischen Fassung feststeht, aber auch alles drumherum: das Anfangsmuster oder seine Dichte, die Größe des Rasters, das Tempo und wie die Zellen gezeichnet werden. Das Cyan für langlebige Zellen oben ist eine Entscheidung, und es verändert, was dir auffällt.

Was Besucherinnen und Besucher steuern könnten. In interaktiven Fassungen zeichnest oder löschst du Zellen, während das System läuft, und siehst zu, wie die Regel deine Spuren aufnimmt und daraus etwas macht, das du nicht beabsichtigt hast. Du kannst es auch verlangsamen, um einen einzelnen Schritt zu sehen.

Warum es wichtig ist. Es ist der deutlichste Beweis dafür, dass aus einer sehr kurzen Regel komplexes Verhalten entstehen kann, und auf diesem Versprechen beruhen die meisten generativen Arbeiten.

10 PRINT: Zufall mit Form

Die Regel. Auf dem Commodore 64 gibt eine einzige BASIC-Zeile, 10 PRINT CHR$(205.5+RND(1)); : GOTO 10, immer wieder zufällig eines von zwei diagonalen Zeichen aus. Nick Montfort und neun Mitautorinnen und Mitautoren haben über diese Zeile ein ganzes Buch geschrieben, das 2012 bei MIT Press erschien und online verfügbar ist.

Was passiert. Der Bildschirm füllt sich mit etwas, das wie ein endloses Labyrinth aussieht. Jede Wahl ist ein Münzwurf; das Labyrinth entsteht aus der Beschränkung auf zwei Zeichen in einem Raster.

Was die Urheberin oder der Urheber steuert. Die beiden Zeichen, das Raster und die Wahrscheinlichkeiten. Das Bildpaar oben zeigt, wie weit ein einziger Parameter reicht: dieselbe Regel, dieselbe Zufallsfolge, eine andere Zahl, ein anderes Bild.

Was Besucherinnen und Besucher steuern könnten. In einer interaktiven Fassung die Wahrscheinlichkeiten, die Größe der Zellen oder die Zeichen selbst, oder einen Pinsel, der die Wahrscheinlichkeiten in einem Bereich des Bildschirms verändert.

Warum es wichtig ist. Es zeigt, dass Zufall ein Material ist und kein Fehlen von Gestaltung. Die Künstlerin oder der Künstler wählt nicht jedes Zeichen, aber den Raum, in den jedes Zeichen fällt.

Boids: eine Menge aus lokalen Regeln

Die Regel. 1986 gab Craig Reynolds jedem simulierten Vogel, einem »Boid«, drei Steuerregeln, die nur seine nächsten Nachbarn berücksichtigen: von denen wegsteuern, die zu nah sind (Trennung), ihre durchschnittliche Richtung übernehmen (Ausrichtung) und sich auf ihre durchschnittliche Position zubewegen (Zusammenhalt).

Was passiert. Gruppen bilden sich, ziehen weiter, teilen sich um Hindernisse herum und finden wieder zusammen. Kein Boid weiß vom Schwarm, und doch ist der Schwarm das, was du siehst.

Was die Urheberin oder der Urheber steuert. Das Gewicht jeder Regel, wie weit ein Boid sieht, seine Höchstgeschwindigkeit, wie viele es gibt und wie sie gezeichnet werden. Kleine Änderungen der Gewichte ergeben dichte Schwärme, lockeres Treiben oder Chaos.

Was Besucherinnen und Besucher steuern könnten. Dein Zeiger oder deine Hand kann zu einer weiteren Kraft werden: ein Raubtier, vor dem man flieht, ein Punkt, um den man sich sammelt, eine Strömung, der man folgt. Die Antwort der Menge ist das Bild.

Warum es wichtig ist. Es ist die Logik hinter den meisten interaktiven Partikelarbeiten: kein zentraler Plan, viele lokale Entscheidungen und eine äußere Kraft, du, die die Menge berücksichtigen muss.

Wo die Interaktion ins Spiel kommt

Ein generatives System kann ganz ohne Publikum laufen. Interaktiv wird es, wenn es während des Laufs Eingaben aufnimmt. Der Künstler und Forscher Ernest Edmonds schreibt seit Jahrzehnten über diese Beziehung, darunter ein Aufsatz darüber, wie Interaktion generative Arbeiten beeinflusst.

Es gibt mehrere Wege, auf denen Besucherinnen und Besucher in einen generativen Prozess eintreten können, und die meisten Werke kombinieren zwei oder drei davon.

• Parameter einstellen. Du veränderst die Werte, die die Regeln verwenden: Tempo, Dichte, Symmetrie, Farbe. Das System bleibt dasselbe; sein Charakter ändert sich.
• Einen Keim setzen. Du gibst dem System etwas, von dem es ausgehen kann, eine Linie, einen Klang, einen Punkt, und die Regeln entwickeln es weiter. Silk funktioniert so: Dein Strich ist der Keim, und die Symmetrie erledigt den Rest.
• Auswählen. Du wählst unter den Ergebnissen des Systems, und es züchtet aus deiner Wahl weiter. In Karl Sims' Galápagos (1997, ICC Tokio) stellten sich Besucherinnen und Besucher vor zwölf Bildschirmen auf Sensoren, um die virtuellen Organismen auszuwählen, die sich paaren und mutieren sollten.
• Spielen. Das System ist ein Instrument. Bloom von Brian Eno und Peter Chilvers beschreibt sich selbst als endlose Musikmaschine, die man spielen oder sich selbst spielen hören kann.
• Eine Kraft sein. Deine Position oder Geste fließt in die Physik des Systems ein. Partikel fliehen, sammeln sich oder wirbeln. Das ist die körperlichste Form und diejenige, die am häufigsten mit einer Kamera verbunden ist.

Generative Kunst und KI-generierte Kunst: Was ist der Unterschied?

Die beiden werden oft verwechselt, und die Debatte über KI-Bilder macht es schwerer, über beide klar zu sprechen. Es hilft, drei Arten von Fragen zu trennen: welche Techniken es gibt, was Künstlerinnen und Künstler mit ihnen machen und wie man Urheberschaft beurteilt.

Die Techniken

• Regelbasierte und prozedurale Systeme. Das Verhalten entsteht aus Regeln, die ein Mensch geschrieben hat: geometrische Konstruktionen, zelluläre Automaten wie das Spiel des Lebens, Partikelphysik, Grammatiken, die Pflanzenformen wachsen lassen, Rauschfunktionen, die Landschaften erzeugen. Im Prinzip lässt sich jeder Schritt lesen und erklären.
• Zufall und Emergenz. Viele dieser Systeme nutzen den Zufall, aber er wird aus einem Bereich gezogen, den die Künstlerin oder der Künstler festgelegt hat, und die interessanten Muster entstehen oft aus dem Zusammenspiel der Teile, nicht aus einer einzelnen Regel.
• Modelle des maschinellen Lernens. Ein Modell wird mit einem großen Datensatz trainiert und lernt daraus statistische Muster. Was es erzeugt, hängt von diesen Daten und vom Trainingsprozess ab, den niemand Schritt für Schritt schreibt. Text-zu-Bild-Generatoren sind eine Familie solcher Modelle; es gibt viele andere, darunter kleine Modelle, die Künstlerinnen und Künstler mit ihrem eigenen Material trainieren.

Die beiden Familien sind keine Gegensätze. Generative Kunst nutzt seit Langem gelernte Komponenten, und viele KI-basierte Werke sind generativ im Sinne Galanters: ein System, das mit einer gewissen Eigenständigkeit in Gang gesetzt wird. Blob Opera zum Beispiel ist ein interaktives Werk, das auf einem Modell der Stimmen von vier Opernsängerinnen und -sängern aufbaut und das du durch Ziehen spielst.

Die Praktiken

Am stärksten unterscheidet sich oft nicht die Technik, sondern das, was die Künstlerin oder der Künstler baut.

• Ein System bauen. Die Künstlerin oder der Künstler entwirft die Regeln oder trainiert und verschaltet ein Modell, und das System ist das Werk. Seine Ergebnisse sind Ausprägungen davon.
• Ein Werkzeug benutzen. Die Künstlerin oder der Künstler nutzt ein bestehendes System, sei es eine Zeichen-App, ein Filter oder ein Bildgenerator, um etwas anderes zu schaffen. Das Werkzeug ist ein Mittel, und das Werk ist das Ergebnis. Malerinnen und Maler, die Kameras oder Drucker verwenden, sind in derselben Lage.
• Ergebnisse kuratieren. Die Künstlerin oder der Künstler lässt ein System viele Male laufen und wählt die Ergebnisse aus, bearbeitet und ordnet sie. Die Auswahl ist sowohl in generativer als auch in KI-basierter Praxis ein echter Teil der Urheberschaft.

Eine einzige Person kann alle drei Dinge tun. Wer Prompts schreibt, kann auch eine Pipeline um ein Modell bauen, sorgfältig auswählen und stark nachbearbeiten; wer Code schreibt, kann eine Bibliothek nutzen, die sie oder er nicht entworfen hat.

Fragen der Urheberschaft

Wer ist die Urheberin oder der Urheber, wenn ein System die Einzelheiten erzeugt? Die Antworten fallen je nach Werk und Person unterschiedlich aus, und vernünftige Menschen sind sich nicht einig. Bei regelbasierten Arbeiten gilt meist, dass die Künstlerin oder der Künstler das System erschafft und die Einzelheiten mit dem Zufall teilt, bei interaktiven Werken auch mit dem Publikum. Bei großen trainierten Modellen kommen in der Debatte Fragen hinzu: nach den Daten, aus denen das Modell gelernt hat, nach der Rolle der Menschen, die das Modell gebaut haben, und danach, wie sehr die Person, die es nutzt, das Ergebnis prägt. Auf diese Fragen gibt es keine einzige gesicherte Antwort, und dieser Leitfaden versucht nicht, eine zu geben.

Eine praktische Unterscheidung, die standhält: In der meisten regelbasierten generativen Kunst lässt sich das System vollständig beschreiben, ohne auf Bilder oder Klänge anderer Menschen zu verweisen. Bei Arbeiten, die auf einem großen vortrainierten Modell beruhen, geht das nicht, denn das Verhalten des Modells stammt aus seinen Trainingsdaten. Dieser Unterschied ist technisch und beobachtbar, ganz gleich, was du von der Kunst hältst.

Dein Körper als Eingabe

Die Eingabe für ein interaktives generatives Werk kann alles sein, was ein Computer messen kann. Im Browser sind drei verbreitet.

Zeiger und Berührung

Maus, Trackpad und Touchscreen liefern eine Position und einen Druck. Das ist schon viel: Die Position kann eine Kraft sein, der Druck ein Halten und das Loslassen ein Ereignis. Die meisten generativen Werke im Browser sind zuerst dafür gestaltet.

Mikrofon

Lautstärke und Tonhöhe können ein System antreiben, wie in Golan Levins und Zachary Liebermans auf die Stimme reagierender Performance Messa di Voce (2003). Im Browser braucht das Mikrofon deine ausdrückliche Erlaubnis.

Kamera und Hand-Tracking

Mit einer Kamera kann ein Modell schätzen, wo sich Teile deines Körpers befinden. Googles MediaPipe Hand Landmarker liefert für jede erkannte Hand einundzwanzig Punkte: das Handgelenk und die Gelenke jedes Fingers. Aus diesen Punkten kann ein Programm schätzen, ob die Hand offen oder geschlossen ist, ob sich Daumen und Finger berühren und wohin sich die Hand bewegt. Diese Werte werden zu Parametern des Systems.

Die Welten von Synfield verwenden ein kleines Vokabular dieser Art, bewegen, halten und loslassen, und die drei Bilder oben sind echte Aufnahmen daraus. In Matter schiebt eine offene Hand oder ein bewegter Zeiger die Partikel, eine geschlossene zieht sie an; Halten gräbt eine Mulde, Loslassen sendet eine Welle aus. In Mycelium wächst das Netz von selbst, streckt sich deiner Anwesenheit entgegen und bewahrt eine verblassende Spur dessen, wo du warst. Beide funktionieren mit Maus oder Finger; die Kamera ist optional.

Selbst etwas machen

Schon eine kleine Regel kann etwas Überraschendes hervorbringen, und deshalb ist dies eine der zugänglichsten Formen digitaler Kunst, um selbst etwas auszuprobieren.

• Processing ist eine Programmierumgebung, die für bildende Künstlerinnen und Künstler entworfen wurde, und der Anfang einer großen Gemeinschaft.
• p5.js bringt dieselben Ideen in den Browser, mit einem Online-Editor, der keine Installation braucht.
• Für Klang erlauben Live-Coding-Umgebungen wie TidalCycles, Muster zu schreiben, die spielen, während du sie veränderst.

Der Sketch unten ist ein vollständiges interaktives generatives Werk in etwa dreißig Zeilen p5.js. Er verbindet die drei Zutaten dieses Leitfadens: Regeln (ein Zug zum Zeiger hin und ein Stoß weg von zu nahen Nachbarn), Zufall (ein kleines zufälliges Umherschweifen) und Eingabe (den Zeiger sowie einen Druck, der den Zug umkehrt). Er ist ein vereinfachter Verwandter der Boids.

// Eine Menge aus Punkten: drei Regeln, ein wenig Zufall und du.
const COUNT = 120;
const TOO_CLOSE = 18; // probier 6, dann 40
let dots = [];

function setup() {
  createCanvas(600, 400);
  for (let i = 0; i < COUNT; i++) dots.push(createVector(random(width), random(height)));
}

function draw() {
  background(16, 20, 31, 60);
  noStroke();
  fill(183, 171, 232);
  const pointer = createVector(mouseX, mouseY);
  for (const dot of dots) {
    // Regel 1: zum Zeiger treiben (weg von ihm, solange du drückst).
    const pull = p5.Vector.sub(pointer, dot).setMag(0.6);
    if (mouseIsPressed) pull.mult(-1);
    // Regel 2: von jedem Punkt wegrücken, der zu nah ist.
    const push = createVector(0, 0);
    for (const other of dots) {
      const gap = dot.dist(other);
      if (other !== dot && gap < TOO_CLOSE) push.add(p5.Vector.sub(dot, other).setMag(1 - gap / TOO_CLOSE));
    }
    // Regel 3: ein wenig Zufall, damit kein Durchlauf dem anderen gleicht.
    const wander = p5.Vector.random2D().mult(0.4);
    dot.add(pull).add(push).add(wander);
    circle(dot.x, dot.y, 4);
  }
}

Wie du interaktive generative Kunst erkennst

Wenn du einem Werk begegnest, verraten dir ein paar Fragen, um welche Art es sich handelt.

1. Verändert sich etwas, wenn niemand es berührt? In generativen Arbeiten oft ja, auch wenn ein generatives Werk ebenso auf eine Eingabe warten oder ein einziges festes Ergebnis hervorbringen kann.
2. Verändert es sich wegen dir? Wenn ja, ist es interaktiv.
3. Würde dieselbe Handlung zweimal genau dasselbe Ergebnis ergeben? Wenn nicht, entscheiden der Zufall oder der Zustand des Systems einen Teil mit.
4. Kannst du es lernen? Bei vielen guten Werken spürst du die Regeln nach einer Minute: keine Anleitung, sondern ein Gefühl dafür, wie sich das System verhält.

Wer das Ergebnis macht

In der interaktiven generativen Kunst hat das Ergebnis drei Beteiligte. Die Künstlerin oder der Künstler entwirft die Regeln und den Spielraum dessen, was geschehen kann. Das System entscheidet mit seinen Anfangsbedingungen und seinem Zufall unzählige Einzelheiten innerhalb dieses Spielraums. Und die Besucherin oder der Besucher wählt durch Bewegen, Drücken und Loslassen, welche dieser Möglichkeiten erscheinen. Wie viel Gewicht jede Seite hat, ist selbst eine Gestaltungsentscheidung, und Werke auf dieser Achse zu vergleichen, ist eine der aufschlussreichsten Arten, sie zu betrachten.

Für die größere Familie der Werke, die auf ihr Publikum antworten, von Duchamp bis Rain Room, sieh dir den Leitfaden an, was interaktive Kunst ist. Für Systeme, die du sofort im Browser ausprobieren kannst, darunter Silk und Blob Opera, wirf einen Blick auf die Auswahl interaktiver Websites.