Comment fonctionne l'art génératif interactif

L'art génératif interactif est un art produit par un système de règles qui fonctionne avec une certaine autonomie et répond à ce que fait son public. L'artiste conçoit les règles. Quand elles s'exécutent, plusieurs choses façonnent le résultat en même temps : les règles elles-mêmes, les conditions de départ du système, une part de hasard et ce que fait la personne qui se trouve devant. Silk, où ton tracé est reflété et répété jusqu'à former un motif que tu n'aurais pas dessiné à la main, en est un exemple bien connu. Tout comme les champs de particules qui s'éparpillent devant ta main, et les machines musicales qui continuent de jouer jusqu'à ce que tu les touches.

Ce que « génératif » veut dire

La définition la plus souvent citée vient de l'artiste et chercheur Philip Galanter, dans son article de 2003 What is Generative Art?. En substance : l'art génératif désigne toute pratique dans laquelle l'artiste met en mouvement un système, qu'il s'agisse d'un ensemble de règles écrites, d'un programme, d'une machine ou d'une autre procédure, et où ce système, avec « un certain degré d'autonomie », contribue à l'œuvre achevée ou la produit.

Trois conséquences en découlent, et chacune corrige une idée reçue.

• Il n'a pas besoin d'un ordinateur. Les dessins muraux de Sol LeWitt sont des instructions écrites que d'autres personnes exécutent ; chaque réalisation d'un même dessin diffère légèrement. Dans ses « Paragraphs on Conceptual Art » (1967), il écrivait que « l'idée devient une machine qui fait l'art ».
• L'autonomie est partielle. Le système décide de détails que l'artiste n'a pas fixés un par un, mais c'est l'artiste qui a choisi les règles, la plage de valeurs et souvent le point de départ. Le hasard joue généralement un rôle, mais dans des limites fixées par l'artiste.
• Le résultat peut être statique. Un dessin au traceur de 1965 ou une édition imprimée produite par un programme sont génératifs, même si le résultat ne bouge plus jamais. Ce qui les rend génératifs, c'est la façon dont ils ont été faits, pas le fait qu'ils continuent de changer à l'écran.

La définition de Galanter est volontairement large, et tout le monde n'emploie pas le mot de la même façon. Certains artistes réservent « génératif » au travail computationnel ; d'autres insistent sur l'émergence, quand le résultat fait apparaître des motifs qu'aucune règle ne décrit à elle seule. La définition ci-dessus est un terrain commun utile, pas le dernier mot.

Une brève histoire de l'art génératif

L'art génératif est plus ancien qu'on ne le croit souvent, et de plusieurs décennies antérieur aux générateurs d'images par IA.

• Début des années 1960. Aux Bell Labs, A. Michael Noll commence à créer des images avec un ordinateur et un traceur en 1962.
• 1965. Georg Nees expose des dessins générés par ordinateur à Stuttgart en février 1965, ce qui est souvent considéré comme la première exposition d'art par ordinateur ; Frieder Nake expose ses propres œuvres au traceur la même année.
• Des années 1960 à aujourd'hui. Vera Molnár, peintre qui travaillait déjà à la main sur des variations systématiques, passe à l'ordinateur et devient l'une des pionnières du domaine.
• Années 1970. Harold Cohen commence à développer AARON, un programme qui réalise des dessins selon des règles qu'il n'a cessé d'affiner pendant des décennies.
• 1970 et 1986. Deux systèmes que tout codeur créatif finit par croiser apparaissent : le Jeu de la vie de Conway, présenté au public dans la chronique de Martin Gardner dans Scientific American en octobre 1970, et les boids de Craig Reynolds, une simulation de vol en nuée de 1986.
• Années 1990. Brian Eno popularise l'expression musique générative. La première conférence internationale Generative Art se tient à Milan en 1998.
• À partir des années 2000. Des outils de programmation créative comme Processing et p5.js mettent les systèmes génératifs à la portée des artistes, des designers et des étudiants, et le navigateur devient un lieu pour les montrer.

Trois systèmes, démontés

L'art génératif se comprend le plus facilement à travers de petits systèmes. Aucun des trois qui suivent n'a été conçu comme une œuvre d'art, et c'est justement une partie du propos : un algorithme n'est pas de l'art en soi. Il devient matériau artistique quand quelqu'un le choisit, le cadre, le règle et décide de ce que le spectateur va rencontrer. Les images sont des résultats réels de ces règles, produits pour ce guide avec des graines aléatoires fixes.

Le Jeu de la vie : un comportement que personne n'a écrit

La règle. Une grille de cellules, chacune vivante ou morte. À chaque étape, chaque cellule compte ses huit voisines. Une cellule vivante entourée de deux ou trois voisines vivantes survit ; une cellule morte entourée d'exactement trois voisines vivantes naît ; toutes les autres meurent ou restent vides. Le mathématicien John Conway l'a conçue ; Martin Gardner l'a rendue célèbre en 1970.

Ce qui se passe. À partir d'un départ aléatoire, la grille s'agite, se dépeuple et se stabilise en un mélange de formes immobiles, de formes qui clignotent et de petites formes qui voyagent à travers la grille. Nulle part personne n'a écrit « crée une forme qui se déplace ».

Ce que contrôle la personne qui le crée. La règle elle-même, fixe dans la version classique, mais aussi tout ce qui l'entoure : le motif de départ ou sa densité, la taille de la grille, la vitesse et la manière de dessiner les cellules. Le cyan des cellules les plus anciennes, ci-dessus, est un choix, et il change ce que l'on remarque.

Ce qu'un visiteur pourrait contrôler. Dans les versions interactives, tu dessines ou effaces des cellules pendant que le système tourne, et tu vois la règle s'emparer de tes traces et les transformer en quelque chose que tu n'avais pas prévu. Tu peux aussi le ralentir pour observer une seule étape.

Pourquoi c'est important. C'est la démonstration la plus claire qu'un comportement complexe peut émerger d'une règle très courte, la promesse sur laquelle repose la plupart des œuvres génératives.

10 PRINT : le hasard prend forme

La règle. Sur le Commodore 64, une seule ligne de BASIC, 10 PRINT CHR$(205.5+RND(1)); : GOTO 10, affiche au hasard l'un de deux caractères diagonaux, encore et encore. Nick Montfort et neuf coauteurs ont consacré un livre entier à cette ligne, publié par MIT Press en 2012 et disponible en ligne.

Ce qui se passe. L'écran se remplit de ce qui ressemble à un labyrinthe sans fin. Chaque choix est un pile ou face ; le labyrinthe naît de la contrainte de deux caractères sur une grille.

Ce que contrôle la personne qui le crée. Les deux caractères, la grille et les probabilités. La paire d'images montre jusqu'où va un seul paramètre : même règle, même suite aléatoire, un autre nombre, une autre image.

Ce qu'un visiteur pourrait contrôler. Dans une version interactive, les probabilités, la taille des cases ou les caractères eux-mêmes, ou encore un pinceau qui modifie les probabilités dans une zone de l'écran.

Pourquoi c'est important. Il montre que le hasard est un matériau et non une absence de conception. L'artiste ne choisit pas chaque trait, mais l'espace dans lequel chaque trait tombe.

Les boids : une foule née de règles locales

La règle. En 1986, Craig Reynolds a donné à chaque oiseau simulé, un « boid », trois règles de pilotage fondées uniquement sur ses voisins proches : s'éloigner de ceux qui sont trop près (séparation), s'aligner sur leur direction moyenne (alignement) et se rapprocher de leur position moyenne (cohésion).

Ce qui se passe. Des groupes se forment, voyagent, se scindent pour contourner des obstacles et se rejoignent. Aucun boid ne connaît la nuée, et pourtant c'est la nuée que l'on voit.

Ce que contrôle la personne qui le crée. Le poids de chaque règle, la distance à laquelle un boid voit, sa vitesse maximale, leur nombre et leur dessin. De petits changements de poids produisent des essaims serrés, des dérives lâches ou le chaos.

Ce qu'un visiteur pourrait contrôler. Ton pointeur ou ta main peuvent devenir une force de plus : un prédateur à fuir, un point autour duquel se rassembler, un courant à suivre. La réaction de la foule, c'est l'image.

Pourquoi c'est important. C'est la logique de la plupart des œuvres interactives à particules : aucun plan central, beaucoup de décisions locales, et une force extérieure, toi, dont la foule doit tenir compte.

Où intervient l'interaction

Un système génératif peut fonctionner sans aucun public. Il devient interactif quand il reçoit des informations pendant qu'il tourne. L'artiste et chercheur Ernest Edmonds écrit sur cette relation depuis des décennies, notamment dans un article sur l'influence de l'interaction sur l'œuvre générative.

Un visiteur peut entrer dans un processus génératif de plusieurs façons, et la plupart des œuvres en combinent deux ou trois.

• Régler des paramètres. Tu modifies les valeurs qu'utilisent les règles : vitesse, densité, symétrie, couleur. Le système reste le même ; son caractère change.
• Semer. Tu donnes au système quelque chose dont partir, une ligne, un son, un point, et les règles le développent. Silk fonctionne ainsi : ton tracé est la graine et la symétrie fait le reste.
• Sélectionner. Tu choisis parmi les résultats du système, qui se reproduit à partir de tes choix. Dans Galápagos de Karl Sims (1997, ICC de Tokyo), les visiteurs se plaçaient sur des capteurs devant douze écrans pour choisir les organismes virtuels qui allaient s'accoupler et muter.
• Jouer. Le système est un instrument. Bloom, de Brian Eno et Peter Chilvers, se présente comme une machine à musique sans fin dont tu peux jouer, ou que tu peux regarder jouer toute seule.
• Être une force. Ta position ou ton geste entrent dans la physique du système. Les particules fuient, se rassemblent ou tourbillonnent. C'est la forme la plus corporelle, et celle qu'on associe le plus souvent à une caméra.

Art génératif et art généré par IA : quelle différence ?

On les confond souvent, et le débat autour des images produites par IA rend plus difficile d'en parler clairement. Il est utile de distinguer trois types de questions : quelles sont les techniques, ce que les artistes en font, et comment on juge l'autorat.

Les techniques

• Systèmes à base de règles et procéduraux. Le comportement découle de règles écrites par une personne : constructions géométriques, automates cellulaires comme le Jeu de la vie, physique de particules, grammaires qui font pousser des formes végétales, fonctions de bruit qui génèrent des reliefs. En principe, chaque étape peut être lue et expliquée.
• Hasard et émergence. Beaucoup de ces systèmes recourent au hasard, mais ce hasard est tiré dans une plage fixée par l'artiste, et les motifs intéressants émergent souvent des interactions entre les parties plutôt que d'une règle isolée.
• Modèles d'apprentissage automatique. Un modèle est entraîné sur un grand jeu de données et en apprend des régularités statistiques. Ce qu'il produit dépend de ces données et du processus d'entraînement, que personne n'écrit étape par étape. Les générateurs d'images à partir de texte sont une famille de ces modèles ; il en existe bien d'autres, dont de petits modèles que des artistes entraînent sur leur propre matériau.

Les deux familles ne s'opposent pas. L'art génératif utilise depuis longtemps des composants appris, et beaucoup d'œuvres fondées sur l'IA sont génératives au sens de Galanter : un système mis en mouvement avec une certaine autonomie. Blob Opera, par exemple, est une œuvre interactive construite autour d'un modèle des voix de quatre chanteurs et chanteuses d'opéra, que l'on fait chanter en les faisant glisser.

Les pratiques

Ce qui diffère le plus n'est souvent pas la technique, mais ce que l'artiste construit.

• Construire un système. L'artiste conçoit les règles, ou entraîne et branche un modèle, et le système est l'œuvre. Chacun de ses résultats en est une manifestation.
• Utiliser un outil. L'artiste se sert d'un système existant, application de dessin, filtre ou générateur d'images, pour faire autre chose. L'outil est un moyen, l'œuvre est le résultat. Les peintres qui utilisent un appareil photo ou une imprimante sont aussi dans cette situation.
• Sélectionner des résultats. L'artiste fait tourner un système de nombreuses fois, puis choisit, retouche et ordonne les résultats. La sélection fait réellement partie de l'autorat, dans la pratique générative comme dans celle fondée sur l'IA.

Une même personne peut faire les trois. Quelqu'un qui écrit des prompts peut aussi construire toute une chaîne de traitement autour d'un modèle, sélectionner avec soin et retoucher en profondeur ; quelqu'un qui écrit du code peut utiliser une bibliothèque qu'il n'a pas conçue.

Questions d'autorat

Qui est l'auteur quand un système décide des détails ? Les réponses varient selon l'œuvre et selon les personnes, et des désaccords raisonnables existent. Pour le travail à base de règles, l'opinion courante est que l'artiste est l'auteur du système et partage les détails avec le hasard et, dans les œuvres interactives, avec les visiteurs. Pour les grands modèles entraînés, le débat ajoute des questions sur les données dont le modèle a appris, sur le rôle des personnes qui l'ont construit et sur la part du résultat qui revient à celle ou celui qui l'utilise. Ces questions n'ont pas de réponse unique et établie, et ce guide ne prétend pas en donner une.

Une distinction pratique tient la route : dans la plupart des œuvres génératives à base de règles, le système peut être décrit entièrement sans référence aux images ou aux sons d'autres personnes. Dans une œuvre fondée sur un grand modèle préentraîné, ce n'est pas possible, car le comportement du modèle vient de ses données d'entraînement. Cette différence est technique et observable, quoi que l'on pense de l'art.

Ton corps comme entrée

L'entrée d'une œuvre générative interactive peut être tout ce qu'un ordinateur sait mesurer. Dans les navigateurs, trois sont courantes.

Pointeur et toucher

La souris, le pavé tactile et l'écran tactile fournissent une position et un appui. C'est déjà beaucoup : la position peut être une force, un appui peut se prolonger et le relâchement peut être un événement. La plupart des œuvres génératives dans le navigateur sont d'abord conçues pour ces entrées.

Micro

Le volume et la hauteur du son peuvent piloter un système, comme dans Messa di Voce (2003), la performance de Golan Levin et Zachary Lieberman qui réagit à la voix. Dans un navigateur, le micro nécessite ton autorisation explicite.

Caméra et suivi des mains

Avec une caméra, un modèle peut estimer où se trouvent les parties de ton corps. Le MediaPipe Hand Landmarker de Google renvoie vingt et un points pour chaque main détectée : le poignet et les articulations de chaque doigt. À partir de ces points, un programme peut estimer si la main est ouverte ou fermée, si le pouce et l'index se pincent, et dans quelle direction la main se déplace. Ces valeurs deviennent des paramètres du système.

Les mondes de Synfield utilisent un petit vocabulaire de ce genre, bouger, maintenir et relâcher, et les trois images ci-dessus en sont des captures réelles. Dans Matter, une main ouverte ou un pointeur en mouvement repousse les particules et une main fermée les attire ; maintenir creuse un puits et relâcher envoie une onde. Dans Mycelium, le réseau pousse tout seul, s'étend vers ta présence et garde une trace de ton passage, qui s'estompe peu à peu. Les deux fonctionnent avec une souris ou un doigt ; la caméra est facultative.

Créer le tien

Une petite règle peut déjà produire quelque chose de surprenant, ce qui fait de cette forme l'une des plus accessibles de l'art numérique.

• Processing est un environnement de programmation conçu pour les artistes visuels, et le point de départ d'une grande communauté.
• p5.js apporte les mêmes idées dans le navigateur, avec un éditeur en ligne qui ne demande aucune installation.
• Pour le son, des environnements de codage en direct (live coding) comme TidalCycles permettent d'écrire des motifs qui jouent pendant que tu les modifies.

Le croquis ci-dessous est une œuvre générative interactive complète en une trentaine de lignes de p5.js. Il réunit les trois ingrédients de ce guide : des règles (une attraction vers le pointeur et une poussée qui éloigne les voisins trop proches), du hasard (une petite errance aléatoire) et une entrée (le pointeur, et un appui qui inverse l'attraction). C'est un cousin simplifié des boids.

// Une foule de points : trois règles, un peu de hasard, et toi.
const COUNT = 120;
const TOO_CLOSE = 18; // essaie 6, puis 40
let dots = [];

function setup() {
  createCanvas(600, 400);
  for (let i = 0; i < COUNT; i++) dots.push(createVector(random(width), random(height)));
}

function draw() {
  background(16, 20, 31, 60);
  noStroke();
  fill(183, 171, 232);
  const pointer = createVector(mouseX, mouseY);
  for (const dot of dots) {
    // Règle 1 : dériver vers le pointeur (s'en éloigner pendant l'appui).
    const pull = p5.Vector.sub(pointer, dot).setMag(0.6);
    if (mouseIsPressed) pull.mult(-1);
    // Règle 2 : s'écarter de tout point trop proche.
    const push = createVector(0, 0);
    for (const other of dots) {
      const gap = dot.dist(other);
      if (other !== dot && gap < TOO_CLOSE) push.add(p5.Vector.sub(dot, other).setMag(1 - gap / TOO_CLOSE));
    }
    // Règle 3 : un peu de hasard, pour que deux exécutions ne soient jamais identiques.
    const wander = p5.Vector.random2D().mult(0.4);
    dot.add(pull).add(push).add(wander);
    circle(dot.x, dot.y, 4);
  }
}

Comment reconnaître l'art génératif interactif

Face à une œuvre, quelques questions suffisent pour savoir de quel type elle est.

1. Quelque chose change-t-il quand personne n'y touche ? Souvent oui dans les œuvres génératives, même si une pièce générative peut aussi attendre une entrée ou produire un unique résultat fixe.
2. Change-t-elle à cause de toi ? Si oui, elle est interactive.
3. Le même geste répété donnerait-il exactement le même résultat ? Si non, le hasard ou l'état du système prennent une part des décisions.
4. Peux-tu l'apprendre ? Dans beaucoup de bonnes œuvres, tu commences à sentir les règles au bout d'une minute : pas un mode d'emploi, mais une idée de la façon dont le système se comporte.

Qui fait le résultat

Dans l'art génératif interactif, le résultat a trois contributeurs. L'artiste conçoit les règles et l'éventail de ce qui peut arriver. Le système, avec ses conditions de départ et son hasard, décide d'innombrables détails à l'intérieur de cet éventail. Et le visiteur, en bougeant, en appuyant et en relâchant, choisit lesquelles de ces possibilités apparaissent. Le poids de chacun est en soi une décision de conception, et comparer des œuvres sous cet angle est l'une des façons les plus révélatrices de les regarder.

Pour la famille plus large des œuvres qui répondent à leur public, de Duchamp à Rain Room, consulte le guide qu'est-ce que l'art interactif. Pour des systèmes à essayer tout de suite dans un navigateur, dont Silk et Blob Opera, consulte la sélection de sites web interactifs où se perdre avec plaisir.