Com funciona l'art generatiu interactiu

L'art generatiu interactiu és l'art que crea un sistema de regles que funciona amb una certa autonomia i respon al que fa el seu públic. L'artista dissenya les regles. Quan es posen en marxa, diverses coses donen forma al resultat alhora: les regles mateixes, les condicions de les quals parteix el sistema, una dosi d'atzar i el que faci qui hi ha al davant. Silk, on el teu traç es reflecteix i es repeteix fins a formar un dibuix que no hauries fet a mà, n'és un exemple conegut. També ho són els camps de partícules que s'escampen davant la teva mà i les màquines musicals que continuen sonant fins que les toques.

Què vol dir «generatiu»

La definició més citada és la de l'artista i investigador Philip Galanter, en el seu article del 2003 What is Generative Art?. Dit amb altres paraules: l'art generatiu és qualsevol pràctica en què l'artista posa en marxa un sistema, sigui un conjunt de regles escrites, un programa, una màquina o un altre procediment, i aquest sistema, amb «un cert grau d'autonomia», contribueix a l'obra acabada o la produeix.

D'aquí se'n desprenen tres conseqüències, i cadascuna corregeix una idea molt estesa.

• No necessita un ordinador. Els dibuixos murals de Sol LeWitt són instruccions escrites que executen altres persones; cada execució del mateix dibuix és lleugerament diferent. Als seus «Paragraphs on Conceptual Art» (1967) va escriure que «la idea esdevé una màquina que fa l'art».
• L'autonomia és parcial. El sistema decideix detalls que l'artista no ha decidit un per un, però l'artista va triar les regles, el marge de valors i, sovint, el punt de partida. L'atzar sol intervenir-hi, però dins d'uns límits que va fixar l'artista.
• El resultat pot ser estàtic. Un dibuix fet amb un traçador gràfic el 1965 o una edició impresa produïda per un programa són generatius encara que el resultat no es torni a moure mai. El que els fa generatius és com es van fer, no que continuïn canviant en una pantalla.

La definició de Galanter és àmplia expressament, i no tothom fa servir la paraula de la mateixa manera. Alguns artistes reserven «generatiu» per a la feina computacional; d'altres insisteixen en l'emergència, quan el resultat mostra patrons que cap regla no descriu per si sola. La definició anterior és un terreny comú útil, no la darrera paraula.

Una breu història de l'art generatiu

L'art generatiu és més antic del que se sol pensar, i dècades anterior als generadors d'imatges amb IA.

• Inicis dels anys seixanta. Als Bell Labs, A. Michael Noll va començar a crear imatges amb un ordinador i un traçador gràfic el 1962.
• 1965. Georg Nees va mostrar dibuixos generats per ordinador a Stuttgart el febrer del 1965, en la que sovint es considera la primera exposició d'art per ordinador; Frieder Nake va exposar les seves pròpies obres fetes amb traçador aquell mateix any.
• Dels anys seixanta endavant. Vera Molnár, una pintora que ja havia treballat a mà amb variacions sistemàtiques, es va passar a l'ordinador i es va convertir en una de les pioneres del camp.
• Anys setanta. Harold Cohen va començar a desenvolupar AARON, un programa que feia dibuixos segons unes regles que ell va anar perfeccionant durant dècades.
• 1970 i 1986. Van aparèixer dos sistemes amb què es troba tothom qui programa amb finalitats creatives: el Joc de la Vida de Conway, presentat al públic a la columna de Martin Gardner a Scientific American l'octubre del 1970, i els boids de Craig Reynolds, una simulació del vol en estol del 1986.
• Anys noranta. Brian Eno va popularitzar el terme música generativa. La primera conferència internacional Generative Art es va fer a Milà el 1998.
• Dels anys 2000 endavant. Eines de programació creativa com Processing i p5.js van posar els sistemes generatius a l'abast d'artistes, dissenyadors i estudiants, i el navegador es va convertir en un lloc on mostrar-los.

Tres sistemes, desmuntats

L'art generatiu s'entén millor a través de sistemes petits. Cap dels tres que segueixen no es va crear com a obra d'art, i això és part del que importa aquí: un algorisme no és art per si mateix. Es converteix en material artístic quan algú el tria, l'emmarca, l'ajusta i decideix què trobarà l'espectador. Les imatges són resultats reals d'aquestes regles, generats per a aquesta guia amb llavors aleatòries fixes.

El Joc de la Vida: un comportament que ningú no va escriure

La regla. Una quadrícula de cel·les, cadascuna viva o morta. A cada pas, cada cel·la compta les seves vuit veïnes. Una cel·la viva amb dues o tres veïnes vives sobreviu; una cel·la morta amb exactament tres veïnes vives cobra vida; totes les altres moren o continuen buides. La va dissenyar el matemàtic John Conway; Martin Gardner la va fer famosa el 1970.

Què passa. A partir d'un inici aleatori, la quadrícula s'agita, es va buidant i s'estabilitza en una barreja de formes quietes, formes que parpellegen i petites formes que viatgen per la quadrícula. Ningú no va escriure enlloc «crea una forma que viatgi».

Què controla qui el crea. La regla en si, que en la versió clàssica és fixa, però també tot el que l'envolta: el patró inicial o la seva densitat, la mida de la quadrícula, la velocitat i la manera de dibuixar les cel·les. El cian de les cel·les longeves d'aquí dalt és una tria, i canvia allò en què et fixes.

Què podria controlar un visitant. En les versions interactives, dibuixes o esborres cel·les mentre el sistema funciona i veus com la regla agafa les teves marques i les converteix en una cosa que no pretenies. També el pots alentir per veure un sol pas.

Per què importa. És la demostració més clara que un comportament complex pot sorgir d'una regla molt curta, la promesa en què es basa la major part de la feina generativa.

10 PRINT: atzar amb forma

La regla. Al Commodore 64, una sola línia de BASIC, 10 PRINT CHR$(205.5+RND(1)); : GOTO 10, imprimeix a l'atzar un de dos caràcters diagonals, una vegada i una altra. Nick Montfort i nou coautors més van escriure tot un llibre sobre aquesta línia, publicat per MIT Press el 2012 i disponible en línia.

Què passa. La pantalla s'omple del que sembla un laberint infinit. Cada elecció és com tirar una moneda a l'aire; el laberint sorgeix de la restricció de dos caràcters sobre una quadrícula.

Què controla qui el crea. Els dos caràcters, la quadrícula i les probabilitats. La parella d'imatges mostra fins on arriba un sol paràmetre: la mateixa regla, la mateixa seqüència aleatòria, un altre nombre, una altra imatge.

Què podria controlar un visitant. En una versió interactiva, les probabilitats, la mida de les cel·les o els caràcters mateixos, o un pinzell que canvia les probabilitats en una zona de la pantalla.

Per què importa. Mostra que l'atzar és un material i no una absència de disseny. L'artista no tria cada traç, però sí l'espai on cau cadascun.

Boids: una multitud a partir de regles locals

La regla. El 1986, Craig Reynolds va donar a cada ocell simulat, un boid, tres regles de direcció basades només en els seus veïns propers: allunyar-se dels que són massa a prop (separació), igualar-ne el rumb mitjà (alineació) i acostar-se a la seva posició mitjana (cohesió).

Què passa. Es formen grups que viatgen, se separen per vorejar obstacles i es tornen a ajuntar. Cap boid no sap res de l'estol, i tanmateix l'estol és el que veus.

Què controla qui el crea. El pes de cada regla, fins on veu un boid, la seva velocitat màxima, quants n'hi ha i com es dibuixen. Petits canvis en els pesos produeixen eixams compactes, derives soltes o caos.

Què podria controlar un visitant. El teu punter o la teva mà es poden convertir en una força més: un depredador de qui fugir, un punt al voltant del qual aplegar-se, un corrent que seguir. La resposta de la multitud és la imatge.

Per què importa. És la lògica que hi ha darrere de la majoria d'obres interactives amb partícules: cap pla central, moltes decisions locals i una força externa, tu, que la multitud ha de tenir en compte.

On entra la interacció

Un sistema generatiu pot funcionar sense cap públic. Esdevé interactiu quan rep informació mentre funciona. L'artista i investigador Ernest Edmonds fa dècades que escriu sobre aquesta relació, entre d'altres en un article sobre com influeix la interacció en l'obra generativa.

Un visitant pot entrar en un procés generatiu de diverses maneres, i la majoria d'obres en combinen dues o tres.

• Ajustar paràmetres. Canvies els valors que fan servir les regles: velocitat, densitat, simetria, color. El sistema és el mateix; el seu caràcter canvia.
• Sembrar. Dones al sistema alguna cosa de què partir, una línia, un so, un punt, i les regles la desenvolupen. Silk funciona així: el teu traç és la llavor i la simetria fa la resta.
• Seleccionar. Tries entre els resultats del sistema, i aquest es reprodueix a partir de les teves eleccions. A Galápagos, de Karl Sims (1997, ICC de Tòquio), els visitants es col·locaven damunt d'uns sensors davant de dotze pantalles per triar els organismes virtuals que s'aparellarien i mutarien.
• Tocar. El sistema és un instrument. Bloom, de Brian Eno i Peter Chilvers, es presenta com una màquina de música infinita que pots tocar o mirar com es toca tota sola.
• Ser una força. La teva posició o el teu gest entren en la física del sistema. Les partícules fugen, s'apleguen o fan remolins. És la forma més corporal, i la que més sovint s'associa a una càmera.

Art generatiu i art generat amb IA: en què es diferencien?

Sovint es confonen, i el debat sobre les imatges fetes amb IA fa més difícil parlar de qualsevol dels dos amb claredat. Ajuda separar tres tipus de preguntes: quines són les tècniques, què en fan els artistes i com es jutja l'autoria.

Les tècniques

• Sistemes basats en regles i procedimentals. El comportament prové de regles que va escriure una persona: construccions geomètriques, autòmats cel·lulars com el Joc de la Vida, física de partícules, gramàtiques que fan créixer formes de plantes, funcions de soroll que generen terrenys. En principi, cada pas es pot llegir i explicar.
• Atzar i emergència. Molts d'aquests sistemes fan servir l'atzar, però un atzar tret d'un marge que va fixar l'artista, i els patrons interessants sovint sorgeixen de les interaccions entre les parts més que no pas d'una regla concreta.
• Models d'aprenentatge automàtic. Un model s'entrena amb un gran conjunt de dades i n'aprèn patrons estadístics. El que produeix depèn d'aquestes dades i del procés d'entrenament, que ningú no escriu pas a pas. Els generadors d'imatges a partir de text són una família d'aquests models; n'hi ha moltes més, entre les quals models petits que els artistes entrenen amb el seu propi material.

Les dues famílies no són oposades. L'art generatiu fa molt de temps que fa servir components apresos, i moltes obres basades en IA són generatives en el sentit de Galanter: un sistema posat en marxa amb una certa autonomia. Blob Opera, per exemple, és una obra interactiva construïda al voltant d'un model de les veus de quatre cantants d'òpera, que toques arrossegant-les.

Les pràctiques

El que més canvia no sol ser la tècnica, sinó el que construeix l'artista.

• Construir un sistema. L'artista dissenya les regles, o entrena i connecta un model, i el sistema és l'obra. Cada resultat n'és una manifestació.
• Fer servir una eina. L'artista utilitza un sistema que ja existeix, sigui una aplicació de dibuix, un filtre o un generador d'imatges, per fer una altra cosa. L'eina és un mitjà i l'obra és el resultat. Els pintors que fan servir càmeres o impressores també són en aquesta situació.
• Seleccionar resultats. L'artista executa un sistema moltes vegades i en tria, edita i ordena els resultats. La selecció és una part real de l'autoria, tant en la pràctica generativa com en la basada en IA.

Una mateixa persona pot fer totes tres coses. Qui escriu instruccions per a un model també pot construir-hi al voltant una cadena de processos, seleccionar amb cura i editar a fons; qui escriu codi pot fer servir una biblioteca que no va dissenyar.

Qüestions d'autoria

Qui n'és l'autor quan un sistema decideix els detalls? Les respostes varien segons l'obra i la persona, i hi ha desacords raonables. En la feina basada en regles, l'opinió habitual és que l'artista és l'autor del sistema i en comparteix els detalls amb l'atzar i, en les obres interactives, amb els visitants. En el cas dels grans models entrenats, el debat hi afegeix preguntes sobre les dades amb què va aprendre el model, el paper de les persones que el van construir i fins a quin punt influeix en el resultat qui el fa servir. Aquestes preguntes no tenen una única resposta establerta, i aquesta guia no pretén donar-la.

Una distinció pràctica que s'aguanta: en la major part de l'art generatiu basat en regles, el sistema es pot descriure completament sense fer referència a imatges o sons d'altres persones. En una obra construïda sobre un gran model preentrenat no és possible, perquè el comportament del model prové de les seves dades d'entrenament. És una diferència tècnica i observable, pensis el que pensis de l'art.

El teu cos com a entrada

L'entrada d'una obra generativa interactiva pot ser qualsevol cosa que un ordinador sigui capaç de mesurar. Als navegadors, n'hi ha tres d'habituals.

Punter i tacte

El ratolí, el ratolí tàctil i la pantalla tàctil proporcionen una posició i una pulsació. Això ja és molt: la posició pot ser una força, una pulsació es pot mantenir i el moment de deixar anar pot ser un esdeveniment. La majoria d'obres generatives al navegador es dissenyen primer per a aquestes entrades.

Micròfon

El volum i l'altura del so poden moure un sistema, com a Messa di Voce (2003), la performance de Golan Levin i Zachary Lieberman que reacciona a la veu. En un navegador, el micròfon necessita el teu permís explícit.

Càmera i seguiment de mans

Amb una càmera, un model pot estimar on són les parts del teu cos. MediaPipe Hand Landmarker, de Google, retorna vint-i-un punts per cada mà que detecta: el canell i les articulacions de cada dit. A partir d'aquests punts, un programa pot estimar si la mà és oberta o tancada, si l'índex i el polze s'ajunten i cap on es mou la mà. Aquests valors es converteixen en paràmetres del sistema.

Els mons de Synfield fan servir un petit vocabulari d'aquest tipus, moure, mantenir i deixar anar, i les tres imatges d'aquí dalt en són captures reals. A Matter, una mà oberta o un punter en moviment empenyen les partícules i una mà tancada les atreu; mantenir-la cava un pou i deixar anar llança una ona. A Mycelium, la xarxa creix tota sola, s'estén cap a la teva presència i conserva una petjada d'on has estat, que es va apagant. Tots dos funcionen amb el ratolí o amb el dit; la càmera és opcional.

Crea el teu

Una regla petita ja pot produir una cosa sorprenent, i això fa d'aquesta una de les formes d'art digital més fàcils de provar.

• Processing és un entorn de programació pensat per a artistes visuals, i l'origen d'una gran comunitat.
• p5.js porta les mateixes idees al navegador, amb un editor en línia que no necessita instal·lació.
• Per al so, entorns de programació en directe (live coding) com TidalCycles et permeten escriure patrons que sonen mentre els canvies.

L'esbós que segueix és una obra generativa interactiva completa en una trentena de línies de p5.js. Combina els tres ingredients d'aquesta guia: regles (una atracció cap al punter i una empenta que allunya les veïnes massa properes), atzar (un petit vagareig aleatori) i entrada (el punter, i una pulsació que inverteix l'atracció). És un parent simplificat dels boids.

// Una multitud de punts: tres regles, una mica d'atzar i tu.
const COUNT = 120;
const TOO_CLOSE = 18; // prova 6, i després 40
let dots = [];

function setup() {
  createCanvas(600, 400);
  for (let i = 0; i < COUNT; i++) dots.push(createVector(random(width), random(height)));
}

function draw() {
  background(16, 20, 31, 60);
  noStroke();
  fill(183, 171, 232);
  const pointer = createVector(mouseX, mouseY);
  for (const dot of dots) {
    // Regla 1: anar cap al punter (allunyar-se'n mentre prems).
    const pull = p5.Vector.sub(pointer, dot).setMag(0.6);
    if (mouseIsPressed) pull.mult(-1);
    // Regla 2: apartar-se de qualsevol punt massa proper.
    const push = createVector(0, 0);
    for (const other of dots) {
      const gap = dot.dist(other);
      if (other !== dot && gap < TOO_CLOSE) push.add(p5.Vector.sub(dot, other).setMag(1 - gap / TOO_CLOSE));
    }
    // Regla 3: una mica d'atzar, perquè no hi hagi dues execucions iguals.
    const wander = p5.Vector.random2D().mult(0.4);
    dot.add(pull).add(push).add(wander);
    circle(dot.x, dot.y, 4);
  }
}

Com reconèixer l'art generatiu interactiu

Quan et trobes amb una obra, unes poques preguntes et diuen de quin tipus és.

1. Canvia alguna cosa quan ningú no la toca? En la feina generativa, sovint sí, tot i que una peça generativa també pot esperar una entrada o produir un únic resultat fix.
2. Canvia pel que fas tu? Si és així, és interactiva.
3. La mateixa acció repetida donaria exactament el mateix resultat? Si no, l'atzar o l'estat del sistema prenen part de les decisions.
4. La pots aprendre? En moltes bones obres comences a intuir les regles al cap d'un minut: no pas un manual, sinó una idea de com es comporta el sistema.

Qui fa el resultat

En l'art generatiu interactiu, el resultat té tres autors. L'artista dissenya les regles i el ventall del que pot passar. El sistema, amb les seves condicions inicials i el seu atzar, decideix innombrables detalls dins d'aquest ventall. I el visitant, quan es mou, prem i deixa anar, tria quines d'aquestes possibilitats apareixen. Quant pesa cadascun és en si mateix una decisió de disseny, i comparar obres segons aquest criteri és una de les maneres més reveladores de mirar-les.

Per a la família més àmplia d'obres que responen al seu públic, de Duchamp a Rain Room, consulta la guia sobre què és l'art interactiu. Per a sistemes que pots provar ara mateix en un navegador, entre els quals Silk i Blob Opera, consulta la selecció de webs interactives on val la pena perdre's.