L'arte generativa interattiva, spiegata

L'arte generativa interattiva è arte creata da un sistema di regole che funziona con una certa autonomia e risponde a ciò che fa il suo pubblico. L'artista progetta le regole. Quando vengono eseguite, diverse cose danno forma al risultato nello stesso momento: le regole stesse, le condizioni da cui parte il sistema, una dose di caso e l'input di chi gli sta davanti. Silk, dove il tuo tratto viene specchiato e ripetuto in un motivo che a mano non avresti mai disegnato, è un esempio noto. Lo sono anche i campi di particelle che si disperdono davanti alla tua mano e le macchine musicali che continuano a suonare finché non le tocchi.

Che cosa significa «generativa»

La definizione più citata è quella dell'artista e ricercatore Philip Galanter, nel suo saggio del 2003 What is Generative Art?. In parafrasi: l'arte generativa è qualsiasi pratica in cui l'artista mette in moto un sistema, che sia un insieme di regole scritte, un programma, una macchina o un'altra procedura, e quel sistema, con «un certo grado di autonomia», contribuisce all'opera finita o la produce.

Ne derivano tre conseguenze, e ognuna corregge un'idea diffusa.

• Non ha bisogno di un computer. I wall drawing di Sol LeWitt sono istruzioni scritte che altre persone eseguono; ogni esecuzione dello stesso disegno è leggermente diversa. Nei suoi «Paragraphs on Conceptual Art» (1967) scrisse che «l'idea diventa una macchina che fa l'arte».
• L'autonomia è parziale. Il sistema decide dettagli che l'artista non ha deciso uno per uno, ma è l'artista ad aver scelto le regole, la gamma dei valori e spesso il punto di partenza. Il caso di solito ha un ruolo, ma entro limiti fissati dall'artista.
• Il risultato può essere statico. Un disegno al plotter del 1965 o un'edizione stampata prodotta da un programma è generativa anche se il risultato non si muove mai più. Ciò che la rende generativa è il modo in cui è stata realizzata, non il fatto che continui a cambiare sullo schermo.

La definizione di Galanter è volutamente ampia, e non tutti usano la parola allo stesso modo. Alcuni artisti riservano «generativa» al lavoro computazionale; altri insistono sull'emergenza, quando il risultato mostra motivi che nessuna regola singola descrive. La definizione qui sopra è un terreno comune utile, non l'ultima parola.

Una breve storia dell'arte generativa

L'arte generativa è più antica di quanto molti pensino, e precede di decenni i generatori di immagini con l'IA.

• Primi anni Sessanta. Ai Bell Labs, A. Michael Noll cominciò nel 1962 a creare immagini con un computer e un plotter.
• 1965. Georg Nees espose disegni generati al computer a Stoccarda nel febbraio del 1965, spesso citata come la prima mostra di computer art; Frieder Nake espose le sue opere al plotter lo stesso anno.
• Dagli anni Sessanta in poi. Vera Molnár, pittrice che già lavorava a mano con variazioni sistematiche, passò al computer e divenne una delle pioniere del campo.
• Anni Settanta. Harold Cohen iniziò a sviluppare AARON, un programma che realizzava disegni secondo regole che continuò a perfezionare per decenni.
• 1970 e 1986. Comparvero due sistemi che chiunque programmi in modo creativo prima o poi incontra: il Gioco della vita di Conway, presentato al pubblico nella rubrica di Martin Gardner su Scientific American nell'ottobre del 1970, e i boids di Craig Reynolds, una simulazione del volo in stormo del 1986.
• Anni Novanta. Brian Eno rese popolare il termine musica generativa. Nel 1998 si tenne a Milano la prima conferenza internazionale Generative Art.
• Dagli anni Duemila in poi. Strumenti di programmazione creativa come Processing e p5.js hanno messo i sistemi generativi alla portata di artisti, designer e studenti, e il browser è diventato un luogo in cui mostrarli.

Tre sistemi, smontati

L'arte generativa si capisce più facilmente attraverso piccoli sistemi. Nessuno dei tre che seguono è nato come opera d'arte, e in parte è proprio questo il punto: un algoritmo da solo non è arte. Diventa materia per l'arte quando qualcuno lo sceglie, lo inquadra, lo regola e decide che cosa incontrerà chi guarda. Le immagini sono risultati reali di queste regole, generati per questa guida con semi fissi.

Il Gioco della vita: un comportamento che nessuno ha scritto

La regola. Una griglia di celle, ognuna viva o morta. A ogni passo, ogni cella conta le sue otto vicine. Una cella viva con due o tre vicine vive sopravvive; una morta con esattamente tre vicine vive prende vita; tutte le altre muoiono o restano vuote. L'ha ideato il matematico John Conway; Martin Gardner lo rese famoso nel 1970.

Che cosa succede. Da un inizio casuale, la griglia ribolle, si dirada e si assesta in un misto di forme immobili, forme che lampeggiano e piccole forme che viaggiano attraverso la griglia. Nessuno ha scritto da nessuna parte «crea una forma che viaggia».

Che cosa controlla chi lo crea. La regola stessa, che nella versione classica è fissa, ma anche tutto ciò che la circonda: il motivo di partenza o la sua densità, le dimensioni della griglia, la velocità e il modo in cui si disegnano le celle. Il ciano per le celle longeve qui sopra è una scelta, e cambia ciò che noti.

Che cosa potrebbe controllare chi visita. Nelle versioni interattive, disegni o cancelli celle mentre il sistema gira e guardi la regola prendere i tuoi segni e trasformarli in qualcosa che non avevi previsto. Puoi anche rallentarlo per vedere un singolo passo.

Perché conta. È la dimostrazione più chiara che un comportamento complesso può emergere da una regola brevissima, la promessa su cui si basa gran parte del lavoro generativo.

10 PRINT: il caso con una forma

La regola. Sul Commodore 64, una sola riga di BASIC, 10 PRINT CHR$(205.5+RND(1)); : GOTO 10, stampa a caso uno di due caratteri diagonali, ancora e ancora. Nick Montfort e nove coautori hanno scritto un libro intero su questa riga, pubblicato da MIT Press nel 2012 e disponibile online.

Che cosa succede. Lo schermo si riempie di qualcosa che si legge come un labirinto infinito. Ogni scelta è un lancio di moneta; il labirinto nasce dal vincolo di due caratteri su una griglia.

Che cosa controlla chi lo crea. I due caratteri, la griglia e le probabilità. La coppia di immagini qui sopra mostra fin dove arriva un solo parametro: stessa regola, stessa sequenza casuale, un numero diverso, un'immagine diversa.

Che cosa potrebbe controllare chi visita. In una versione interattiva, le probabilità, le dimensioni delle celle o i caratteri stessi, oppure un pennello che cambia le probabilità in una zona dello schermo.

Perché conta. Mostra che il caso è un materiale e non un'assenza di progetto. L'artista non sceglie ogni segno, ma sceglie lo spazio in cui ogni segno cade.

Boids: una folla nata da regole locali

La regola. Nel 1986 Craig Reynolds diede a ogni uccello simulato, un «boid», tre regole di guida basate solo sui vicini più prossimi: allontanarsi da quelli troppo vicini (separazione), adeguarsi alla loro direzione media (allineamento) e avvicinarsi alla loro posizione media (coesione).

Che cosa succede. Si formano gruppi che viaggiano, si dividono attorno agli ostacoli e si riuniscono. Nessun boid sa dello stormo, eppure lo stormo è ciò che vedi.

Che cosa controlla chi lo crea. Il peso di ogni regola, quanto lontano vede un boid, la sua velocità massima, quanti sono e come vengono disegnati. Piccoli cambiamenti nei pesi producono sciami compatti, derive sparse o caos.

Che cosa potrebbe controllare chi visita. Il tuo puntatore o la tua mano possono diventare una forza in più: un predatore da cui fuggire, un punto attorno a cui radunarsi, una corrente da seguire. La risposta della folla è l'immagine.

Perché conta. È la logica dietro la maggior parte dei lavori interattivi con particelle: nessun piano centrale, molte decisioni locali e una forza esterna, tu, di cui la folla deve tenere conto.

Dove entra in gioco l'interazione

Un sistema generativo può funzionare senza alcun pubblico. Diventa interattivo quando riceve input mentre gira. L'artista e ricercatore Ernest Edmonds scrive da decenni su questa relazione, tra l'altro in un saggio su come l'interazione influisce sul lavoro generativo.

Ci sono diversi modi in cui chi visita può entrare in un processo generativo, e la maggior parte delle opere ne combina due o tre.

• Regolare i parametri. Cambi i valori che usano le regole: velocità, densità, simmetria, colore. Il sistema resta lo stesso; cambia il suo carattere.
• Dare un seme. Dai al sistema qualcosa da cui partire, una linea, un suono, un punto, e le regole lo sviluppano. Silk funziona così: il tuo tratto è il seme e la simmetria fa il resto.
• Selezionare. Scegli tra i risultati del sistema, e il sistema genera nuove varianti a partire dalle tue scelte. In Galápagos di Karl Sims (1997, ICC di Tokyo), i visitatori salivano su sensori davanti a dodici schermi per scegliere gli organismi virtuali che si sarebbero accoppiati e avrebbero mutato.
• Suonare. Il sistema è uno strumento. Bloom, di Brian Eno e Peter Chilvers, si descrive come una macchina musicale infinita che puoi suonare o ascoltare mentre suona da sola.
• Essere una forza. La tua posizione o il tuo gesto entrano nella fisica del sistema. Le particelle fuggono, si radunano o vorticano. È la forma più corporea, e quella più spesso legata a una telecamera.

Arte generativa e arte generata con l'IA: qual è la differenza?

Le due vengono spesso confuse, e il dibattito sulle immagini fatte con l'IA rende più difficile parlare con chiarezza dell'una e dell'altra. Aiuta separare tre tipi di domande: quali sono le tecniche, che cosa ne fanno gli artisti e come si giudica l'autorialità.

Le tecniche

• Sistemi basati su regole e procedurali. Il comportamento nasce da regole scritte da una persona: costruzioni geometriche, automi cellulari come il Gioco della vita, fisica delle particelle, grammatiche che fanno crescere forme vegetali, funzioni di rumore che creano paesaggi. In linea di principio, ogni passo si può leggere e spiegare.
• Caso ed emergenza. Molti di questi sistemi usano il caso, ma il caso viene estratto da un intervallo fissato dall'artista, e i motivi interessanti emergono spesso dalle interazioni tra le parti più che da una singola regola.
• Modelli di apprendimento automatico. Un modello viene addestrato su un grande insieme di dati e ne apprende schemi statistici. Ciò che produce dipende da quei dati e dal processo di addestramento, che nessuno scrive passo per passo. I generatori da testo a immagine sono una famiglia di questi modelli; ce ne sono molte altre, compresi piccoli modelli che gli artisti addestrano sul proprio materiale.

Le due famiglie non sono opposte. L'arte generativa usa da tempo componenti appresi, e molte opere basate sull'IA sono generative nel senso di Galanter: un sistema messo in moto con una certa autonomia. Blob Opera, per esempio, è un'opera interattiva costruita attorno a un modello delle voci di quattro cantanti d'opera, che suoni trascinando.

Le pratiche

Ciò che cambia di più spesso non è la tecnica ma ciò che l'artista costruisce.

• Costruire un sistema. L'artista progetta le regole, oppure addestra e collega un modello, e il sistema è l'opera. I suoi risultati ne sono istanze.
• Usare uno strumento. L'artista usa un sistema esistente, che sia un'app di disegno, un filtro o un generatore di immagini, per fare qualcos'altro. Lo strumento è un mezzo e l'opera è il risultato. I pittori che usano macchine fotografiche o stampanti sono nella stessa posizione.
• Curare i risultati. L'artista esegue un sistema molte volte e sceglie, modifica e mette in sequenza i risultati. La selezione è una parte reale dell'autorialità, sia nella pratica generativa sia in quella basata sull'IA.

Una sola persona può fare tutte e tre le cose. Chi scrive prompt può anche costruire una pipeline attorno a un modello, selezionare con cura e intervenire molto sui risultati; chi scrive codice può usare una libreria che non ha progettato.

Questioni di autorialità

Chi è l'autore quando è un sistema a produrre i dettagli? Le risposte cambiano a seconda dell'opera e della persona, e persone ragionevoli non sono d'accordo. Per il lavoro basato su regole, l'opinione più diffusa è che l'artista sia autore del sistema e condivida i dettagli con il caso e, nelle opere interattive, con chi visita. Per i grandi modelli addestrati, il dibattito aggiunge domande sui dati da cui il modello ha imparato, sul ruolo delle persone che l'hanno costruito e su quanto la persona che lo usa dia forma al risultato. Queste domande non hanno un'unica risposta condivisa, e questa guida non prova a darne una.

Una distinzione pratica che regge: nella maggior parte dell'arte generativa basata su regole, il sistema si può descrivere per intero senza fare riferimento a immagini o suoni di altre persone. Nel lavoro costruito su un grande modello preaddestrato non è possibile, perché il comportamento del modello deriva dai suoi dati di addestramento. È una differenza tecnica e osservabile, qualunque cosa tu pensi dell'arte.

Il tuo corpo come input

L'input di un'opera generativa interattiva può essere qualsiasi cosa un computer sia in grado di misurare. Nel browser, tre sono i più comuni.

Puntatore e tocco

Il mouse, il trackpad e il touchscreen danno una posizione e una pressione. È già molto: la posizione può essere una forza, la pressione può essere un tenere premuto e il rilascio un evento. La maggior parte delle opere generative nel browser è pensata innanzitutto per questi.

Microfono

Il volume e l'altezza possono guidare un sistema, come in Messa di Voce (2003), la performance di Golan Levin e Zachary Lieberman che reagisce alla voce. Nel browser, il microfono richiede il tuo permesso esplicito.

Fotocamera e tracciamento della mano

Con una fotocamera, un modello può stimare dove si trovano le parti del tuo corpo. Il MediaPipe Hand Landmarker di Google restituisce ventuno punti per ogni mano rilevata: il polso e le articolazioni di ogni dito. Da quei punti un programma può stimare se la mano è aperta o chiusa, se pollice e dito si toccano in una pinza e dove si sta muovendo la mano. Questi valori diventano parametri del sistema.

I mondi di Synfield usano un piccolo vocabolario di questo tipo, muovere, tenere e rilasciare, e le tre immagini qui sopra sono catture reali da quei mondi. In Matter, una mano aperta o un puntatore in movimento spinge le particelle e una mano chiusa le attira; tenere scava un pozzo e rilasciare manda un'onda. In Mycelium la rete cresce da sola, si allunga verso la tua presenza e conserva una traccia che svanisce di dove sei stato. Entrambi funzionano con un mouse o con un dito; la fotocamera è facoltativa.

Crearne una tua

Anche una regola piccola può produrre qualcosa di sorprendente, ed è per questo che questa è una delle forme di arte digitale più accessibili da provare.

• Processing è un ambiente di programmazione pensato per gli artisti visivi, e l'inizio di una grande comunità.
• p5.js porta le stesse idee nel browser, con un editor online che non richiede installazione.
• Per il suono, ambienti di live coding come TidalCycles permettono di scrivere pattern che suonano mentre li modifichi.

Lo sketch qui sotto è un'opera generativa interattiva completa in circa trenta righe di p5.js. Combina i tre ingredienti di questa guida: regole (un'attrazione verso il puntatore e una spinta lontano dai vicini troppo vicini), caso (un piccolo vagare casuale) e input (il puntatore, e una pressione che inverte l'attrazione). È un parente semplificato dei boids.

// Una folla di punti: tre regole, un po' di caso e tu.
const COUNT = 120;
const TOO_CLOSE = 18; // prova 6, poi 40
let dots = [];

function setup() {
  createCanvas(600, 400);
  for (let i = 0; i < COUNT; i++) dots.push(createVector(random(width), random(height)));
}

function draw() {
  background(16, 20, 31, 60);
  noStroke();
  fill(183, 171, 232);
  const pointer = createVector(mouseX, mouseY);
  for (const dot of dots) {
    // Regola 1: andare alla deriva verso il puntatore (lontano da esso mentre premi).
    const pull = p5.Vector.sub(pointer, dot).setMag(0.6);
    if (mouseIsPressed) pull.mult(-1);
    // Regola 2: allontanarsi da qualsiasi punto troppo vicino.
    const push = createVector(0, 0);
    for (const other of dots) {
      const gap = dot.dist(other);
      if (other !== dot && gap < TOO_CLOSE) push.add(p5.Vector.sub(dot, other).setMag(1 - gap / TOO_CLOSE));
    }
    // Regola 3: un po' di caso, perché nessuna esecuzione sia uguale a un'altra.
    const wander = p5.Vector.random2D().mult(0.4);
    dot.add(pull).add(push).add(wander);
    circle(dot.x, dot.y, 4);
  }
}

Come riconoscere l'arte generativa interattiva

Quando incontri un'opera, alcune domande ti dicono di che tipo è.

1. Cambia qualcosa quando nessuno la tocca? Spesso sì nel lavoro generativo, anche se un'opera generativa può anche attendere un input o produrre un unico risultato fisso.
2. Cambia per merito tuo? Se sì, è interattiva.
3. La stessa azione ripetuta due volte darebbe esattamente lo stesso risultato? Se no, il caso o lo stato del sistema stanno decidendo una parte.
4. Puoi impararla? In molte opere riuscite cominci a sentire le regole dopo un minuto: non un manuale, ma una percezione di come si comporta il sistema.

Chi crea il risultato

Nell'arte generativa interattiva, il risultato ha tre autori. L'artista progetta le regole e il ventaglio di ciò che può succedere. Il sistema, con le sue condizioni di partenza e il suo caso, decide innumerevoli dettagli all'interno di quel ventaglio. E chi visita, muovendosi, premendo e lasciando andare, sceglie quali di quelle possibilità compaiono. Quanto peso abbia ciascuno è a sua volta una decisione di progetto, e confrontare le opere lungo questo asse è uno dei modi più rivelatori di guardarle.

Per la famiglia più ampia delle opere che rispondono al loro pubblico, da Duchamp a Rain Room, leggi la guida su che cos'è l'arte interattiva. Per sistemi che puoi provare subito nel browser, tra cui Silk e Blob Opera, guarda la selezione di siti web interattivi.