Como funciona a arte generativa interativa

Arte generativa interativa é a arte feita por um sistema de regras que funciona com certa autonomia e responde ao que o público faz. O artista cria as regras. Quando elas são executadas, várias coisas dão forma ao resultado ao mesmo tempo: as próprias regras, as condições de onde o sistema parte, uma dose de acaso e a ação de quem está diante dele. Silk, em que o seu traço é espelhado e repetido até formar um desenho que você não faria à mão, é um exemplo conhecido. Também são exemplos os campos de partículas que se espalham diante da sua mão e as máquinas musicais que continuam tocando até que você as toque.

O que "generativo" significa

A definição mais citada vem do artista e pesquisador Philip Galanter, em seu artigo de 2003 What is Generative Art?. Em paráfrase: arte generativa é qualquer prática em que o artista coloca em movimento um sistema, seja um conjunto de regras escritas, um programa, uma máquina ou outro procedimento, e esse sistema, com "algum grau de autonomia", contribui para a obra final ou a produz.

Daí decorrem três consequências, e cada uma corrige uma ideia muito comum.

• Não precisa de computador. Os desenhos murais de Sol LeWitt são instruções escritas que outras pessoas executam; cada execução do mesmo desenho sai um pouco diferente. Em seus "Paragraphs on Conceptual Art" (1967), ele escreveu que "a ideia se torna uma máquina que faz a arte".
• A autonomia é parcial. O sistema decide detalhes que o artista não decidiu um por um, mas foi o artista quem escolheu as regras, a faixa de valores e, muitas vezes, o ponto de partida. O acaso costuma ter um papel, mas dentro de limites que o artista definiu.
• O resultado pode ser estático. Um desenho feito com plotter em 1965 ou uma edição impressa produzida por um programa são generativos, mesmo que o resultado nunca mais se mova. O que os torna generativos é a forma como foram feitos, não o fato de continuarem mudando na tela.

A definição de Galanter é ampla de propósito, e nem todo mundo usa a palavra do mesmo jeito. Alguns artistas reservam "generativo" para o trabalho computacional; outros enfatizam a emergência, quando o resultado mostra padrões que nenhuma regra isolada descreve. A definição acima é um terreno comum útil, não a palavra final.

Uma breve história da arte generativa

A arte generativa é mais antiga do que muita gente imagina, e décadas mais velha que os geradores de imagem por IA.

• Início dos anos 1960. Nos Bell Labs, A. Michael Noll começou a criar imagens com um computador e um plotter em 1962.
• 1965. Georg Nees mostrou desenhos gerados por computador em Stuttgart em fevereiro de 1965, no que costuma ser considerado a primeira exposição de arte computacional; Frieder Nake expôs suas próprias obras feitas com plotter no mesmo ano.
• Dos anos 1960 em diante. Vera Molnár, pintora que já trabalhava à mão com variações sistemáticas, passou para o computador e se tornou uma das pioneiras da área.
• Anos 1970. Harold Cohen começou a desenvolver o AARON, um programa que fazia desenhos segundo regras que ele continuou refinando por décadas.
• 1970 e 1986. Surgiram dois sistemas que todo programador criativo acaba conhecendo: o Jogo da Vida de Conway, apresentado ao público na coluna de Martin Gardner na Scientific American em outubro de 1970, e os boids de Craig Reynolds, uma simulação de revoada de 1986.
• Anos 1990. Brian Eno popularizou o termo música generativa. A primeira conferência internacional Generative Art aconteceu em Milão em 1998.
• Dos anos 2000 em diante. Ferramentas de programação criativa como Processing e p5.js colocaram os sistemas generativos ao alcance de artistas, designers e estudantes, e o navegador virou um lugar para mostrá-los.

Três sistemas, desmontados

A arte generativa fica mais fácil de entender por meio de sistemas pequenos. Nenhum dos três a seguir foi criado como obra de arte, e isso faz parte do argumento: um algoritmo não é arte por si só. Ele se torna material artístico quando alguém o escolhe, o enquadra, o ajusta e decide o que o espectador vai encontrar. As imagens são resultados reais dessas regras, gerados para este guia com sementes aleatórias fixas.

O Jogo da Vida: um comportamento que ninguém escreveu

A regra. Uma grade de células, cada uma viva ou morta. A cada passo, cada célula conta suas oito vizinhas. Uma célula viva com duas ou três vizinhas vivas sobrevive; uma célula morta com exatamente três vizinhas vivas ganha vida; todas as outras morrem ou continuam vazias. Quem a criou foi o matemático John Conway; Martin Gardner a tornou famosa em 1970.

O que acontece. A partir de um começo aleatório, a grade se agita, vai se esvaziando e se acomoda numa mistura de formas paradas, formas que piscam e pequenas formas que viajam pela grade. Ninguém escreveu em lugar nenhum "crie uma forma que viaje".

O que quem cria controla. A própria regra, que na versão clássica é fixa, mas também tudo o que a cerca: o padrão inicial ou sua densidade, o tamanho da grade, a velocidade e a forma de desenhar as células. O ciano das células longevas acima é uma escolha, e muda aquilo em que você repara.

O que um visitante poderia controlar. Nas versões interativas, você desenha ou apaga células enquanto o sistema roda e vê a regra pegar as suas marcas e transformá-las em algo que você não pretendia. Também dá para desacelerar e ver um único passo.

Por que importa. É a demonstração mais clara de que um comportamento complexo pode surgir de uma regra muito curta, a promessa em que se apoia a maior parte da arte generativa.

10 PRINT: acaso com forma

A regra. No Commodore 64, uma única linha de BASIC, 10 PRINT CHR$(205.5+RND(1)); : GOTO 10, imprime ao acaso um de dois caracteres diagonais, de novo e de novo. Nick Montfort e mais nove coautores escreveram um livro inteiro sobre essa linha, publicado pela MIT Press em 2012 e disponível on-line.

O que acontece. A tela se enche do que parece um labirinto sem fim. Cada escolha é um cara ou coroa; o labirinto surge da restrição de dois caracteres numa grade.

O que quem cria controla. Os dois caracteres, a grade e as probabilidades. O par de imagens mostra até onde vai um único parâmetro: a mesma regra, a mesma sequência aleatória, outro número, outra imagem.

O que um visitante poderia controlar. Numa versão interativa, as probabilidades, o tamanho das células ou os próprios caracteres, ou um pincel que muda as probabilidades numa região da tela.

Por que importa. Mostra que o acaso é um material, e não uma ausência de projeto. O artista não escolhe cada traço, mas escolhe o espaço em que cada traço cai.

Boids: uma multidão a partir de regras locais

A regra. Em 1986, Craig Reynolds deu a cada pássaro simulado, um "boid", três regras de direção baseadas apenas nos vizinhos próximos: afastar-se dos que estão perto demais (separação), acompanhar a direção média deles (alinhamento) e aproximar-se da posição média deles (coesão).

O que acontece. Grupos se formam, viajam, se dividem para contornar obstáculos e voltam a se juntar. Nenhum boid sabe da revoada, e ainda assim a revoada é o que você vê.

O que quem cria controla. O peso de cada regra, até onde um boid enxerga, sua velocidade máxima, quantos são e como são desenhados. Pequenas mudanças nos pesos produzem enxames compactos, derivas soltas ou caos.

O que um visitante poderia controlar. O seu ponteiro ou a sua mão podem virar mais uma força: um predador do qual fugir, um ponto em torno do qual se reunir, uma corrente a seguir. A reação da multidão é a imagem.

Por que importa. É a lógica por trás da maioria das obras interativas com partículas: nenhum plano central, muitas decisões locais e uma força externa, você, que a multidão precisa levar em conta.

Onde entra a interação

Um sistema generativo pode funcionar sem público nenhum. Ele se torna interativo quando recebe informações enquanto funciona. O artista e pesquisador Ernest Edmonds escreve sobre essa relação há décadas, inclusive num artigo sobre como a interação influencia a obra generativa.

Há várias maneiras de um visitante entrar num processo generativo, e a maioria das obras combina duas ou três.

• Ajustar parâmetros. Você muda os valores que as regras usam: velocidade, densidade, simetria, cor. O sistema é o mesmo; o seu caráter muda.
• Semear. Você dá ao sistema algo de onde partir, uma linha, um som, um ponto, e as regras o desenvolvem. O Silk funciona assim: o seu traço é a semente e a simetria faz o resto.
• Selecionar. Você escolhe entre os resultados do sistema, e ele se reproduz a partir das suas escolhas. Em Galápagos, de Karl Sims (1997, ICC de Tóquio), os visitantes ficavam sobre sensores diante de doze telas para escolher os organismos virtuais que iriam se acasalar e sofrer mutações.
• Tocar. O sistema é um instrumento. Bloom, de Brian Eno e Peter Chilvers, se apresenta como uma máquina de música infinita que você pode tocar, ou ver tocando sozinha.
• Ser uma força. A sua posição ou o seu gesto entram na física do sistema. As partículas fogem, se reúnem ou rodopiam. É a forma mais corporal, e a mais associada a uma câmera.

Arte generativa e arte gerada por IA: qual é a diferença?

As duas costumam ser confundidas, e o debate sobre imagens feitas com IA torna mais difícil falar de qualquer uma delas com clareza. Ajuda separar três tipos de pergunta: quais são as técnicas, o que os artistas fazem com elas e como se avalia a autoria.

As técnicas

• Sistemas baseados em regras e procedurais. O comportamento vem de regras que uma pessoa escreveu: construções geométricas, autômatos celulares como o Jogo da Vida, física de partículas, gramáticas que fazem crescer formas de plantas, funções de ruído que geram relevos. Em princípio, cada passo pode ser lido e explicado.
• Acaso e emergência. Muitos desses sistemas usam o acaso, mas um acaso tirado de uma faixa que o artista definiu, e os padrões interessantes muitas vezes emergem das interações entre as partes, e não de uma regra isolada.
• Modelos de aprendizado de máquina. Um modelo é treinado com um grande conjunto de dados e aprende com ele padrões estatísticos. O que ele produz depende desses dados e do processo de treinamento, que ninguém escreve passo a passo. Os geradores de imagem a partir de texto são uma família desses modelos; há muitas outras, inclusive modelos pequenos que artistas treinam com o próprio material.

As duas famílias não são opostas. A arte generativa usa componentes aprendidos há muito tempo, e muitas obras baseadas em IA são generativas no sentido de Galanter: um sistema posto em movimento com certa autonomia. Blob Opera, por exemplo, é uma obra interativa construída em torno de um modelo das vozes de quatro cantores de ópera, que você toca arrastando-os.

As práticas

O que mais muda muitas vezes não é a técnica, mas o que o artista constrói.

• Construir um sistema. O artista cria as regras, ou treina e conecta um modelo, e o sistema é a obra. Cada resultado é uma manifestação desse sistema.
• Usar uma ferramenta. O artista usa um sistema que já existe, seja um app de desenho, um filtro ou um gerador de imagens, para fazer outra coisa. A ferramenta é um meio e a obra é o resultado. Pintores que usam câmeras ou impressoras também estão nessa posição.
• Selecionar resultados. O artista executa um sistema muitas vezes e escolhe, edita e ordena os resultados. A seleção é uma parte real da autoria, tanto na prática generativa quanto na baseada em IA.

Uma mesma pessoa pode fazer as três coisas. Quem escreve prompts também pode construir todo um fluxo de processamento em torno de um modelo, selecionar com cuidado e editar a fundo; quem escreve código pode usar uma biblioteca que não projetou.

Questões de autoria

Quem é o autor quando um sistema decide os detalhes? As respostas variam de obra para obra e de pessoa para pessoa, e há divergências razoáveis. No trabalho baseado em regras, a visão mais comum é que o artista é o autor do sistema e divide os detalhes com o acaso e, nas obras interativas, com os visitantes. No caso dos grandes modelos treinados, o debate acrescenta perguntas sobre os dados com que o modelo aprendeu, o papel das pessoas que o construíram e o quanto quem o usa molda o resultado. Essas perguntas não têm uma resposta única e assentada, e este guia não tenta dar uma.

Uma distinção prática que se sustenta: na maior parte da arte generativa baseada em regras, o sistema pode ser descrito por completo sem nenhuma referência a imagens ou sons de outras pessoas. Numa obra construída sobre um grande modelo pré-treinado, isso não é possível, porque o comportamento do modelo vem dos seus dados de treinamento. Essa diferença é técnica e observável, seja qual for a sua opinião sobre a arte.

O seu corpo como entrada

A entrada de uma obra generativa interativa pode ser qualquer coisa que um computador consiga medir. Nos navegadores, três são comuns.

Ponteiro e toque

O mouse, o touchpad e a tela sensível ao toque fornecem uma posição e um clique ou toque. Isso já é muito: a posição pode ser uma força, um toque pode ser sustentado e o momento de soltar pode ser um acontecimento. A maioria das obras generativas no navegador é pensada primeiro para essas entradas.

Microfone

O volume e a altura do som podem conduzir um sistema, como em Messa di Voce (2003), a performance de Golan Levin e Zachary Lieberman que reage à voz. No navegador, o microfone precisa da sua permissão explícita.

Câmera e rastreamento das mãos

Com uma câmera, um modelo pode estimar onde estão as partes do seu corpo. O MediaPipe Hand Landmarker, do Google, retorna vinte e um pontos para cada mão que detecta: o pulso e as articulações de cada dedo. A partir desses pontos, um programa pode estimar se a mão está aberta ou fechada, se o polegar e o indicador estão em pinça e para onde a mão está se movendo. Esses valores viram parâmetros do sistema.

Os mundos do Synfield usam um pequeno vocabulário desse tipo, mover, segurar e soltar, e as três imagens acima são capturas reais deles. Em Matter, uma mão aberta ou um ponteiro em movimento empurra as partículas e uma mão fechada as atrai; segurar cava um poço e soltar libera uma onda. Em Mycelium, a rede cresce sozinha, se estende em direção à sua presença e guarda um rastro de onde você esteve, que vai se apagando. Os dois funcionam com mouse ou com o dedo; a câmera é opcional.

Crie o seu

Uma regra pequena já pode produzir algo surpreendente, e isso faz desta uma das formas de arte digital mais acessíveis para experimentar.

• Processing é um ambiente de programação criado para artistas visuais, e o ponto de partida de uma grande comunidade.
• p5.js leva as mesmas ideias para o navegador, com um editor on-line que não exige instalação.
• Para som, ambientes de programação ao vivo (live coding) como o TidalCycles permitem escrever padrões que tocam enquanto você os modifica.

O esboço abaixo é uma obra generativa interativa completa em cerca de trinta linhas de p5.js. Ele junta os três ingredientes deste guia: regras (uma atração em direção ao ponteiro e um empurrão para longe das vizinhas próximas demais), acaso (uma pequena deriva aleatória) e entrada (o ponteiro, e um clique que inverte a atração). É um parente simplificado dos boids.

// Uma multidão de pontos: três regras, um pouco de acaso e você.
const COUNT = 120;
const TOO_CLOSE = 18; // tente 6, depois 40
let dots = [];

function setup() {
  createCanvas(600, 400);
  for (let i = 0; i < COUNT; i++) dots.push(createVector(random(width), random(height)));
}

function draw() {
  background(16, 20, 31, 60);
  noStroke();
  fill(183, 171, 232);
  const pointer = createVector(mouseX, mouseY);
  for (const dot of dots) {
    // Regra 1: ir em direção ao ponteiro (afastar-se dele enquanto você pressiona).
    const pull = p5.Vector.sub(pointer, dot).setMag(0.6);
    if (mouseIsPressed) pull.mult(-1);
    // Regra 2: afastar-se de qualquer ponto que esteja perto demais.
    const push = createVector(0, 0);
    for (const other of dots) {
      const gap = dot.dist(other);
      if (other !== dot && gap < TOO_CLOSE) push.add(p5.Vector.sub(dot, other).setMag(1 - gap / TOO_CLOSE));
    }
    // Regra 3: um pouco de acaso, para que nenhuma execução seja igual a outra.
    const wander = p5.Vector.random2D().mult(0.4);
    dot.add(pull).add(push).add(wander);
    circle(dot.x, dot.y, 4);
  }
}

Como reconhecer arte generativa interativa

Diante de uma obra, algumas perguntas dizem de que tipo ela é.

1. Algo muda quando ninguém mexe nela? Muitas vezes sim, na arte generativa, embora uma peça generativa também possa esperar uma entrada ou produzir um único resultado fixo.
2. Ela muda por causa de você? Se sim, é interativa.
3. A mesma ação repetida daria exatamente o mesmo resultado? Se não, o acaso ou o estado do sistema estão tomando parte das decisões.
4. Dá para aprendê-la? Em muitas boas obras, você começa a sentir as regras depois de um minuto: não um manual, mas uma noção de como o sistema se comporta.

Quem faz o resultado

Na arte generativa interativa, o resultado tem três autores. O artista cria as regras e o leque do que pode acontecer. O sistema, com suas condições iniciais e seu acaso, decide inúmeros detalhes dentro desse leque. E o visitante, ao se mover, pressionar e soltar, escolhe quais dessas possibilidades aparecem. Quanto peso cada um tem é em si uma decisão de projeto, e comparar obras por esse critério é uma das maneiras mais reveladoras de olhar para elas.

Para a família mais ampla de obras que respondem ao público, de Duchamp a Rain Room, veja o guia sobre o que é arte interativa. Para sistemas que você pode experimentar agora mesmo no navegador, entre eles Silk e Blob Opera, veja a seleção de sites interativos em que vale a pena se perder.