Nota de versão
O termo animismo (do latim animus, “alma, vida”) refere-se à cosmovisão segundo a qual entidades não humanas — como animais, plantas, objetos inanimados ou fenômenos naturais — possuem uma essência espiritual. Essa explicação foi acrescentada pelo tradutor, já que o termo, presente no título original, não é definido pelo autor ao longo do texto.
Fonte: Wikipedia
Fetiche (substantivo)
Um objeto inanimado, elemento natural, animal etc., reverenciado ou adorado por se acreditar que possui poderes mágicos, que é habitado por um espírito ou que é capaz de influenciar o mundo material ou os assuntos humanos.
Um objeto de devoção ou admiração excessiva ou irracional, ou de interesse obsessivo; uma obsessão.
Abro este texto com duas definições do Oxford English Dictionary para a palavra fetish (fetiche). Assim, ele se encaixa na série de citações que iniciei em 2021.
Uso o termo fetiche no contexto do debate atual sobre IA, especificamente os LLMs (Large Language Models).
Para ser mais preciso – e, infelizmente, evitando a hipérbole – algumas das declarações sobre o futuro da IA imitam (e têm origem em) o conceito escatológico do Arrebatamento (The Rapture), uma vertente particular do evangelicalismo americano que parece ter sido transportada para o mundo secular.
Algo que se soma às evidências da necessidade humana por religião dentro do processo de criação de sentido (sense-making).
Você não encontrará essa doutrina na Bíblia. É uma ideia do século XIX, que vê os “verdadeiros crentes” sendo arrebatados para um estado de bem-aventurança eterna; em contraste, todos os demais experimentarão o “choro e ranger de dentes”.
O conceito calvinista dos “eleitos” também se alinha a muitos dos tech bros, ressaltando ainda mais os paralelos.
Agora, para deixar claro: há um valor considerável em várias formas de amplificação algorítmica e mecânica da tomada de decisão humana – incluindo os LLMs.
Usei um deles para me ajudar a estruturar este texto, mas não para gerar o conteúdo.
No SenseMaker®, utilizamos diferentes formas de processamento algorítmico para criar alertas antecipatórios, e o próprio SenseMaker® foi desenhado para desenvolver conjuntos de dados de treinamento epistemicamente equilibrados.
Essas ferramentas são úteis – e estão se tornando cada vez mais valiosas –, mas antropomorfizá-las como inteligentes é profundamente problemático.
Este texto também serve como um prelúdio a um novo programa de pesquisa-ação e a eventos relacionados que estamos organizando para ajudar a restaurar o equilíbrio nesses temas – assunto do meu próximo artigo.
IA como fetiche
Primeiro, o fetiche como objeto de espírito e influência:
“Um objeto inanimado… acreditado possuir poderes mágicos, ser habitado por um espírito ou capaz de influenciar o mundo material.”
Observe um projeto comum de IA: é uma caixa-preta, uma sequência inanimada de pesos e matrizes – e ainda assim tratada como se fosse habitada por um oráculo.
Alimentamo-la com sacrifícios de dados e aguardamos suas profecias.
Falamos em “treinar”, não no sentido de engenharia, mas no de nutrir uma consciência nascente.
Atribuímos a ela uma forma de agência – “a IA decidiu”, “o modelo sugeriu” –, absolvendo-nos das decisões humanas embutidas em seus dados, parâmetros e funções “objetivas”.
Essa é uma relação animista clássica com uma ferramenta que nos recusamos a compreender.
Isso nos leva naturalmente ao segundo sentido do fetiche: objeto de devoção irracional.
“Um objeto de devoção ou admiração excessiva ou irracional… uma obsessão.”
A narrativa não é mais sobre o uso de uma ferramenta, mas sobre salvação e superação.
A IA vai resolver as mudanças climáticas, curar o câncer e eliminar o viés.
Questionar sua adoção não é ser prudente – é ser herético.
A lógica do culto prevalece: se a IA falha, é porque não tivemos fé suficiente (dados), ou executamos os rituais incorretamente (limpeza inadequada de dados).
A solução é sempre mais – mais dados, mais poder computacional, mais devoção.
As falhas do sistema são reinterpretadas como nossas próprias falhas; correlação se torna causalidade; e todo o processo de criação de sentido e julgamento humano é abandonado.
O que fazer nesse cenário de novo animismo?
Não se combate um fetiche com razão; criam-se novos rituais e heurísticas que exponham a natureza do objeto e limitem seu poder.
- Proibir a abstração.
Nunca permita que “a IA” seja discutida em termos genéricos.
Exija o nome do modelo específico, seu número de versão e o conjunto de dados de treinamento.
Force o “espírito animado” a retornar ao reino do inanimado e manufaturado.
“Modelo v3.2, treinado com dados de vendas do 3º trimestre” é uma ferramenta.
“A IA” é um fetiche – e uma forma perigosa de antropomorfismo. - Projetar para a incompetência.
Parta do princípio de que o modelo estará errado – e não apenas de forma aleatória, mas de maneiras novas, complexas e potencialmente catastróficas.
Execute sondagens seguras para falhar (safe-to-fail probes).
Não pergunte “o que ela pode fazer?”, e sim “como ela pode falhar?”.
Construa estratégias de contenção antes que o “espírito” decida se rebelar. - Criar rituais humanos de criação de sentido.
Institua sessões obrigatórias e inegociáveis de revisão humana, nas quais as pessoas devem interpretar e justificar as saídas da IA dentro de casos específicos e singulares.
Sem processamentos em lote.
Isso força a reativação do julgamento humano e quebra o feitiço da autoridade automatizada e incontestável. - Criar grupos híbridos de decisão.
Monte grupos operacionais que combinem agentes humanos e actantes de IA (não atores, no caso destes).
Observe os resultados ao longo do tempo e teste-os em ambientes simulados mediados por humanos antes de aplicá-los em decisões reais. - Não forçar a adoção de IA prematuramente para reduzir custos.
Os modelos de julgamento humano e de aprendizado por tutoria não podem ser restaurados uma vez abandonados.
Minimize riscos encontrando novas maneiras de engajar as partes sencientes de sua força de trabalho.
No máximo, seus colaboradores estão usando 20% do que sabem e do que os motiva no trabalho que realizam – mapeie isso e aproveite.
Se (ou, em muitos casos, quando) a IA falhar, você terá como se recuperar. - Se a IA for tão boa quanto (ou melhor que) o que você já faz, questione os produtos, não os produtores.
Muitos consultores apenas regurgitam material de relatórios anteriores; a IA fará isso melhor.
Mas talvez isso nem devesse ser feito.
Essa é uma oportunidade excelente para eliminar tarefas sem sentido, em vez de automatizá-las até o ponto em que não possam mais ser questionadas. - Os dados de treinamento são fundamentais.
Se sua IA não declara claramente o uso de seus dados, ela é perigosa.
Conjuntos de dados epistemicamente equilibrados são ainda mais críticos – e, lamentavelmente, amplamente negligenciados.
O estado atual da adoção de IA não é, em sua essência, uma transição tecnológica, mas uma regressão sociocognitiva.
Estamos construindo cultos de carga em altares de silício, adorando as saídas porque tememos a complexidade das entradas – e a imensidão de nossa própria responsabilidade.
A saída não é rejeitar a ferramenta, mas matar o fetiche.
Migrar do hábito da devoção para o da artesania.
Pegar o objeto, examinar suas costuras, entender suas propriedades materiais – e usá-lo de olhos abertos, mente engajada e agência intacta.
O espírito na máquina é apenas nossa projeção.
Está na hora de amadurecermos – e tomá-lo de volta.
Posts relacionados
No início do ano passado, escrevi uma série de textos com alternativas tanto para a palavra Artificial quanto para Intelligence.
Algorithmic Induction foi o primeiro, tratando dos problemas da IA ao degradar a tomada de decisão humana e expor as limitações da consultoria contemporânea.
O segundo, Anthropomorphising Idiot Savants, discutiu o ludismo, o engajamento com padrões e a necessidade de conjuntos de dados epistemicamente equilibrados.
Acumen Incited (uma conclusão em duas partes) explorou principalmente a empatia em sistemas humanos, além de temas relacionados de narrativa, significado e ação correta.
Também mencionei três romances distópicos sobre a questão da IA:
Surface Detail, de Iain M. Banks; o início de Dodge in Hell, de Neal Stephenson; e Admirável Mundo Novo, de Aldous Huxley.
A imagem do banner é de Johnny Cohen, editada e obtida via Unsplash.
Este artigo foi traduzido pela equipe The Cynefin Company Brazil.
Fonte: https://thecynefin.co/a-new-animism/
