Em recente entrevista ao podcast 80.000 Hours, David Duvenaud, professor de Ciência da Computação na Universidade de Toronto, mas que até pouco tempo chefiava o setor de “avaliação de alinhamento” (alignment evals) de LLMs na Anthropic (Claude Code), apresentou a tese de seu recente artigo, “Gradual Disempowerment“, que gerou certo impacto. O ponto central de sua tese é que, mesmo se resolvermos o “problema de alinhamento da IA” — garantindo que as IAs sigam fielmente os objetivos das pessoas que as operam — dinâmicas específicas de uma cultura influenciada pela comunicação entre máquinas poderiam levar a civilização a uma situação onde os humanos perdem o controle sobre o futuro.
Eu acho que as pessoas estão realmente reconhecendo que as IAs são uma frente chave nas batalhas culturais, ou melhor, as “referências culturais” das IAs ou as “constituições das IAs” (veja “Claude’s Constitution“) são uma frente chave nas batalhas culturais. Certo? É como antes, quando as pessoas costumavam atuar nas batalhas editoriais da Wikipedia, para tentar influenciar a narrativa. E creio que agora, se você tem a intenção de definir a narrativa sobre algum tópico controverso, e você pode ter acesso ao controle de como o ChatGPT o enquadra, isso irá influir decisivamente na resposta cultural padrão. Em certo sentido, isso é o que já vemos acontecer. As pessoas em geral já perceberam que forças econômicas ou culturais ou forças geopolíticas acabam nos empurrando para cenários em que, na minha opinião, ninguém escolheria a priori. O nosso argumento no artigo, é que o desenvolvimento e a proliferação de IAs mais inteligentes do que os humanos vão tornar essas forças ainda mais fortes, o que pode resultar na remoção de algumas das salvaguardas que tendem a manter nossa civilização servindo aos interesses humanos no longo prazo.
Vale conferir!
