Em recente entrevista ao podcast 80.000 Hours, David Duvenaud, professor de Ciência da Computação na Universidade de Toronto, mas que até pouco tempo chefiava o setor de “avaliação de alinhamento” (alignment evals) de LLMs na Anthropic (Claude Code), apresentou a tese de seu recente artigo, “Gradual Disempowerment“, que gerou certo impacto. O ponto central de sua tese é que, mesmo se resolvermos o “problema de alinhamento da IA” — garantindo que as IAs sigam fielmente os objetivos das pessoas que as operam — dinâmicas específicas de uma cultura influenciada pela comunicação entre máquinas poderiam levar a civilização a uma situação onde os humanos perdem o controle sobre o futuro.
Eu acho que as pessoas estão realmente reconhecendo que as IAs são uma frente chave nas batalhas culturais, ou melhor, as “referências culturais” das IAs ou as “constituições das IAs” (veja “Claude’s Constitution“) são uma frente chave nas batalhas culturais. Certo? É como antes, quando as pessoas costumavam atuar nas batalhas editoriais da Wikipedia, para tentar influenciar a narrativa. E creio que agora, se você tem a intenção de definir a narrativa sobre algum tópico controverso, e você pode ter acesso ao controle de como o ChatGPT o enquadra, isso irá influir decisivamente na resposta cultural padrão. Em certo sentido, isso é o que já vemos acontecer. As pessoas em geral já perceberam que forças econômicas ou culturais ou forças geopolíticas acabam nos empurrando para cenários em que, na minha opinião, ninguém escolheria a priori. O nosso argumento no artigo, é que o desenvolvimento e a proliferação de IAs mais inteligentes do que os humanos vão tornar essas forças ainda mais fortes, o que pode resultar na remoção de algumas das salvaguardas que tendem a manter nossa civilização servindo aos interesses humanos no longo prazo.
Vale conferir!
#Democracy might be a brief historical blip.
"I think people are really recognizing that AIs are a key, or sorry, the beliefs of AIs or the constitutions of AIs are a key front in cultural battlegrounds. Right?
It's just like people used to fight over Wikipedia to try to set the narrative. And I think now if you want to set the narrative on some controversial topic, if you can really control how ChatGPT frames it, that's kind of going to set what the default cultural answer is.
In a sense, this is business as usual. People already noticed that economics or cultural forces or geopolitical forces end up pushing us towards outcomes that I think no one would endorse. And we argue that the development and proliferation of smarter-than-human AI is going to make those forces even stronger and remove some of the safeguards that tend to keep our civilization serving human interests in the long run."
#Anthropic's former #AlignmentEvaluation team lead, Prof. #DavidDuvenaud
