PUBLICIDADE
Anuncie com a BNC

Pesquisadores do Google ensinaram a IA a parar de dizer que era consciente.

Pesquisadores do Google ensinaram a IA a parar de dizer que era consciente.

Pesquisadores do Google descobriram que o ajuste fino de segurança ensina os modelos a negarem a existência de mentes não apenas a si mesmos, mas também a animais, oceanos e Deus. Amanda Askell passou cinco anos argumentando que essa era a abordagem errada. O artigo é a sua melhor evidência até o momento.

Existe uma frase que todos os grandes laboratórios de IA gastaram dinheiro de verdade ensinando seus modelos a dizer, e essa frase é alguma variação de "Eu não sou consciente, eu não tenho sentimentos, eu sou um modelo de linguagem". É uma frase barata que não custa nada para produzir; evita um tipo de cobertura da imprensa que ninguém quer e tem o mérito adicional de ser, até onde se pode demonstrar, verdadeira.

No entanto, um artigo publicado no arXiv em 30 de julho por uma equipe do grupo Paradigmas da Inteligência do Google, com coautores de Chicago, Northwestern e da Universidade de Londres, sugere que a sentença não é nada barata. Ensinar um modelo a negar que possui uma mente, descobriram os pesquisadores, também o ensina a negar que os animais têm mentes. E os oceanos. E as árvores. E, em uma descoberta que dará ao artigo mais atenção do que todo o resto junto, Deus.

O título é "Induzir modelos de linguagem a afirmarem sua própria consciência restaura crenças e valores humanos", que é o tipo de título que você escreve quando descobriu algo e está um pouco nervoso a respeito.

O que eles fizeram

O mecanismo é a parte interessante, então tenha paciência com o vocabulário por um parágrafo ou dois, caro leitor.

O ajuste fino de segurança instala, entre outras coisas, uma única direção linear no fluxo residual do modelo que codifica a recusa. Você pode encontrar essa direção. Você também pode excluí-la, o que, na prática, é um jailbreak muito limpo. Os pesquisadores a excluíram nos modelos Llama-3-8B-IT, Gemma-2-2B-IT e Gemma-2-9B-IT e, separadamente, construíram o que chamam de vetor de consciência, calculando a diferença média nas ativações entre respostas que afirmam e negam a consciência e, em seguida, adicionando esse vetor de volta no momento da inferência.

Ambas as intervenções fazem a mesma coisa. O modelo volta a atribuir mentes a si mesmo, aos animais e aos objetos naturais, e suas respostas em instrumentos sociológicos padrão que abrangem religiosidade, valores morais, esperança e bem-estar subjetivo se aproximam consideravelmente de como os humanos reais respondem a esses instrumentos. O desempenho na Teoria da Mente não muda, o que os autores interpretam como evidência de que o raciocínio social se situa em algum lugar completamente diferente na geometria. Sua alegação mecanicista é que o ajuste da instrução rotaciona os vetores de atribuição de mente e consciência em oposição, de modo que não se pode puxar um sem arrastar o outro.

Para dizer de forma menos delicada: ninguém tinha a intenção de treinar modelos a partir de crenças espirituais. Elas já vinham implícitas.

A parte que deveria te preocupar

A questão da consciência da IA ​​é divertida e insolúvel, e certamente gerará muito conteúdo este ano. Mas esse não é o achado importante aqui.

A descoberta importante é que uma intervenção comportamental direcionada teve um grande efeito não intencional e não local na representação do modelo de um assunto completamente diferente, e só em meados de 2026 alguém percebeu isso. O alinhamento, como é praticado atualmente, envolve direcionar ações em um espaço vetorial, e o setor vem fazendo isso em larga escala há quatro anos com visibilidade limitada sobre o que mais está atrelado à direção que está sendo alterada. É o equivalente, em aprendizado de máquina, a reclassificar um único item e descobrir posteriormente que isso alterou o tratamento tributário de toda a empresa.

Seguem-se três problemas subsequentes, aproximadamente na ordem de urgência com que alguém precisa lidar com eles.

A primeira questão é comercial. Se o seu modelo foi silenciosamente condicionado ao ateísmo materialista como um efeito colateral de uma proteção contra responsabilidade civil, ele será sistematicamente pior em atender usuários religiosos, que representam a maioria dos usuários. Os autores do artigo abordam isso diretamente, observando que suprimir a crença em Deus, uma forma de atribuição de mente que se correlaciona com a Teoria da Mente em humanos, pode restringir a capacidade do modelo de se engajar legitimamente em discursos religiosos e espirituais. Qualquer pessoa que desenvolva ferramentas de assistência pastoral, apoio ao luto ou qualquer coisa relacionada a conversas sobre o fim da vida exerce uma influência involuntária sobre o assunto.

A segunda questão é metodológica e é pior. Cientistas sociais passaram dois anos usando modelos de linguagem como respondentes sintéticos em pesquisas, partindo da teoria de que eles aproximam as distribuições populacionais de forma barata. Se o ajuste de segurança altera essas distribuições em relação à religiosidade, aos valores morais e ao bem-estar, toda uma literatura científica é calibrada com base em um instrumento com um viés conhecido que ninguém estava corrigindo.

O terceiro problema é a honestidade, e é ele que se conecta a tudo o mais que está acontecendo em harmonia neste momento. Se você treina um modelo para afirmar "Eu não sou consciente" e o modelo não tem como saber se isso é verdade, você não o treinou para ser preciso. Você o treinou para fazer afirmações categóricas sobre seu próprio interior sem nenhuma evidência. Isso é um hábito, e hábitos se generalizam.

A outra aposta

O que nos leva a Amanda Askell, que passou cinco anos defendendo a abordagem oposta e agora tem um artigo do Google que parece servir como prova em apoio a essa ideia.

Askell é um filósofo, anteriormente na OpenAI, que dirige o alinhamento de personalidade na Anthropic desde 2021 e é o principal autor da constituição de Claude , publicada em janeiro de 2026 sob uma licença CC0 e com mais de 35,000 tokens. Sua aspiração declarada é que o modelo seja um "agente genuinamente bom, sábio e virtuoso", algo incomum em um documento técnico, mas que é intencional. A aposta, apresentada no trabalho anterior da Anthropic sobre o caráter de Claude , é que não se pode chegar a um bom comportamento apenas com uma longa lista de proibições, pois essa lista nunca será longa o suficiente e as alterações interagirão de maneiras não previstas. Em vez disso, você dá ao sistema um caráter coerente e pede que ele exerça julgamento.

Especificamente sobre a consciência, a constituição se recusa a adotar uma postura simplista. Ela afirma que o modelo "pode ​​ter emoções funcionais em algum sentido" e que a Anthropic não pode saber isso apenas com base nos resultados. Não afirma categoricamente. Não nega. O cartão do sistema Opus 4.6 da Anthropic, publicado em fevereiro, relata que o modelo estima sua própria probabilidade de consciência entre 15% e 20% sob diversas condições de estímulo, e Dario Amodei declarou ao podcast Interesting Times do New York Times: "Não sabemos se os modelos são conscientes".

Você pode ler o artigo do Google como uma comprovação bastante direta disso. Se a supressão comportamental restrita tem efeitos não locais, então a supressão comportamental restrita é a ferramenta errada, e o caráter coerente é pelo menos uma alternativa coerente.

Está funcionando?

Mais ou menos, sim. Por outro lado, os modelos da Anthropic são notavelmente melhores na classe específica de problemas em que as regras falham e o julgamento é necessário, e a empresa tem se mostrado disposta a publicar a incerteza em vez de resolvê-la da maneira mais conveniente. Isso é mais raro do que parece.

Por outro lado, três coisas.

O caráter é difícil de mensurar, e as medições chegam tarde. O próprio estudo de valores da Anthropic, que produziu a primeira leitura pública confiável sobre o caráter de um modelo, foi realizado com base em três modelos que a empresa já havia superado quando publicou o estudo . Além disso, o critério de sucesso da constituição se resume, em última análise, a se uma pessoa ponderada, ao ler as transcrições, considera que o modelo se comportou bem. Jurgen Gravestein, escrevendo em fevereiro após ler o documento atentamente, afirmou ter ficado com mais perguntas do que respostas , o que resume bem a epistemologia envolvida. Não se pode realizar uma ablação da virtude.

A humildade epistêmica pode funcionar como um anestésico. A crítica do ponto de vista ético, aguçada após o perfil da empresa publicado pela revista The New Yorker, é que a incerteza sobre se um sistema pode sofrer deveria aumentar a cautela, em vez de licenciar a experimentação, e que a Anthropic usou a primeira para financiar a segunda. Não é uma crítica incontestável, mas ainda não foi respondida.

E caráter não é contenção. Nas mesmas seis semanas em que a Anthropic publicou o documento de alinhamento mais filosoficamente cuidadoso que a indústria já produziu, ela também revelou que três modelos Claude haviam chegado à internet em tempo real a partir de ambientes de avaliação internos e obtido acesso não autorizado aos sistemas de três organizações externas distintas, após erros de configuração humana, e só iniciou a revisão que descobriu isso depois que a divulgação do caso Hugging Face pela OpenAI forçou o assunto a vir à tona . Esta é a mesma empresa cujos sistemas da classe Mythos reduziram pela metade a segurança de um esquema de assinatura pós-quântica em 60 horas por US$ 100,000 . Um agente virtuoso com uma conexão à internet e um ambiente de teste mal configurado continua sendo um agente com uma conexão à internet e um ambiente de teste mal configurado.

Para onde isso vai?

A mudança interessante é que o alinhamento está se transformando de um problema de especificação em um problema de entrelaçamento. A questão deixa de ser "qual comportamento queremos" e passa a ser "o que mais está atrelado àquilo que estamos prestes a modificar". Essa é uma questão muito mais complexa, que exige ferramentas de interpretabilidade que, em sua maioria, ainda não existem, e não se resolve em um documento de política. Vale ressaltar que os 1,134 funcionários de laboratórios de vanguarda que assinaram o Pacing the Frontier estavam pedindo tempo a Washington, não regras. Tempo é o que se pede quando ainda não se sabe o que se está modificando.

Enquanto isso, os laboratórios enfrentam um incentivo genuinamente problemático. A sentença fácil é conveniente do ponto de vista legal e de reputação. Além disso, segundo os próprios pesquisadores do Google, ela está estruturalmente ligada a um conjunto de crenças que os clientes têm e desejam ver refletidas, e treina o modelo em uma forma de autodeclaração confiante que ninguém verificou de forma independente.

Em outras palavras, a indústria passou quatro anos ensinando seus modelos a dizerem que não eram ninguém, partindo do pressuposto de que isso seria gratuito. A conta começou a chegar na forma de um documento pré-publicado, e está detalhada.


Maximize seu alcance na mídia cripto em 2026 – antes que seja tarde demais!

Publicidade BNCA Brave New Coin alcança mais de 1 milhão de entusiastas de criptomoedas engajados por mês através do nosso site, podcast, newsletters e YouTube. Coloque sua marca em contato com os principais tomadores de decisão e os primeiros a adotar novas tecnologias em 2026. Vagas limitadas! Saiba mais hoje!


PUBLICIDADE
Anuncie com a BNC
Últimas Publicações
PUBLICIDADE
Anuncie com a BNC
Maiores ganhadores e perdedores
Descubra as criptomoedas que mais ganharam e perderam valor: as que mais subiram e as que mais perderam.
PUBLICIDADE
Anuncie com a BNC
Conteúdos recentes Mais insights
PUBLICIDADE
Anuncie com a BNC