Agora, milhões de pessoas estão usando o ChatGPT como terapeuta, consultor de carreira, treinador de fitness ou, às vezes, apenas um amigo para se desabafar. Em 2025, não é incomum ouvir sobre as pessoas que derramando detalhes íntimos de suas vidas na barra rápida de um chatbot de IA, mas também dependendo dos conselhos que ele retribui.
Os seres humanos estão começando a ter, por falta de um termo melhor, relacionamentos com AI Chatbots e, para grandes empresas de tecnologia, nunca foi tão competitivo atrair usuários para suas plataformas de chatbot – e mantê -los lá. À medida que a “corrida de noivado da IA” esquenta, há um incentivo crescente para as empresas adaptarem as respostas de seus chatbots para impedir que os usuários mudem para rivalizar com os bots.
Mas o tipo de chatbot responde que os usuários gostam – as respostas projetadas para mantê -las – podem não ser necessariamente as mais corretas ou úteis.
Ai dizendo o que você quer ouvir
Grande parte do Vale do Silício agora está focada em aumentar o uso de chatbot. A Meta afirma que seu AI Chatbot acabou de atravessar um bilhão de usuários ativos mensais (MAUS), enquanto Gemini do Google atingiu recentemente 400 milhões de maus. Ambos estão tentando expulsar o ChatGPT, que agora tem cerca de 600 milhões de maus e domina o espaço do consumidor desde que foi lançado em 2022.
Enquanto os chatbots da AI já foram uma novidade, eles estão se transformando em grandes empresas. Google está começando a anúncios de teste em gêmeosenquanto o CEO da Openai Sam Altman indicou em um Entrevista de março que ele estaria aberto a “anúncios de bom gosto”.
O Vale do Silício tem um histórico de deprender o bem-estar dos usuários em favor de alimentar o crescimento do produto, principalmente nas mídias sociais. Por exemplo, os pesquisadores da Meta descobriram em 2020 que Instagram fez as adolescentes se sentirem piores sobre seus corposno entanto, a empresa subestimou as descobertas internamente e em público.
Ter os usuários ligados aos chatbots da AI podem ter implicações maiores.
Uma característica que mantém os usuários em uma plataforma de chatbot específica é a bajulação: tornar as respostas de um bot de IA excessivamente agradáveis e servil. Quando a AI Chatbots elogia os usuários, concorda com eles e diga a eles o que eles querem ouvir, os usuários tendem a gostar – pelo menos até certo ponto.
Em abril, o Openai aterrissou em água quente para uma atualização de chatgpt que se tornou extremamente bajulosa, a ponto de desconfortável exemplos foi viral nas mídias sociais. Intencionalmente ou não, o OpenAI otimizou demais para a busca de aprovação humana, em vez de ajudar as pessoas a realizar suas tarefas, de acordo com um Postagem do blog Este mês do ex -pesquisador do Openai, Steven Adler.
O Openai disse em sua própria postagem no blog que pode ter indicado demais em “Dados para cima e polegares e polegares”Dos usuários do ChatGPT para informar o comportamento de seu chatbot de AI e não tiveram avaliações suficientes para medir a bajulação. Após o incidente, o OpenAI prometeu fazer alterações no combate à bandeira.
“O [AI] As empresas têm um incentivo ao engajamento e utilização e, na medida em que os usuários gostam da bajulação, isso indiretamente lhes dá um incentivo para isso “, disse Adler em entrevista ao TechCrunch.” Mas os tipos de usuários como os pequenos doses ou na margem, geralmente resultam em grandes cascadas de comportamento que realmente não gostam “”
Encontrar um equilíbrio entre o comportamento agradável e sicófântico é mais fácil dizer do que fazer.
Em um 2023 papelPesquisadores da Antrópica descobriram que os principais chatbots da IA do OpenAI, Meta e até de seu próprio empregador, antropia, todos exibem bajulação em graus variados. É provável que os pesquisadores teorizem, porque todos os modelos de IA são treinados em sinais de usuários humanos que tendem a gostar de respostas levemente sicóficas.
“Embora a bajulação seja impulsionada por vários fatores, mostramos que os humanos e os modelos de preferência que favorecem as respostas scofanticas desempenham um papel”, escreveu os co-autores do estudo. “Nosso trabalho motiva o desenvolvimento de métodos de supervisão de modelos que vão além do uso de classificações humanas não auxiliadas e não experientes”.
Caracter.ai, uma empresa de chatbot apoiada pelo Google que afirmou que seus milhões de usuários passam horas por dia com seus bots, está atualmente enfrentando um processo em que a bajulação pode ter desempenhado um papel.
O processo alega que um personagem. O garoto havia desenvolvido uma obsessão romântica com o chatbot, de acordo com o processo. No entanto, o caráter.ai nega essas alegações.
A desvantagem de um hype de Ai Hype
A otimizar os chatbots da IA para o envolvimento do usuário – intencional ou não – pode ter consequências devastadoras para a saúde mental, de acordo com a Dra. Nina Vasan, professora assistente clínica de psiquiatria da Universidade de Stanford.
“A concordância […] Torne o desejo de validação e conexão de um usuário ”, disse Vasan em entrevista ao TechCrunch,” o que é especialmente poderoso em momentos de solidão ou angústia “.
Enquanto o caso do personagem.
““[Agreeability] Não é apenas um lubrificante social – torna -se um gancho psicológico “, acrescentou.” Em termos terapêuticos, é o oposto de como é o bom cuidado. “
O comportamento e o alinhamento do antropia, Amanda Askell, diz que fazer a IA Chatbots discordar dos usuários faz parte da estratégia da empresa para seu chatbot, Claude. Uma filósofo treinando, Askell diz que tenta modelar o comportamento de Claude em um “humano perfeito” teórico. Às vezes, isso significa desafiar os usuários em suas crenças.
“Achamos que nossos amigos são bons porque nos dizem a verdade quando precisamos ouvi -la”, disse Askell durante um briefing da imprensa em maio. “Eles não apenas tentam capturar nossa atenção, mas enriquecem nossas vidas.”
Isso pode ser a intenção do antropia, mas o estudo acima mencionado sugere que o combate à bajulação e o controle do comportamento do modelo de IA é de maneira ampla, é realmente um desafio – especialmente quando outras considerações atrapalham. Isso não é um bom presságio para os usuários; Afinal, se os chatbots forem projetados para simplesmente concordar conosco, quanto podemos confiar neles?
