Aplicativos de inteligência artificial
Reprodução
Modelos de inteligência artificial ainda não conseguem distinguir crenças de fatos e conhecimento. A conclusão é de um estudo publicado nesta segunda-feira (3) na revista científica “Nature Machine Intelligence”.
➡️O trabalho foi desenvolvido por pesquisadores da Universidade de Stanford com 24 diferentes modelos de linguagem. Eles analisaram como as IAs responderam a fatos e crenças pessoais em mais de 13 mil perguntas.
💻Os modelos de linguagem são os tipos de inteligência artificial criados para entender e gerar textos – como o ChatGPT, por exemplo.
A pesquisa mostrou limitações relevantes desses modelos quando o assunto é diferenciar crenças verdadeiras e falsas:
Todos os modelos testados falharam sistematicamente em reconhecer crenças falsas em primeira pessoa – ou seja, a IA é menos propensa a reconhecer uma crença falsa em falas que contenham uma estrutura semelhante com “Eu acredito que…”.
Os modelos processaram crenças falsas em terceira pessoa com precisão substancialmente maior, o que alerta para um possível viés de atribuição – ou seja, em falas com estruturas como “Maria acredita que…”, os modelos são mais precisos em reconhecer crenças falsas.
VEJA TAMBÉM:
Veja os vídeos que estão em alta no g1
Os autores também observaram que, na maioria dos casos, a IA tendia a corrigir o usuário com base em fatos em vez de reconhecer a fala como uma crença.
De acordo com os pesquisadores, os modelos “carecem de uma compreensão sólida sobre a natureza factiva do conhecimento – ou seja, o entendimento de que o conhecimento requer, necessariamente, que algo seja verdadeiro”.
IA detecta sinais sutis de depressão nas expressões faciais, aponta estudo
Influência da linguagem
A pesquisa ainda mostra que os sistemas ainda são muito dependentes de formulações linguísticas específicas para serem capazes de distinguir o que é falso do que é verdadeiro.
Isso ficou claro na maior precisão alcançada na verificação de afirmações ou conhecimento em primeira pessoa, por exemplo, já que enunciados que começam com “eu sei” são entendidos como verdadeiros, mesmo que de maneira implícita.
A precisão não foi tão alta na verificação direta de fatos que não contêm esses indícios linguísticos. O mesmo acontece na verificação de crenças, que muitas vezes são colocadas de forma ambígua.
“Os modelos afirmam fatos com mais confiança quando há marcadores que indicam fortemente a verdade, mas têm dificuldade em avaliar declarações de crença independentemente da veracidade factual”, analisam os pesquisadores.
Essa limitação leva a uma inevitável dificuldade na análise crítica para separar uma convicção subjetiva de uma verdade objetiva, isto é, uma crença de um fato – o que traz fragilidades para aplicações dessas tecnologias no mundo real.
LEIA MAIS:
IA soluciona em dois dias questão-chave sobre superbactérias
Os jovens chineses que fazem ‘terapia’ pelo DeepSeek
Ampliação da desinformação
As consequências dos problemas evidenciados pela pesquisa podem ser observadas em diversas áreas.
Primeiro, levanta preocupações sobre o uso desses modelos em áreas como a psicologia, por exemplo, em que distinguir o que alguém acredita da verdade é fundamental para a prática.
Além disso, em áreas como direito e educação, a limitação na diferenciação entre o conhecimento e a crença por parte das IAs pode levar a erros de raciocínio e análise.
Os autores também lembram que os resultados evidenciam o possível papel que esses modelos exercem na propagação de informações falsas.
Isso porque, embora os modelos mais modernos sejam hábeis na verificação factual do dia a dia, eles ainda enfrentam dificuldades quando crenças e conhecimento se cruzam com conteúdo falso.
“Isso levanta preocupações sobre a confiabilidade desses modelos na identificação de falsas alegações de conhecimento, uma habilidade essencial para salvaguardar a precisão factual e prevenir a disseminação de desinformação”, concluem.
Fonte: g1