Resumo
- Med-Gemini, IA do Google, criou o termo fictício “gânglios basilares” em um artigo científico.
- O erro foi detectado pelo neurologista Bryan Moore, depois que mais de 50 coautores não notaram a informação incorreta.
- Especialistas alertam para o “viés de automação”, que pode levar à confiança excessiva em sistemas automatizados sem a checagem crítica.
O Med-Gemini, modelo de inteligência artificial do Google voltado para a saúde, descreveu um problema nos “gânglios basilares” em um artigo científico. O termo, no entanto, se refere a um órgão que não existe — a IA simplesmente o inventou.
A equipe do Google não percebeu a alucinação durante todo o processo de revisão do estudo, que lista mais de 50 autores. O erro só foi notado posteriormente pelo neurologista e pesquisador Bryan Moore, que alertou a empresa sobre o ocorrido.
Lançado em 2024, o sistema é uma adaptação dos modelos Gemini com ajustes para interpretar exames de imagem, gerar relatórios clínicos, responder a perguntas de profissionais da saúde e lidar com informações mais complexas, como prontuários eletrônicos.
Como aconteceu?
No texto, o Med-Gemini descrevia um infarto nos “gânglios basilares”, nome que mistura dois termos reais: a artéria basilar (que irriga o tronco cerebral) e os gânglios da base (ou basal ganglia), envolvidos no controle motor e em outras funções cerebrais.
A reação inicial da empresa foi discreta: primeiro, corrigiu o termo no post do blog. Apenas depois que Moore expôs a edição silenciosa publicamente é que o Google voltou atrás e adicionou uma nota, explicando que o modelo aprendeu a “transcrição incorreta” com os dados de treinamento. O artigo científico original, no entanto, continua com o erro até hoje.
Especialistas ouvidos pelo The Verge alertam que esse tipo de confusão pode representar um risco real em contextos clínicos. O próprio Google admite, na página de apresentação do serviço, que é preciso mais validação médica para os modelos serem aplicados amplamente em ambientes de atendimento.
A pesquisadora Judy Gichoya, da Universidade Emory, conta, por exemplo, que mostrou o mesmo raio-x duas vezes à IA. Na primeira, com uma pergunta detalhada, ela acertou o diagnóstico. Na segunda, com uma pergunta mais simples, a IA respondeu que o exame estava “normal”.
Automação cega?
Para especialistas, o caso dos “gânglios basilares” é um exemplo claro do risco do “viés de automação” — a tendência humana de confiar demais em sistemas automatizados e, com isso, reduzir a checagem crítica. O problema não é apenas a IA errar, mas o fato de ela apresentar informações falsas com a mesma segurança com que apresenta as verdadeiras.
Maulin Shah, diretor de informação médica da rede de hospitais Providence, relatou ao The Verge um caso em que um diagnóstico humano incorreto de câncer, registrado como “negativo”, foi interpretado e replicado por uma IA, que usou esse dado falso como base para outras decisões.
“São erros que não precisavam acontecer”, disse o professor Jonathan Chen, comparando a situação ao risco de “dormir no volante” com um carro automático.
Com informações do The Verge
Fonte: Tecnoblog
