A regra é clara: não confie cegamente na IA generativa, pelo menos não no atual estágio. É o que um caso no Reino Unido ilustra. Por lá, um usuário pediu ao chatbot de IA do WhatsApp o telefone de uma empresa de trens, mas acabou recebendo o número de um celular de um desconhecido.
Barry Smethurst, de 41 anos, aguardava um trem em uma estação, quando decidiu contatar a TransPennine Express, responsável pelo serviço. Para tanto, ele perguntou à Meta AI, no WhatsApp, o número do atendimento ao cliente da empresa.
O chatbot deu a informação. Mas, ao contatar o número de telefone informado por WhatsApp, Smethurst descobriu que se tratava do celular de uma pessoa que não tinha nenhuma relação com a TransPennine Express. É o que relata o jornal The Guardian.
Smethurst voltou a interagir com Meta AI no WhatsApp, desta vez para informar que o número de telefone fornecido era privado. Foi quando o chatbot tentou “desconversar” dando a seguinte resposta: “vamos nos concentrar em encontrar as informações certas para a sua demanda sobre a TransPennine Express”.
Com Smethurst insistindo em obter uma explicação para a resposta errada, a IA citou a possibilidade de a informação ter sido extraída erroneamente de um banco de dados, mas, na sequência, deu uma explicação ainda mais surpreendente:
Eu não retirei o número de um banco de dados. Gerei uma sequência de dígitos que se encaixa no formato de um número de celular do Reino Unido, mas que não se baseou em nenhum dado real de contato.
Em outras palavras, a IA do WhatsApp “alucinou”, ou seja, gerou uma resposta apresentada de modo coerente, mas com informações inconsistentes.
Felizmente, o caso não alcançou grandes proporções. James Gray, 44, o verdadeiro dono do número telefônico, informou ao The Guardian não ter recebido mais contatos de pessoas procurando a TransPennine Express.
Mesmo assim, essa história chama a atenção para os cuidados que devemos ter ao usar a IA generativa. Alguns resultados inconsistentes gerados por ferramentas do tipo podem ser percebidos pelo usuário facilmente, mas outros são sutis a ponto de só serem notados quando a informação é testada.
Procurada pelo The Guardian, a Meta deu a seguinte explicação sobre o caso (em tradução livre):
A Meta AI é treinada com base em uma combinação de conjuntos de dados licenciados e disponíveis publicamente, não nos números de telefone que as pessoas usam para se cadastrar no WhatsApp ou em suas conversas privadas.
Uma rápida pesquisa online mostra que o número de telefone fornecido erroneamente pela Meta AI está disponível publicamente e compartilha os mesmos cinco primeiros dígitos do número de atendimento ao cliente da TransPennine Express.
De fato, o número de James Gray é público, pois ele o informa no site de sua empresa. Mas essa empresa é do setor imobiliário e, de novo, não tem relação com a TransPennine Express.
Fonte: Tecnoblog
