Por Uma nova criação pode ajudar a detectar alucinações das inteligências artificiais.
Afinal, uma das grandes limitações dos atuais sistemas é sua propensão a gerar “alucinações”, criando informações falsas e apresentando-as como verdadeiras.
Essa semana, cientistas anunciaram sucesso na resolução desse problema ao enviar respostas para avaliação por mais dois sistemas de IA.
O problema das respostas falsas em perguntas objetivas é particularmente preocupante em projetos como os LLMs (grandes modelos de linguagem), como o ChatGPT, que são propensos a alucinações, fenômeno que os cientistas chamam de confabulações.
Isso ocorre quando o sistema tenta fornecer uma resposta plausível sem ter recebido informações adequadas durante seu treinamento, que normalmente envolve vastas quantidades de dados.
As alucinações são frequentes porque é desafiador calibrar os modelos para reconhecer e admitir suas limitações.
Em outras palavras, quando um LLM recebe uma pergunta sobre a qual tem pouca informação, ele precisa decidir se indica sua falta de conhecimento ou tenta fornecer uma resposta mesmo assim.
Quando ocorre a confabulação, um sistema de IA pode criar uma resposta que não faz sentido, algo que geralmente é perceptível para os usuários humanos.
No entanto, o comportamento mais prejudicial é quando a confabulação resulta em uma resposta convincente, mas completamente fictícia.
Contudo, um grupo de pesquisadores da Universidade de Oxford anunciou hoje, em um estudo publicado nesta quarta-feira, que descobriram uma solução para minimizar esse comportamento indesejado da inteligência artificial.
Via Freepik
Método para detectar alucinações
Sob a liderança do cientista da computação Sebastian Farquhar, os pesquisadores detalham sua abordagem em um artigo publicado na revista Nature.
Segundo a equipe, isso representa um desafio crítico para sistemas de geração de linguagem natural, como o ChatGPT e o Gemini, pois os usuários não podem confiar na precisão das respostas fornecidas.
Assim, detectar alucinações seria uma forma de não limitar a aplicabilidade dos LLMs em várias áreas.
Afinal, alguns dos problemas incluem a criação de contextos legais fictícios e disseminação de informações incorretas em campos como a medicina, onde erros podem ter consequências graves, incluindo riscos à vida.
A solução encontrada pelo grupo de Farquhar para mitigar esse problema envolve submeter as respostas dos LLMs a uma análise por dois sistemas adicionais de IA.
Esses sistemas adicionais avaliam a construção semântica das respostas, analisando como o significado das frases foi formulado.
Como foi feito
Para realizar essa análise, os cientistas aplicaram um conceito da física: a entropia, utilizado para quantificar a desordem e a imprevisibilidade de um sistema.
No estudo, os pesquisadores explicam que quando um LLM gera uma resposta, ele precisa selecioná-la dentre várias possíveis respostas que o próprio sistema pode criar.
Quando o sistema tem pouca informação para oferecer uma resposta precisa, ele tende a gerar um maior número de respostas que são semanticamente corretas, mas que possuem diferentes sentidos, embora compartilhem um grupo de palavras semelhantes.
Em outras palavras, a incerteza dos dados leva a um aumento da complexidade interna que o sistema deve lidar.
Uma característica intrigante dessa complexidade, ou entropia, é que ela pode ser medida por um segundo LLM integrado ao sistema.
Além disso, um terceiro LLM pode ser empregado para interpretar essa medida e avaliar a probabilidade de uma resposta do sistema ser uma confabulação. Essa é a arquitetura proposta pelo grupo de Oxford para melhorar o sistema como um todo.
Via Freepik
Testes
Para testar essa abordagem, Farquhar desenvolveu sistemas de avaliação para as respostas geradas por três ferramentas de IA já estabelecidas.
O experimento envolveu o Llama 2 (do Facebook), o Mistral Instructor (da empresa francesa Mistral) e o Falcon (do Instituto de Inovação Tecnológica de Dubai), todos disponibilizando código aberto para a pesquisa. ChatGPT e Gemini não foram incluídos no experimento.
Fogo contra fogo
No estudo, os pesquisadores conseguiram detectar alucinações variando de 70% a 80% em pequenas biografias geradas por inteligência artificial, além de questões relacionadas à saúde e conhecimento geral.
Em um artigo separado publicado na Nature, outra cientista da computação, Karin Vespoor, do Royal Melbourne Institute of Technology, na Austrália, elogiou a inventividade do grupo na criação de um método para identificar alucinações, mas ressaltou a necessidade de cautela em sua aplicação.
Os autores do estudo sugerem que LLMs podem ser um componente crucial de uma estratégia para controlar outros LLMs. Em essência, sua abordagem envolve usar fogo para combater fogo.
Apesar disso, segundo Farquhar, essa preocupação não impede a implementação útil do sistema para os usuários.
Detectar alucinações permite que sistemas baseados em LLMs evitem responder perguntas que possam levar a erros. Além disso, alertam os usuários sobre a falta de confiabilidade das respostas ou complementem o LLM com uma pesquisa e coleta de dados mais sólidas.
Fonte: Globo
