Chatbot da Google passa em exame médico nos Estados Unidos

O chatbot médico da Google passou num exame médico nos Estados Unidos, mas os seus resultados ainda ficam aquém dos humanos, diz um estudo publicado pelo Nature.

A saúde é uma área em que a tecnologia já mostrou um progresso tangível, com alguns algoritmos a provar serem capazes de ler exames médicos melhor do que os humanos. A Google revelou a sua ferramenta de Inteligência Artificial (IA) dedicada a questões médicas, chamada Med-PaLM, num artigo de pré-publicação em dezembro. Mas ao contrário do Bard, ele não foi disponibilizado para o público em geral.

A Google afirma que o chatbot Med-PaLM foi o primeiro grande modelo de linguagem a passar no USMLE (US Medical Licensing Examination). A aprovação neste exame permite que pratique medicina nos Estados Unidos. Para conseguir isso, deve obter uma pontuação de aproximadamente 60%. Em fevereiro, um estudo revelou que o ChatGPT teve um desempenho muito bom nesse mesmo exame.

Num novo estudo, os pesquisadores da Google disseram que o Med-PaLM obteve 67,6% ao responder a perguntas de múltipla escolha no estilo USMLE. Esses resultados são “encorajadores, mas ainda inferiores aos dos humanos”, diz o estudo.

Para identificar, e reduzir, as chamadas “alucinações” – a palavra para uma resposta obviamente falsa oferecida por um modelo de IA – a Google disse que desenvolveu um novo benchmark. Karan Singhal, pesquisador da Google e principal autor do novo estudo, explicou que a sua equipa testou uma versão mais recente do modelo. O Med-PaLM 2 alcançou a pontuação de 86,5% no exame USMLE, superando a versão anterior.

Chatbot Med-PaLM em teste hospitalar

Segundo o Wall Street Journal, o chatbot Med-PaLM 2 está em testes no prestigioso hospital de pesquisa americano Mayo Clinic desde abril. Qualquer teste realizado com o Med-PaLM 2 não será “clínico, voltado para o paciente ou com probabilidade de prejudicar os pacientes”, disse Karan Singhal. Em vez disso, o modelo será testado para “tarefas administrativas que podem ser automatizadas com relativa facilidade, com baixo risco ”, acrescentou.

Joel Pinto

Website

Fundador do Noticias e Tecnologia, e este foi o seu segundo projeto online, depois de vários anos ligado a um portal voltado para o sistema Android, onde também foi um dos seus fundadores.