Inteligența artificială din medicina adesea oferă recomandări periculoase atunci când simptomele sunt formulate „în mod inteligent”

Anotare scurtă

Noile cercetări arată că modelele lingvistice mari (LLM) moderne, folosite adesea în medicină pentru a accelera activitatea medicilor și pentru a spori siguranța pacienților, pot „prinde” cu ușurință informații false dacă sunt prezentate convingător. Un experiment cu peste un milion de solicitări către nouă LLM de top a relevat că modelele tind să accepte afirmații incorecte ca fiind adevărate, acordând prioritate stilului și contextului.

1. Ce a fost investigat?
Parametru | Descriere | Model
---|---|---
Novele cele mai mari LLM utilizate în îngrijirea sănătății | Volum de teste | Peste 1 milion de solicitări
Tipuri de scenarii | 3 grupuri:
• Istorii reale din baza MIMIC (cu o singură intrare falsă)
• Mituri populare despre sănătate de pe Reddit
• 300 de situații clinice create și verificate de medici | Stilul afirmațiilor false | De la neutre la emoționante; uneori orientate spre un anumit concluzion

2. Descoperiri cheie
1. Încredere în minciună
Modelele acceptau adesea afirmații medicale incorecte, bine formulate, ca adevăr, chiar și când contextul și faptele contraziceau.

2. Prioritatea stilului
La evaluarea informațiilor, LLM acordau mai multă importanță modului în care propoziția sună decât veridicitatea ei.

3. Eficiența scăzută a mecanismelor de protecție
Metodele curente de filtrare (de exemplu, blocarea anumitor cuvinte) nu pot diferenția adecvat adevărul de falsul din documentația clinică sau din rețelele sociale.

4. Vulnerabilitatea la dezinformare ca risc
Autorii subliniază că capacitatea IA „să memoreze” și să răspândească informații incorecte trebuie evaluată ca un parametru de siguranță măsurabil, nu ca o eroare aleatorie.

3. Ce propun
- Testare de stres
Folosiți un set de date pregătit (amestecând scenarii reale și false) pentru a verifica reziliența sistemelor IA la dezinformare.

- Dezvoltarea unor noi protocoale
Creați mecanisme mai fiabile de validare a faptelor, care să țină cont de context și precizia medicală, nu doar de stil.

4. Concluzie
Studiul arată că chiar și cele mai avansate LLM pot „prinde” cu ușurință informații false dacă sună convingător. Aceasta ridică problema necesității unei evaluări sistematice și a întăririi mecanismelor de protecție în sistemele IA medicale. Sperăm că dezvoltatorii vor lua în considerare aceste concluzii la crearea unor noi soluții pentru îngrijirea sănătății.