Capacitatea completă a primului model de raționament al OpenAI, o1-preview, lansat în septembrie 2024, a fost dezvăluită în scenarii textuale de cazuri clinice și situații de urgență reale.
Acest model de ultimă generație a egalat sau chiar depășit constant performanța medicilor în sarcinile de raționament clinic desfășurate în șase experimente, potrivit unui studiu publicat în revista Science.
Punctele forte ale LLM-urilor s-au remarcat cel mai mult în oferirea de opinii secunde în cazuri medicale reale și neestructurate din departamentul de urgență, atunci când medicii trebuie să ia decizii rapide bazate adesea pe informații limitate.
„Concluziile noastre sugerează că LLM-urile au acum depășit majoritatea referințelor în raționamentul clinic, motivând nevoia urgentă de studii de interacțiune om-computer și de teste clinice prospective pentru a evalua riguros potențialul sistemelor de IA de a îmbunătăți practica clinică și rezultatele pacienților”, a declarat Peter Brodeur, PhD, de la Centrul Medical Beth Israel Deaconess din Boston, și colegii săi.
LLM-urile sunt algoritmi de IA antrenați pe cantități imense de date pentru a învăța modele care să le permită să genereze răspunsuri asemănătoare celor umane. Modelele de raționament, cum ar fi seria Open AI o1, sunt LLM-uri cu abilitatea adițională de a lucra pas cu pas prin probleme înainte de a răspunde, reflectând un mod de gândire structurat.
Brodeur și echipa sa au testat performanța diagnostică a o1-preview în cinci experimente pentru a compara performanța sa diagnostică în cazuri clinice cu medicii și modelele anterioare.
Un al șaselea experiment a comparat acest LLM avansat cu modelele anterioare și medicii în trei puncte de diagnostic pe 76 de cazuri reale din departamentul de urgență.
În general, modelele o1 au depășit semnificativ LLM-urile anterioare care nu raționează, cum ar fi GPT-4, iar în multe cazuri au fost chiar mai bune decât medicii.
De exemplu, GPT-4 a obținut o precizie diagnostică exactă sau foarte apropiată în 72,9% din cazuri în cazul cazurilor publicate de conferințe clinicopatologice, în comparație cu 88,6% cu o1-preview.
În cazuri reale din departamentul de urgență, modelul o1 a avut o precizie diagnostică exactă sau foarte apropiată de 67,1% la triajul inițial, depășind doi medici specialiști de urgență, pentru care acest lucru s-a întâmplat în 55,3% și, respectiv, 50,0%.
Revizorii anonimi nu au putut distinge ieșirile AI de cele umane.
„Acest avans stabilește un nou punct de referință de evaluare – testarea IA împotriva performanței medicale și, ideal, alături de medici, în sarcini clinice autentice”, au remarcat Ashley Hopkins, PhD, și Erik Cornelisse, student de doctorat, ambii de la Universitatea Flinders din Adelaide, Australia, într-un articol de comentariu asociat.
Cu toate acestea, ei au adăugat: „Precizia într-o sarcină definită este doar o dimensiune a pregătirii pentru implementare. IA clinică trebuie să furnizeze și rezultate echitabile, rentabile și sigure”.
Sursa articol https://insideprecisionmedicine.com
Senior Editor RevistaSanatatii.ro. Pasionat de lifespan, fan David Sinclair.
