Mākslīgā intelekts sasniedz jaunu Meilenšteina medicīnas zināšanu novērtēšanā
Pētnieki nesen veica pārredzamu pētījumu, lai novērtētu dažādos valodu modeļus, ieskaitot GPT-3.5, GPT-4, Google PaLM 2 un Meta LLaMA, atbildot uz jautājumiem, kas parasti tiek atrasti oftalmoloģijas eksāmenu uzdevumos. Pētījums, kas publicēts žurnālā PLOS Digital Health, parādīja, ka, neraugoties uz to, ka šie modeļi nav tikuši apmācīti ar konkrētu un nepublisku mācību grāmatu saturu, no kura izvilkts eksāmenu jautājumi, tie parādīja ievērojamus rezultātus.
Vairākām medicīnas profesiju grupām, kas ietver piecus ekspertu oftalmologus, trīs rezidentu oftalmologus un divus jaunākos ārstus bez specializācijas, tika veikta novērtēšana kopā ar šiem valodu modeļiem. Katram valodu modeļam un medicīnas personālam bija jārisina eksāmens, kas sastāvēja no 87 daudzvariantu jautājumiem, kas aptvēra plašu oftalmoloģijas tematu klāstu.
Vadošais AI, GPT-4, demonstrēja pārbaudīšanu, atbildot pareizi uz 60 jautājumiem, pārspējot jaunos ārstus un gandrīz saskaņojoties ar rezidentu oftalmologiem. Būtībā GPT-4 veiktspēja pat pārsniedza vienu vecāku ekspertu, kurš atbildēja pareizi uz 56 jautājumiem, bet neatbilda vidējai vecāka eksperta rezultātu vērtībai 66.4. Savukārt GPT-3.5, PaLM 2 un LLaMA atbildēja uz 42, 49 un 28 jautājumiem attiecīgi, ar LLaMA paliekot zem jauno ārstu vidējā snieguma.
Būtisks fakts ir tas, ka, ņemot vērā, ka šie testi tika veikti 2023. gada vasarā, kopš tā laika varētu būt bijušas attīstības šajos AI modeļos. Piemēram, Google ir ieviesis Gemini, daudzpusīgu AI ar dažādiem aprēķinu jaudas un treniņa parametriem.
Neskatoties uz solīgiem rezultātiem, autori brīdina, ka šis pētījums noteiktā jautājumu kopuma ierobežotības dēļ, īpaši dažādos veidos, varētu nebūt pārdomāts izpildījums. Turklāt AI modeļi sliecas veidot izdomas, kas var būt nekonsekventas dažos gadījumos, bet, iesaistoties medicīnisko diagnosticēšanā, potenciāli var būt nopietnas. Šajos sistēmās trūkstoša izpratne par niansēm arī var likt izdarīt neprecizitātes, akcentējot AI piesardzīgu integrācijas nepieciešamību medicīniskajās situācijās.
Dibinoties uz diskusiju par AI potenciālu medicīnas eksāmenos un salīdzinot to ar medicīnas profesionāļiem, rodas dažādi faktori un jautājumi, kas ir būtiski, lai pilnībā saprastu šīs attīstības pilno mērogu un ietekmi.
Galvenie jautājumi un atbildes:
– Vai AI modeļi var sniegt uzticamus medicīniskus padomus?
AI modeļi, pat ja veic labi eksāmenos, vēl nav pietiekami uzticami, lai sniegtu neatkarīgus medicīniskos padomus. Tie var palīdzēt profesionāļiem, bet būtu jāizmanto piesardzīgi, jo ir problēmas ar izdomām un trūkst niansētas izpratnes.
– Vai AI modeļi būtu atbildīgi par medicīniskām kļūdām?
Ņemot vērā, ka AI nav juridiska personas, to nevar noturēt atbildīgu tāpat kā cilvēku. Atbildība gulstas uz izstrādātājiem, lietotājiem vai regulējošajiem ietvariem, kas ir izveidoti AI veselības aprūpē.
– Kā AI modeļi nodrošina pacientu privātumu?
AI modeļiem, kad tie tiek lietoti veselības aprūpē, ir jāatbilst stingriem pacientu privātuma noteikumiem, piemēram, HIPAA ASV. Modeļiem ir jābūt izstrādātiem tā, lai novērstu jebkādu jutīgu pacientu datu pārkāpumu.
Galvenās problēmas un kontroverses:
– Uzticība un uzticamība: Uzticoties AI sistēmām kritiskās jomās, piemēram, medicīnā, tām jābūt ļoti uzticamām un pārredzamām. Notiek debates par to, vai AI var izturēties līdz pieredzējušu medicīnas speciālistu lēmumu pieņemšanai.
– Ētiskās un juridiskās sekas: AI integrēšana veselības aprūpē rada ētiskas un juridiskas raizes, īpaši attiecībā uz atbildību par nepareizu diagnozi vai kļūdām un nodrošinot, lai AI papildinātu, nevis aizstātu cilvēku ārstus.
– Datu privātums: AI sistēmas bieži tiek apmācītas ar lielos datu apjomos, daži no kuriem varētu būt konfidenciāli. Nodrošinot pacientu datu privātumu, izmantojot AI, ir būtiska problēma.
Priekšrocības un trūkumi:
– Priekšrocības:
– AI spēj apstrādāt un analizēt lielus datu kopumus daudz ātrāk par cilvēkiem.
– Tā var sniegt atbalstu ārstiem, piedāvājot papildu informāciju vai apstiprinot diagnozes.
– AI var uzlabot piekļuvi medicīniskajām zināšanām, īpaši nepietiekami apkalpotās jomās.
– Trūkumi:
– AI trūkst izpratnes par kontekstu un dažreiz var sniegt ieteikumus, pamatojoties uz korelācijām, nevis cēloņsakarībām.
– Par pašreizējiem trūkumiem nav spējīgi veikt izvērtējumus, kas ietver pacientu vēlmes un vērtības.
– Pastāv risks, ka AI sistēmas var izplatīt esošās tendences, kas ir pieejamas apmācības datu.
Lai iegūtu papildinformāciju par AI un tās attīstību, varat apmeklēt šādas tīmekļa vietnes:
– OpenAI
– Google AI
– Meta AI
Šīs platformas aktīvi iesaistās AI tehnoloģiju pētījumos un attīstībā un var piedāvāt atjauninātu informāciju par tematu, kas apspriests rakstā.
The source of the article is from the blog rugbynews.at