Niewystarczająca dokładność modeli sztucznej inteligencji w kodowaniu medycznym
Niedawne badanie przeprowadzone przez naukowców z Icahn School of Medicine przy Uniwersytecie Mount Sinai wskazało istotne ograniczenie zdolności obecnych dużych modeli językowych (LLMs) w kontekście kodowania medycznego. Te zaawansowane systemy sztucznej inteligencji nie wykazały odpowiedniej precyzji, co oznacza konieczność dalszego rozwoju i starannych testów przed możliwością ich klinicznego wdrożenia.
Wyniki badań dotyczące wydajności AI
Zespół badawczy przeanalizował ponad 27 000 unikalnych kodów diagnozy i procedury z rocznych danych medycznych, nie zawierając w nich żadnych identyfikowalnych informacji pacjentów. Współpracowali z modelami firm takich jak OpenAI i Google, aby wygenerować kody medyczne na podstawie opisów, tylko po to, by odkryć, że kody generowane przez AI były często niedokładne w porównaniu z oryginalnym zbiorem.
Spośród testowanych LLMs, GPT-4 wyróżniał się najlepszymi, aczkolwiek nadal poniżej oczekiwanej precyzji w generowaniu właściwych kodów medycznych. Pomimo tych wyników, utrzymała się znaczna liczba błędów, co sprawiało, że technologia ta była niewiarygodna pod kątem praktycznego kodowania medycznego. Z drugiej strony, GPT-4 od czasu do czasu generował błędne, ale kontekstowo odpowiednie kody, co pokazywało subtelne zrozumienie terminologii medycznej.
Znaczenie rygorystycznej oceny AI
Wyniki podkreślają kluczową potrzebę dokładnej oceny i doskonalenia technologii AI, zwłaszcza w wrażliwych obszarach operacyjnych, takich jak kodowanie medyczne, zanim rozważone zostanie ich powszechne przyjęcie. Potencjalne zastosowanie tych modeli w branży medycznej to automatyzacja alokacji kodów medycznych w celu zwrotu kosztów oraz celów badawczych, co opiera się na tekście klinicznym.
Naukowcy postulują połączenie LLMs z wiedzą ekspertów w celu potencjalnego poprawienia precyzji kodów rozliczeniowych i zmniejszenia kosztów administracyjnych w opiece zdrowotnej. Następne kroki zespołu badawczego obejmują opracowanie dedykowanych narzędzi LLM do precyzyjnego wydobywania danych medycznych i alokacji kodów, mając na celu poprawę jakości i efektywności w operacjach zdrowotnych.
Badanie podkreśla obecne możliwości i wyzwania sztucznej inteligencji w dziedzinie opieki zdrowotnej, akcentując potrzebę ostrożnej oceny i dalszego doskonalenia. Naukowcy ostrzegają, że sztuczne środowisko badawcze może nie do końca odzwierciedlać scenariusze rzeczywiste, gdzie wydajność LLMs może być niższa. Badanie było wsparte nagrodą AGA2023-32-06 AGA-Amgen Fellowship na rok 2023 oraz grantem NIH UL1TR004419.
Kluczowe wyzwania związane z zastosowaniem AI w kodowaniu medycznym
Jednym z głównych wyzwań związanych z zastosowaniem AI w kodowaniu medycznym jest złożoność narracji klinicznych, które mogą zawierać subtelne informacje wymagające głębokiego zrozumienia kontekstu medycznego. Modele AI często borykają się ze subtelnościami ludzkiego języka i żargonem medycznym, co prowadzi do potencjalnych błędów interpretacyjnych.
Kolejnym wyzwaniem jest ciągła ewolucja wiedzy medycznej i systemów kodowania. Systemy AI muszą być regularnie aktualizowane z najnowszymi wytycznymi i odkryciami medycznymi, aby zachować precyzję, co może być wymagające pod względem zasobów.
Kontrowersje
Istnieje kontrowersja wokół bilansu między efektywnością wynikającą z użycia AI do kodowania medycznego a potencjalnymi ryzykami błędnych kodów prowadzących do problemów z rozliczeniami, błędów komunikacyjnych, a nawet szkody dla pacjenta w przypadku zastosowania w celach wspierania decyzji klinicznych. Zaufanie do systemów AI jest kluczowe w ustawieniach medycznych, a błędy mogą znacząco podkopać to zaufanie.
Zalety i Wady
Zalety:
– Gdy jest prawidłowo wdrożona, AI może zoptymalizować proces kodowania medycznego, zmniejszyć manualne obciążenie pracy i zwiększyć produktywność.
– AI może potencjalnie odkryć zaawansowane wzorce w danych medycznych, co mogłoby prowadzić do poprawy wyników pacjenta.
– Automatyzacja kodowania mogłaby przynieść znaczne oszczędności finansowe w dłuższej perspektywie poprzez redukcję potrzeby dużej siły roboczej kodera.
Wady:
– Obecne niedokładności w generowanych przez AI kodach medycznych mogą prowadzić do problemów z rozliczeniami finansowymi, negatywnie wpływając na dostawców opieki zdrowotnej.
– Poleganie na AI bez wystarczającego nadzoru może zwiększyć ryzyko wystąpienia błędów systemowych, które mogą mieć wpływ na opiekę pacjenta i dane badawcze.
– Może występować opór ze strony profesjonalistów medycznych ze względu na obawy dotyczące utraty pracy i braku zaufania do systemów AI.
Dla dodatkowych informacji na temat sztucznej inteligencji, szczególnie w kontekście ogólnych informacji na temat wykorzystania AI w różnych sektorach, w tym w opiece zdrowotnej, można odwiedzić oficjalną stronę internetową Narodowego Instytutu Zdrowia (NIH) pod adresem NIH lub oficjalną stronę internetową OpenAI pod adresem OpenAI. Proszę upewnij się, że podane adresy URL są aktywne przed ich uznaniem za źródła informacji.