Chatbot AI spisał się „zaskakująco” pod względem dokładności i kompletności w porównaniu do okulistów

Główne ujęcie:

• Program czatowy LLM uzyskał wynik dokładności 506,2, podczas gdy specjaliści od jaskry uzyskali wynik 403,4.
• Chatbot uzyskał 235,3 punktów za dokładność, a specjaliści od siatkówki – 216,1.

Jak wynika z nowego badania opublikowanego w 2019 r., model czatu językowego dorównał przeszkolonym okulistom, a nawet przewyższył ich w dokładnym diagnozowaniu i leczeniu chorób siatkówki i jaskry. Okulistyka gamma.

„Wyniki są kluczowe, ponieważ podkreślają potencjał sztucznej inteligencji jako narzędzia wspomagającego diagnostykę medyczną”. Andy S. Huang, lekarz medycyny, Healio powiedział lekarz rezydent w New York Eye and Ear Infirmary w Mount Sinai. „Jeśli sztuczna inteligencja może skutecznie pomóc lub nawet dostosować specjalistów, może zrewolucjonizować lub zasadniczo zmienić obecną opiekę zdrowotną, zapewniając wsparcie w procesie decyzyjnym”.

Do porównawczego badania przekrojowego Huang i współpracownicy zrekrutowali 15 uczestników w wieku od 31 do 67 lat, w tym 12 lekarzy prowadzących i trzech starszych stażystów, aby porównać dokładność diagnostyczną i leczniczą odpowiedzi generowanych przez sztuczną inteligencję z dokładnością okulistów przeszkolonych w ramach staży.

Uczestnicy oraz GPT-4 (OpenAI), duży model językowy (LLM), odpowiedzieli na pytania kliniczne i przedstawili ocenę postępowania w przypadku 20 przypadków jaskry i nieswoistych schorzeń siatkówki obserwowanych w klinikach stowarzyszonych z Mount Sinai. Naukowcy wykorzystali skalę Likerta, aby ocenić te odpowiedzi pod kątem dokładności i kompletności.

Zgodnie z wynikami, chatbot LLM uzyskał średni łączny poziom dokładności rankingu przypadków pytań na poziomie 506,2 i średni ranking kompletności na poziomie 528,3, podczas gdy specjaliści od jaskry uzyskali odpowiednio 403,4 i 398,7 (S <0,001). W porównaniu do specjalistów zajmujących się siatkówką, którzy uzyskali 216,1 pkt. za dokładność i 208,7 pkt. za kompletność, chatbot uzyskał odpowiednio 235,3 i 258,3 pkt.

Korzystając z testu porównania parami Dunna, badacze poinformowali, że stażyści i specjaliści lepiej ocenili chatbota pod względem dokładności i kompletności niż ich koledzy-okuliści.

„Wydajność GPT-4 w tym badaniu była absolutnie niesamowita” – powiedział Huang Healio. „Wspaniale było zobaczyć, że ChatGPT może nie tylko pomóc, ale w niektórych przypadkach dorównać lub przewyższyć wiedzę doświadczonych specjalistów z zakresu okulistyki”.

Kontynuował: „Chociaż chcemy postępować ze szczególną ostrożnością i będziemy potrzebować dodatkowych rygorystycznych testów, następnym krokiem będzie odpowiedzialne i etyczne zintegrowanie tej technologii w celu poprawy opieki nad pacjentem”.

Opublikowany przez:

Źródła/ujawnienia

Zapada się

Ujawnienia: Huang oferuje stypendia od Fundacji Absolwentów Okulistyki i Otologii Manhattanu. Odpowiednie ujawnienia finansowe pozostałych autorów można znaleźć w badaniu.

Dodaj temat do alertów e-mailowych

Otrzymuj e-mail, gdy zostaną opublikowane nowe artykuły

Podaj swój adres e-mail, aby otrzymać wiadomość e-mail o publikacji nowych artykułów .

” data-action=”subscribe”>Subskrybuj

Nie mogliśmy przetworzyć Twojej prośby. Spróbuj ponownie później. Jeśli problem nadal występuje, skontaktuj się z obsługą [email protected].

Wracając do Helio