Odpowiedzi chatbotów AI są mało czytelne i przydatne w przypadku nowotworów urologicznych

Chatboty oparte na sztucznej inteligencji (AI) zazwyczaj dostarczają dokładnych informacji w przypadku zapytań dotyczących nowotworów urologicznych, jednak zgodnie z wynikami opublikowanymi niedawno w czasopiśmie „Informacje te” są zazwyczaj mało czytelne, zrozumiałe i przydatne w działaniu. Urologia Europejska.¹

„Ten artykuł jest pierwszym tego rodzaju badaniem, w jaki sposób chatboty wyposażone w sztuczną inteligencję radzą sobie z zapytaniami związanymi z nowotworami. Jest to bardzo interesujące, ponieważ coraz więcej badaczy ucieka się do raka” – powiedział główny autor Abdou E. Cabarete, lekarz medycyny, FACS korespondencja z ludźmi do sztucznej inteligencji w celu uzyskania informacji. Czasy urologii®. Caparete jest adiunktem na State University of New York Downstate of Health Sciences w Brooklynie w stanie Nowy Jork.

Na potrzeby badania naukowcy ocenili jakość informacji otrzymanych z 4 chatbotów AI (ChatGPT, Perplexity, Chat Sonic i Microsoft Bing AI) na temat zapytań związanych z rakiem prostaty, pęcherza moczowego, nerek i jąder. Wykorzystano i przeanalizowano 5 najpopularniejszych zapytań dotyczących każdego nowotworu w okresie od stycznia 2021 r. do stycznia 2023 r. według Trendów Google pod kątem jakości, zrozumienia, możliwości podjęcia działań, dezinformacji i czytelności.

Wyniki wykazały średnie lub wysokie wyniki w zakresie jakości informacji, ze średnim wynikiem DISCERN wynoszącym 4 z 5 (zakres od 2 do 5). Odpowiedzi konkretnie związane z leczeniem raka mają zwykle niższe wyniki DISCERN wśród wszystkich chatbotów ze względu na brak informacji na temat mechanizmów leczenia, ryzyka, korzyści i wpływu na jakość życia. Spośród wszystkich 4 chatbotów ChatGPT wykazał najniższy średni wynik DISCERN wynoszący 3.

Nie wszystkie odpowiedzi chatbota zawierały dużo dezinformacji, o czym świadczy średni wynik Likerta wynoszący 1 na 5, przy czym niższy wynik oznacza mniej dezinformacji. Najczęściej cytowanymi źródłami informacji dla trzech z czterech chatbotów były Mayo Clinic, Cleveland Clinic i American Cancer Society. ChatGPT był jedynym chatbotem, który nie powoływał się na żadne źródła.

Ponadto stwierdzono, że zrozumienie jest jedynie umiarkowane, a średni wynik wyniósł 66,7% (zakres od 44,4% do 90,9%). Informacje są również zwykle przedstawiane na poziomie trudnym do odczytania zgodnie z poziomami czytelności Flescha-Kincaida, ze średnim wynikiem 11,8 (zakres od 5,7 do 38,1). W odpowiedziach Chatbota najczęściej używano terminologii medycznej, a odpowiedzi były często krótkie (średnia liczba słów 100), co – jak zauważają autorzy – „może nie interpretować informacji w sposób kompleksowy”.

Stwierdzono również, że wykonalność wszystkich czterech chatbotów była umiarkowana lub słaba, ze średnim wynikiem PEMAT-P wynoszącym 40% (zakres od 0 do 40%). Odpowiedzi na zapytania dotyczące raka prostaty wykazały najniższe średnie wyniki w zakresie zrozumiałości i wykonalności w porównaniu z innymi nowotworami urologicznymi objętymi badaniem.

Kabariti podsumował: „Nasze ustalenia pokazują, że chatboty AI dostarczały dokładnych informacji z niewielką ilością dezinformacji. Informacje zostały jednak przekazane na poziomie lektur uniwersyteckich, a możliwości ich wdrożenia były niewielkie. Nie ma wątpliwości, że chatboty AI odegrają dużą rolę w przyszłości, a nasze badanie wskazuje, że powinny być wykorzystywane jako uzupełnienie rozmów pacjent-lekarz.

odniesienie

1. Moshev D, Pan A, Loeb S, Cabarete AE. Jak dobrze chatboty AI odpowiadają na najważniejsze zapytania badawcze dotyczące nowotworów urologicznych? Euro Urol. Opublikowano online 9 sierpnia 2023 r. Dostęp: 1 września 2023 r. doi:10.1016/j.eururo.2023.07.004