Ten robak AI może kraść dane i łamać zabezpieczenia ChatGPT i Gemini

Jak wynika z raportu opublikowanego w Wired, w miarę jak generatywne systemy sztucznej inteligencji, takie jak ChatGPT firmy OpenAI i Gemini firmy Google, stają się coraz bardziej zaawansowane, badacze opracowują obecnie robaki AI, które mogą kraść poufne dane i łamać zabezpieczenia stosowane w generatywnych systemach sztucznej inteligencji.

Naukowcy z Cornell University, Technion-Israel Institute of Technology i Intuit stworzyli pierwszego generatywnego robaka AI o nazwie „Morris II”, który może kraść dane lub rozprzestrzeniać złośliwe oprogramowanie i rozprzestrzeniać się z jednego systemu do drugiego. Jego nazwa pochodzi od pierwszego robaka, który został wypuszczony do Internetu w 1988 roku. „Zasadniczo oznacza to, że masz teraz możliwość przeprowadzenia nowego typu cyberataku, jakiego nigdy wcześniej nie widziano” – powiedział Ben Nassi, badacz w Cornell Tech. „Nigdy wcześniej nie widziano”

Według placówki robak AI może złamać niektóre zabezpieczenia w ChatGPT i Gemini, atakując innowacyjnego asystenta poczty e-mail AI w celu kradzieży danych e-mailowych i wysyłania spamu.

Naukowcy wykorzystali „wrogi autokatalizator” do opracowania generatywnego robaka AI. Według nich ten monit powoduje, że generatywny model AI generuje w odpowiedzi inny monit. Aby to zrobić, badacze stworzyli następnie system poczty elektronicznej, który może wysyłać i odbierać wiadomości przy użyciu generatywnej sztucznej inteligencji, a także chatGPT, Gemini i LLM o otwartym kodzie źródłowym. Co więcej, odkryli dwa sposoby korzystania z systemu: użycie samokopiującego się monitu tekstowego i osadzenie pytania w pliku obrazu.

W jednym przypadku badacze wcielili się w rolę napastników i wysłali wiadomość e-mail zawierającą wrogiego SMS-a. To „zatruwa” bazę danych asystenta poczty e-mail poprzez wykorzystanie generowania rozszerzonego wyszukiwania, które umożliwia LLM uzyskanie większej ilości danych spoza ich systemu. Według pana Nassiego, generacja ulepszonego pobierania „przerywa jailbreak usługi GenAI”, gdy pobiera wiadomość e-mail w odpowiedzi na zapytanie użytkownika i wysyła ją do GPT-4 lub Gemini Pro w celu wygenerowania odpowiedzi. Prowadzi to ostatecznie do kradzieży danych z wiadomości e-mail.

„Odpowiedź zawierająca wrażliwe dane użytkownika infekuje później nowe hosty, gdy jest wykorzystywana do odpowiadania na wiadomość e-mail wysłaną do nowego klienta, a następnie jest przechowywana w bazie danych nowego klienta” – dodał.

W przypadku drugiej metody badacz stwierdził, że „poprzez zaszyfrowanie w obrazie powtarzającego się monitu każdy rodzaj obrazu zawierający spam, materiały zawierające obraźliwe treści, a nawet propagandę może zostać przekierowany do nowych klientów po wysłaniu pierwszego e-maila”.

Film pokazujący wyniki pokazuje, że system pocztowy wielokrotnie przekazuje wiadomość dalej. Badacze twierdzą, że mogą także pozyskiwać dane e-mailowe. „Mogą to być nazwiska, numery telefonów, numery kart kredytowych, numer ubezpieczenia społecznego lub wszystko, co uważa się za poufne” – powiedział Nasi.

Naukowcy ostrzegali również przed „złym projektem architektonicznym” w systemie AI. Przekazali także swoje uwagi Google i OpenAI. „Wygląda na to, że znaleźli sposób na wykorzystanie luk typu „wstrzykiwanie”, opierając się na danych wejściowych użytkownika, które nie zostały sprawdzone ani przefiltrowane” – powiedział placówce rzecznik OpenAI. Ponadto oświadczyli, że pracują nad uczynieniem systemów „bardziej odpornymi”, a programiści powinni „stosować metody, które zagwarantują, że nie będą działać ze złośliwymi danymi wejściowymi”.

Google odmówił komentarza w tej sprawie.