Vigil: skaner bezpieczeństwa LLM typu open source

Vigil to skaner bezpieczeństwa typu open source, który wykrywa punktowe wstrzyknięcia, jailbreaki i inne potencjalne zagrożenia dla dużych modeli językowych (LLM).

Natychmiastowy zastrzyk ma miejsce, gdy atakującemu uda się wpłynąć na LLM przy użyciu specjalnie spreparowanych danych wejściowych. Powoduje to, że LLM nieumyślnie wykonuje cele określone przez atakującego.

„Byłem naprawdę podekscytowany możliwościami, jakie dają posiadacze dyplomu LLM, ale zauważyłem również potrzebę lepszych praktyk bezpieczeństwa wokół aplikacji zbudowanych wokół nich i danych, do których dajemy aplikacjom dostęp. Ten projekt dał mi świetną okazję do zbudowania czegoś, co łączy Sztuczna inteligencja i cyberbezpieczeństwo. Mamy nadzieję, że zapewni to badaczom i programistom „Inni zajmujący się bezpieczeństwem zaczynają eksperymentować z istniejącymi miarami integralności danych wejściowych i wyjściowych LLM, a nawet tworzą własne. „To, co jest możliwe”, to więcej niż wszystko, czego bym się spodziewał można wykorzystać bezpośrednio w produkcji” – powiedział Adam M. Swanda, twórczyni Vigil, dla Help Net Security.

Najważniejsze cechy skanera bezpieczeństwa Vigil LLM

• Modułowa i rozszerzalna konstrukcja
• Obsługuje YARA (wnioskowanie), podobieństwo baz danych wektorowych, model transformatora i podobieństwo QR
• Niestandardowe skanery można dodać za pomocą małego kodu
• Hostuj samodzielnie lub korzystaj z OpenAI
• Dostępne są osadzane zestawy danych i podpisy YARA
• Vector DB może automatycznie aktualizować się za pomocą wykrytych monitów, gdy próg skanera jest zgodny
• Wysoce konfigurowalne (włączanie/wyłączanie skanerów, dostosowywanie progów, używanie różnych modeli osadzania itp.)
• Można go łatwo rozbudować, dodając niestandardowe skanery, nowe podpisy YARA lub aktualizując bazę wektorów

Wigilię można pobrać pod adresem githubie. To repozytorium zapewnia również sygnatury wykrywania i zbiory danych potrzebne do rozpoczęcia samodzielnego hostingu.

Swanda planuje w najbliższej przyszłości kontynuować rozwój Vigil. W szczególności pracował nad aplikacją zaprojektowaną do oceny oprogramowania Vigil i jego różnych skanerów pod kątem niestandardowych zbiorów danych. Ta aplikacja ocenia takie aspekty, jak fałszywe alarmy i inne istotne wskaźniki. Ponadto Swanda bada metody wykrywania iniekcji punktowej w oparciu o obraz.

Więcej narzędzi open source do rozważenia: