Google Cloud dodaje skalowalne wyszukiwanie wektorowe do Memorystore dla klastra Valkey i Redis

Google wprowadził chmurę Skalowalne możliwości wyszukiwania wektorowego w Memorystore dla klastra Valkey i Redis. Ta aktualizacja umożliwia programistom wyszukiwanie wektorów z wyjątkowo niskim opóźnieniem wśród miliardów wektorów.

To ulepszenie jest szczególnie przydatne w zastosowaniach opartych na generatywnej sztucznej inteligencji, takich jak generowanie rozszerzone wyszukiwania (RAG), systemy rekomendacyjne i wyszukiwanie semantyczne.

Aktualizacja zwiększa możliwość podziału indeksów wektorowych pomiędzy węzłami w klastrze. Każdy węzeł ma partycję indeksu odpowiadającą jego części przestrzeni klucza, umożliwiając klasterowi obsługę miliardów wektorów przy zachowaniu jednocyfrowego opóźnienia milisekundowego i przywoływaniu ponad 99%. Ta architektura nie tylko przyspiesza czas tworzenia indeksu liniowo w miarę dodawania węzłów, ale także poprawia wydajność wyszukiwania – logarytmicznie Hierarchiczny żeglowny mały świat (HNSW) Wyszukuje i pisze do Wyszukiwanie brutalną siłą.

Programiści mogą wykorzystać te nowe możliwości do skalowania swoich kolekcji do 250 obiektów i przechowywania miliardów wektorów w jednej instancji. Ta skalowalność jest niezbędna w przypadku aplikacji korporacyjnych, które muszą przeprowadzać wyszukiwania semantyczne w dużych zbiorach danych.

Oprócz skalowalności aktualizacja wprowadza obsługę zapytań mieszanych. Zapytania mieszane umożliwiają programistom łączenie wyszukiwania wektorowego z filtrami w polach liczbowych i znacznikach. Funkcja ta jest szczególnie przydatna do dopasowywania wyników wyszukiwania w oparciu o określone kryteria. Na przykład sprzedawcy odzieży online mogą korzystać z wyszukiwania hybrydowego, aby polecać podobne produkty, filtrując wyniki na podstawie rodzaju odzieży i przedziału cenowego.

Aby wykonać zapytanie hybrydowe, programiści mogą utworzyć nowy indeks wektorowy zawierający dodatkowe pola do filtrowania:

FT.CREATE inventory_index SCHEMA embedding VECTOR HNSW 6 DIM 128 TYPE FLOAT32 DISTANCE_METRIC L2 clothing_type TAG clothing_price_usd NUMERIC

Spowoduje to utworzenie indeksu „indeks_akcyjny” Z polem wektorowym `Osadzanie`W celu enkapsulacji semantycznej elementu odzieży, pole znacznika `Typ_odzieży` dla typu elementu ubioru (na przykład „Sukienka” lub „Kapelusz”) oraz pole numeryczne `Odzież_cena_usd„Za cenę ubrania.

Aby wykonać zapytanie mieszane „indeks_magazynowy”:

FT.SEARCH inventory_index “(@clothing_type:{dress} @clothing_price_usd:[100-200])=>[KNN 10 @embedding $query_vector]“ PARAMS 2 query_vector “...” DIALECT 2

To zapytanie zwróciło 10 wyników przefiltrowanych według typu odzieży „sukienka” i przedziału cenowego 100–200, a także wyszukiwania podobieństwa wektorowego.

Niektórzy członkowie społeczności ostrzegają przed przyjmowaniem wyszukiwania wektorowego Redis, jeśli technologia ta nie jest jeszcze szeroko rozpowszechniona w organizacji. Na przykład, marr75 na ReddicieMężczyzna:

Być może najlepszą radą jest trzymanie się głównego nurtu technologii zapytań i utrwalania danych. Jeśli to jest RediSearch, trzymaj się go. Jeśli nie, nie wybieraj go do obsługi wyszukiwania wektorowego, które jest dobre, ale nie najlepsze w swojej klasie lub stanie techniki.

Google Cloud wnosi także wkład w społeczność open source, przekazując swoje możliwości wyszukiwania wektorowego do magazynu danych typu klucz-wartość Valkey. Inicjatywa ta ma na celu umożliwienie programistom Valkey wykorzystania wyszukiwania wektorowego do tworzenia zaawansowanych generatywnych aplikacji AI.

W najnowszym blogu Google Ads pt. Sanjeeva Mohanagłówny analityk w SanjMo i były wiceprezes Gartnera, Podziel się jego punktem widzenia W treściach Google:

Ważne jest, aby Valkey nadal promował wysiłki społeczności mające na celu zapewnienie bogatych w funkcje alternatywnych baz danych o otwartym kodzie źródłowym. Uruchomienie wsparcia Valkey w Memorystore to kolejny przykład zaangażowania Google w dostarczanie użytkownikom naprawdę otwartych i dostępnych rozwiązań. Ich wkład w Valkey nie tylko przynosi korzyści programistom poszukującym elastyczności, ale także wzmacnia szerszy ekosystem open source.

Szybkie i dokładne wyszukiwania wektorów są istotne w branżach takich jak handel elektroniczny, gdzie zrozumienie preferencji klientów i dostarczanie spersonalizowanych rekomendacji może być korzystne.