Dlaczego Copilot firmy Microsoft będzie na razie działać natywnie tylko na komputerach wyposażonych w sztuczną inteligencję? Nagrywać

komentarz Definicja Microsoftu dotycząca tego, co stanowi, a co nie stanowi komputer AI, nabiera kształtu. Dzięki najnowszej wersji systemu Windows, dedykowanemu przełącznikowi Copilot i procesorowi NPU zdolnemu wykonać co najmniej 40 bilionów operacji na sekundę, wkrótce będziesz mógł natywnie uruchomić Microsoft Copilot na swoim urządzeniu.

Wymagania firmy Redmond dotyczące modelu sztucznej inteligencji w systemie Windows zostały oficjalne przez firmę Intel — jedną z najsilniejszych cheerleaderek w kategorii komputerów PC ze sztuczną inteligencją — podczas szczytu AI chipowego giganta w Tajpej w tym tygodniu.

Lokalne uruchomienie dużego modelu językowego (LLM) ma pewne istotne korzyści. Użytkownicy końcowi powinni cieszyć się mniejszymi opóźnieniami, a co za tym idzie krótszym czasem reakcji, ponieważ zapytania nie muszą być wysyłane do i ze zdalnego centrum danych, a także teoretycznie większą prywatnością. Tymczasem dla Microsoftu przeniesienie większej części zadań związanych ze sztuczną inteligencją na urządzenia klienckie uwalnia własne zasoby do innych zadań, takich jak pomoc w szkoleniu kolejnego modelu OpenAI lub udostępnianie go jako interfejsu API w chmurze.

Microsoft ma nadzieję, że w końcu oprogramowanie Copilot LLM będzie działać wyłącznie na jednostkach NPU, czyli jednostkach przetwarzania neuronowego, w komputerach PC wyposażonych w system Windows AI, w oparciu o Komentarze najwyraźniej Wykonane przez czołowych menedżerów Intela. Możemy sobie wyobrazić, że Goliath x86 pcha tę linię, przekonując wszystkich, że jego krzem jest wystarczająco mocny, aby obsługiwać urządzenia Redmond w domu lub w biurze.

Choć pomysł odłączenia Copilota od tajnego Azure może być dla niektórych atrakcyjny, nie wszyscy wydają się być fanami wskrzeszonego Clippy i jest prawie pewne, że w dającej się przewidzieć przyszłości pewna część przetwarzania będzie odbywać się w chmurze.

Kierownictwo Intela twierdzi, że szybszy sprzęt umożliwi lokalne działanie większej liczby „elementów” Copilota. Innymi słowy, przynajmniej w przypadku niektórych funkcji nadal będziesz polegać na połączeniu sieciowym, a resztą zajmie się Twój komputer PC wyposażony w sztuczną inteligencję.

Powód nie powinien być wielką niespodzianką. Te komputery wyposażone w sztuczną inteligencję mają ograniczone zasoby, a model operacyjny Copilot – GPT-4 OpenAI – jest imponujący. Nie wiemy jednak dokładnie, jakiego rozmiaru wersji używa Microsoft Szacunki Ujmując pełny model GPT-4 na około 1,7 biliona parametrów. Nawet przy kwantyzacji lub uruchomieniu modelu na INT4 będziesz potrzebować około 900 GB pamięci.

Jak naszym zdaniem to zadziała

GPT-4 to tzw. model mieszaniny eksperckiej. W skrócie oznacza to, że tak naprawdę składają się one z szeregu małych, wyspecjalizowanych, wstępnie wytrenowanych modeli, do których kierowane są zapytania. Dzięki optymalizacji wielu modeli pod kątem generowania tekstu, podsumowań, generowania kodu itp. można poprawić wydajność wnioskowania, ponieważ do wykonania zadania nie jest konieczne uruchomienie całego modelu.

Użycie przez firmę Intel terminu „elementy” do opisania działających funkcji Copilot sugeruje, że niektórych z tych ekspertów można zastąpić mniejszymi, bardziej zwinnymi modelami, które mogą działać na laptopach. Jak odkryliśmy wcześniej, obecny sprzęt osobisty jest więcej niż zdolny do obsługi mniejszych modeli sztucznej inteligencji, takich jak Mistral czy Meta.

Przypadkowo Microsoft niedawno wpompował 15 milionów euro (16,3 miliona dolarów) we francuskiego producenta mikromodeli Mistral AI, planując udostępnić swoje prace klientom platformy Azure. Przy zaledwie 7 miliardach parametrów Mistral-7B jest wystarczająco mały, aby zmieścić się w pamięci komputera osobistego AI, wymagającego 4 GB pamięci przy zastosowaniu 4-bitowej kwantyzacji.

Jest to model ogólnego przeznaczenia. Możliwe jest, że będziesz w stanie obsłużyć mniejsze modele, które są ustawione do generowania kodu źródłowego i które są ładowane do pamięci dopiero po uruchomieniu aplikacji, na przykład Visual Studio Code i wykryta zostanie aktywna subskrypcja Github Copilot. Pamiętaj, że Copilot to coś więcej niż tylko chatbot; Jest to zestaw funkcji sztucznej inteligencji zintegrowanych z systemem operacyjnym i biblioteką oprogramowania firmy Microsoft.

Redmond nie powiedział, ile pamięci wymagają specyfikacje komputera AI, ale z naszego doświadczenia z lokalnymi LLM wynika, że ​​szybkie 16 GB pamięci DDR5 powinno wystarczyć.

Niezależnie od ścieżki, jaką wybierze Microsoft, połączenie modeli lokalnych i zdalnych może prowadzić do interesujących zachowań. Nie wiemy jeszcze, w jakich okolicznościach te natywne modele przejmą kontrolę, ale wiceprezes Microsoftu ds. urządzeń z systemem Windows, Pavan Davuluri, zasugerował, że miks może być dynamiczny.

„Chcemy mieć możliwość przeniesienia obciążenia między chmurą a klientem, aby zapewnić najlepsze obliczenia w tych dwóch światach” – powiedział na scenie podczas konferencji AMD Advancing AI. Stało się w grudniu. „Łączy zalety przetwarzania lokalnego, takie jak zwiększona prywatność, responsywność i opóźnienia, z mocą chmury, wysokowydajnymi modelami, dużymi zbiorami danych i wnioskowaniem między platformami”.

W związku z tym widzimy kilka scenariuszy wykorzystania przez Microsoft własnej sztucznej inteligencji. Pierwszym z nich jest odciążenie serwerów Microsoft i skrócenie czasu reakcji. W miarę ulepszania sprzętu coraz więcej funkcji Copilot będzie można przenieść z chmury na urządzenia użytkowników.

Drugim jest działanie jako kopia zapasowa na wypadek awarii sieci. Możesz sobie wyobrazić, że Twój komputer wyposażony w sztuczną inteligencję staje się znacznie głupszy, zamiast całkowicie się wyłączać po odłączeniu od sieci.

Ograniczenia sprzętowe

Zanim zaczniesz się zbytnio ekscytować komputerami stacjonarnymi z rozszczepionymi mózgami i wyposażonymi w sztuczną inteligencję, które tworzą dane poza siecią, nie ma obecnie żadnych urządzeń spełniających wymagania sprzętowe i nie chodzi tu o brak przełącznika Copilot Switch.

Problem polega na tym, że jednostki NPU są wciąż stosunkowo nowym rozwiązaniem w chipie x86, a to, co tam jest, nie jest wystarczająco mocne. AMD była jedną z pierwszych firm, które dodały NPU do swoich procesorów mobilnych na początku 2023 roku wraz z wprowadzeniem na rynek serii chipsetów Ryzen 7040.

Skład ten został wzmocniony przez całą dobę w grudniu podczas wydarzenia Advancing AI organizowanego przez House of Zen. Firma AMD wprowadziła także swoje jednostki NPU na komputery stacjonarne wraz z premierą jednostek APU 8000G na targach CES w styczniu tego roku.

Intel przedstawił swoje dedykowane klastry akceleratorów AI wraz z wprowadzeniem na rynek części do mikroprocesorów Meteor Lake pod koniec grudnia. Ten chipset Core Ultra jest wyposażony w jednostkę NPU wywodzącą się z jednostki przetwarzania wizyjnego Movidius firmy Intel (VPU), której działanie Intel zademonstrował podczas swojego wydarzenia poświęconego innowacjom w zeszłym roku przy różnych obciążeniach.

Niestety, chipy są w stanie wykonać jedynie od 10 do 16 bilionów operacji (zwykle INT4) na sekundę, czyli znacznie poniżej specyfikacji Microsoftu 40 TOPS. Oznacza to, że większość dostępnych na rynku komputerów PC wyposażonych w sztuczną inteligencję nie spełni tych wymagań, nie bez polegania na procesorze graficznym, który zrekompensuje różnicę.

Zarówno Intel, jak i AMD mają bardziej wydajne chipsety, które są dostarczane odpowiednio z krzemem Lunar Lake i Strix Point. Wygląda jednak na to, że w najbliższej przyszłości Qualcomm zdominuje rynek.

Laptopy wyposażone w procesor Qualcomm Snapdragon W połączeniu z procesorem graficznym Adreno o wydajności 4,6 teraflopa w FP32, Qualcomm twierdzi, że ta część będzie w stanie uruchamiać modele AI zawierające do 13 miliardów parametrów całkowicie na urządzeniu i generować 30 tokenów na sekundę podczas uruchamiania mniejszych LLM z 7 miliardami parametrów.

Uważamy, że w miarę pojawiania się komputerów PC z wydajniejszymi jednostkami NPU i większymi bankami pamięci oraz zwiększania możliwości mniejszych modeli Microsoft zacznie przenosić więcej funkcjonalności na sprzęt natywny — gdy tylko sprzęt będzie w stanie sobie z tym poradzić. ®