OpenAI testuje wersję GPT-4, która może „zapamiętywać” długie rozmowy

Kredyty obrazkowe: Andriej Onofrinko / Getty Images

OpenAI zbudowało wersję GPT-4, najnowszego modelu generowania tekstu, który może „zapamiętać” około 50 stron treści dzięki znacznie powiększonemu oknie kontekstowemu.

Może nie wydawać się to ważne. Ale to pięć razy więcej informacji niż waniliowy GPT-4 może pomieścić w swojej „pamięci” i osiem razy więcej niż może pomieścić GPT-3.

„Model jest w stanie elastycznie wykorzystywać długie dokumenty” — powiedział Greg Brockman, współzałożyciel i prezes OpenAI, podczas popołudniowej demonstracji na żywo. „Chcemy zobaczyć rodzaje aplikacji [this enables]. „

Jeśli chodzi o sztuczną inteligencję do generowania tekstu, okno kontekstowe wskazuje, na jaki tekst patrzy model, zanim zostanie wygenerowany dodatkowy tekst. Podczas gdy modele takie jak GPT-4 „uczą się” pisać na klawiaturze, ucząc się na miliardach przykładów tekstu, mogą rozpatrywać tylko niewielką część tego tekstu na raz – zależy to przede wszystkim od rozmiaru ich okna kontekstowego.

Formularze z małymi oknami kontekstowymi mają tendencję do „zapominania” treści bardzo niedawnych rozmów, co powoduje, że odbiegają od tematu. Po mniej więcej kilku tysiącach słów zapominają również o swojej początkowej instrukcji, zamiast tego ekstrapolują swoje zachowanie na podstawie najnowszych informacji w swoim własnym kontekście, a nie na pierwotnej prośbie.

Allen Pike, były inżynier oprogramowania Apple, jest kolorowy Wyjaśnić tą drogą:

„[The model] Zapomni wszystko, czego spróbujesz go nauczyć. Zapomnisz, że mieszkasz w Kanadzie. Zapomnisz, że masz dzieci. Zapomnisz, że nie lubisz rezerwować rzeczy w środy i proszę, przestań sugerować środy, do cholery. Jeśli żadne z was nie wymieniło swojego imienia przez jakiś czas, on też o tym zapomni. Porozmawiaj z A [GPT-powered] postaci przez jakiś czas i możesz zacząć czuć się, jakbyś się z nią wiązał, i dostać się do naprawdę fajnego miejsca. Czasami robi się to trochę mylące, ale zdarza się to również ludziom. W końcu jednak fakt, że nie miał pamięci śródokresowej, staje się jasny, a iluzja zostaje rozwiana”.

Nie udało nam się jeszcze zdobyć wersji GPT-4 z rozszerzonym oknem kontekstowym, gpt-4-32k. (OpenAI twierdzi, że przetwarza żądania modeli GPT-4 o wysokim i niskim kontekście „z różnymi szybkościami w zależności od pojemności”). Ale nietrudno sobie wyobrazić, w jaki sposób rozmowy z nią mogą być o wiele bardziej przekonujące niż te, które odbywały się według dotychczasowego ogólnego modelu.

Przy większej „pamięci” GPT-4 powinien być w stanie rozmawiać stosunkowo spójnie przez wiele godzin – nawet kilka dni – w przeciwieństwie do minut. I, co być może najważniejsze, być mniej podatnym na wykolejenie. Jak zauważa Pike, jednym z powodów, dla których chatboty, takie jak Bing Chat, zachęcają do złego zachowania, jest to, że ich początkowe instrukcje — by być pomocnym chatbotem, odpowiadać z szacunkiem itd. — są szybko wypychane z okien kontekstowych przez dodatkowe monity i odpowiedzi.

Mogłoby być trochę dokładniej. Ale okno kontekstowe odgrywa główną rolę w tworzeniu formularzy. Bez wątpienia. Z biegiem czasu zobaczymy, jaką namacalną różnicę wprowadzisz.