Google współpracuje z Welocalize, aby ocenić rozwiązanie Adaptive Translation LLM

Wyniki wskazują potencjalną ścieżkę do wysokiej jakości wyników LLM, która może prowadzić do lepszego dostępu do wysokiej jakości tłumaczeń poza tradycyjnymi przepływami pracy. Konkretnie Google’a Tłumaczenie adaptacyjne Ta funkcja przewyższa inne przetestowane metody pod względem płynności i dostosowywania stylu pisania do preferencji klienta.

Google, lider w dziedzinie sztucznej inteligencji (AI) i tłumaczenia maszynowego (MT), poczynił ogromne postępy w stosowaniu dużych modeli językowych (LLM) do zadań związanych z tłumaczeniem językowym. Ich podróż po sztucznej inteligencji, od ewolucji od tłumaczenia maszynowego neuronowego (NMT) po najnowsze osiągnięcia, takie jak Wyobrażać sobie I przesiać Dotychczas Tłumaczenie adaptacyjne Dzięki LLM prezentuje ich wieloletnie przywództwo w tej dziedzinie.

WelokalizacjaWe współpracy z Google przeprowadziła studium przypadku, aby ocenić skuteczność rozwiązania Google Adaptive Translation LLM. Welocalize jest jednym z pierwszych dostawców języków prowadzącym badania nad tymi modelami.

We wspólnym badaniu ocenia się wczesne etapy tłumaczenia adaptacyjnego – najnowszej funkcji dodanej do Google Zaawansowane API tłumaczeń. Tłumaczenie adaptacyjne to podejście zintegrowane z interfejsem programowania aplikacji (API), które współpracuje z większym modelem językowym, który Google dopracował do tłumaczenia tekstu. W rezultacie klienci mogą szybko i łatwo zoptymalizować wyniki tłumaczeń, aby lepiej dopasować je do stylu klienta i przypadków użycia w czasie rzeczywistym. Wyniki wskazują potencjalną ścieżkę do wysokiej jakości wyników LLM, która może poprawić dostęp do wysokiej jakości tłumaczeń poza tradycyjnymi przepływami pracy.

Tłumaczenie adaptacyjne i duże modele językowe

wstęp LLM zrewolucjonizowały tłumaczenie maszynoweDzięki temu jest bardziej elastyczny i świadomy kontekstu. Google wykorzystuje ten postęp technologiczny, włączając do swojego interfejsu API tłumaczeń generatywne modele sztucznej inteligencji specjalnie dostosowane do przypadków użycia tłumaczeń. Te szablony, które są wyspecjalizowanymi wersjami podstawowych szablonów Google, mają na celu ulepszanie tłumaczeń w celu spełnienia konkretnych potrzeb klientów i są dostępne w publicznej wersji zapoznawczej za pośrednictwem Translation API Advanced.

Michaela Grace komentuje: Szef inżynierii AI/ML w Welocalize„Nasze wspólne wysiłki badawcze z Google odzwierciedlają nasze zaangażowanie w innowacje w tłumaczeniu oparte na sztucznej inteligencji. Prace nad tłumaczeniem adaptacyjnym przy użyciu LLM stanowią ekscytującą potencjalną ścieżkę do wysokiej jakości wyników LLM, co mogłoby poprawić dostęp do wysokiej jakości tłumaczeń poza tradycyjnymi przepływami pracy .”

Cel badania

Badanie Welocalize ma na celu zmierzenie jakości rozwiązania Google do tłumaczenia adaptacyjnego (LLM) w porównaniu z niestandardowymi i ogólnymi systemami tłumaczenia maszynowego Google. Wiązało się to z wybraniem istniejących modeli z małymi zbiorami danych dla różnych par językowych i typów treści, zapewniając uczciwe porównanie poprzez utrzymanie jednakowych rozmiarów danych w podejściu adaptacyjnym i AutoML. Badanie obejmowało dostosowanie trzech iteracji w Google Adaptive poprzez pobieranie próbek o różnych rozmiarach danych i przeprowadzanie szczegółowej oceny przez człowieka.

Wyniki i wyniki

Adaptacyjna metoda tłumaczenia wyróżnia się dokładnością, płynnością, stylem i lokalnym językiem, przy mniejszej liczbie błędów i lepszym dostosowaniu do stylu klienta. Jednak tradycyjne modele tłumaczenia maszynowego, takie jak AutoML, radziły sobie lepiej w przypadku terminów i tagów (np. HTML). Warto zauważyć, że adaptacyjna metoda tłumaczenia wykorzystująca mniejszy zestaw przykładów osiągnęła najlepsze ogólne wyniki wydajności i płynności, podczas gdy większy adaptacyjny zbiór danych znacznie przewyższa AutoML pod względem dokładności, płynności i stylu.

Adaptacyjne rozwiązanie Google idealnie nadaje się do typów treści, które zawierają minimalny żargon charakterystyczny dla klienta, mało danych do personalizacji i skupiają się na stylu. Tradycyjne modele tłumaczenia maszynowego, zwłaszcza AutoML, przewyższają modele adaptacyjne pod względem specyficznym dla klienta, więc nadal mogą być lepszym wyborem w przypadku tekstów technicznych.

Szczegółowa analiza

• Modele adaptacyjne ze zbiorami danych 20 tys. i 3,5 tys. miały najwyższe wyniki płynności.
• Model ogólny uzyskał najniższe wyniki w zakresie płynności.
• AutoML wyróżniał się terminologią i wykazał najmniejszą liczbę błędów.
• Największą liczbę błędów dokładności miał AutoML, a najmniej modele adaptacyjne z mniejszą ilością danych.
• Drugi model adaptacyjny (zbiór danych 20 tys.) najlepiej radził sobie z dostosowywaniem się do stylu.
• Tłumaczenie adaptacyjne nie wymaga inżynierii na bieżąco i można je łatwiej zintegrować z istniejącymi przepływami pracy.

Wnioski i implikacje

To kompleksowe badanie pokazuje skuteczność Google Adaptive Translate LLM w konkretnych przypadkach użycia wymagających dużej płynności i dostosowania stylu, jednocześnie podkreślając obszary wymagające poprawy w obsłudze terminologii specyficznej dla klienta.

Tłumaczenie adaptacyjne to funkcja Translation API Advanced, z którą integruje się wiele systemów zarządzania tłumaczeniami (TMS) i narzędzi CAT, aby uzyskać dostęp do modeli Tłumacza Google dla swoich klientów. Dodanie go jako funkcji do interfejsu API poprawia łatwość użycia po zintegrowaniu z przepływem pracy. Twórcy narzędzi TMS i CAT muszą zaktualizować swoje wtyczki, aby uwzględnić nową funkcję, aby klienci mogli skorzystać z tego udoskonalenia.

Komentuje Eileen O’Corran, starszy menedżer programu AI w Welocalize: „Treści ogólne, zwłaszcza treści marketingowe i kreatywne, mogą bardzo dobrze współpracować z modelami adaptacyjnymi. Do czasu poprawy adaptacji terminologii w przyszłych wydaniach nie zalecamy tłumaczenia adaptacyjnego w przypadku projektów obciążonych dużą ilością terminologii , np. podręczniki użytkownika lub artykuły pomocy, które zawierają dużą ilość odniesień do interfejsu użytkownika i inną terminologię specyficzną dla klienta.

„Maksymalny rozmiar danych dozwolony w modelach adaptacyjnych wynosi 30 000 zdań” – dodaje O’Corran. „Jest to stosunkowo mały zbiór danych w przypadku naszych tradycyjnych, niestandardowych modeli tłumaczenia maszynowego. Oryginalna hipoteza oceny była taka, że ​​tradycyjne tłumaczenie maszynowe nie działa dobrze w przypadku małych zbiorów danych, a tłumaczenie adaptacyjne byłoby alternatywą.” Cóż, wyniki są bardzo zachęcające. Jednakże tłumaczenie adaptacyjne może również zastąpić tradycyjne tłumaczenie maszynowe z dużymi zbiorami danych. Planujemy dalsze testy, na przykład z treściami marketingowymi.

Ciągły pomiar i ocena wydajności wiodących i istniejących rozwiązań do tłumaczenia maszynowego w porównaniu z alternatywami LLM ma kluczowe znaczenie, aby pomóc firmom wyprzedzić konkurencję i czerpać korzyści z pojawiających się rozwiązań GenAI w zakresie ich globalnych treści. Ta innowacja sprawi, że wysokowydajne i dokładne tłumaczenie maszynowe będzie szerzej dostępne.