Po co patrzeć na rzeczywistość, kiedy możesz modyfikować to, co widzisz w czasie rzeczywistym?

Adopcja rzeczywistości rozszerzonej postępuje powoli, ale pewnie i łatwo dostrzec jedną potencjalną przyszłość tej technologii: urządzenia, które pozwalają edytować to, co widzisz w czasie rzeczywistym, zastępując otaczające Cię obiekty wirtualnymi nakładkami. Nazwij to mieszaną rzeczywistością, aby być bardziej precyzyjnym.

Ostatnie badania zespołu AI w Porsche (tak, producenci samochodów – za chwilę do tego dojdziemy) pokazują, jak to może działać. Zespół zbudował plik System AI o nazwie TransforMR Wykrywa takie rzeczy jak samochody i ludzie, usuwa je, a następnie zastępuje je alternatywami CGI w czasie rzeczywistym. Efekt końcowy jest bez zarzutu (modyfikacje są losowe, a modele CGI wyglądają, jakby zostały z nich zapożyczone) Kreator filmów 3D) Ale koncepcja jest niezwykła. Nietrudno sobie wyobrazić, że takie aplikacje staną się popularne w nadchodzących dziesięcioleciach.

Powiedział zespół stojący za pracą krawędź że choć poszczególne elementy ich pracy zostały wykonane wcześniej, to złożony system jest nowy. TansforMR może działać na zwykłych smartfonach i tabletach, ale do przesyłania danych do chmury wymagane jest połączenie 4G. Obrazy są przetwarzane w taki sposób, że obiekty nie tylko są zakrywane, jak w przypadku obiektywów Apple Snapchat AR lub Memoji, ale są całkowicie edytowane. Obiekty są wykrywane, dzielone, a następnie „malowane” (zastępowane tłem generowanym przez AI), a model CGI jest zastępowany oryginałem.

Oczywiste jest, że wiele obszarów wymaga poprawy. Szybkość klatek wynosi tylko 15 kl./s, gdy malowanie jest niskiej jakości; Różnica wynosi od 50 do 100 milisekund; A alternatywy CGI nie są najlepszej jakości. Jednak zespół odpowiedzialny za system twierdzi, że te aspekty można stosunkowo łatwo poprawić.

„Głównym ograniczeniem jest to, że duże obrazy są bardzo intensywne obliczeniowo” – powiedział Muhammad Carey, badacz uczenia maszynowego w Porsche. krawędź. „Więc w przypadku rysunku wewnętrznego robimy to obecnie z bardzo małymi obrazami, pracując na obrazie 512 × 512. Ale przepustowość [usage] To jest znikome. Jeśli możesz zrobić FaceTime, możesz zrobić TransforMR”.

Jak mówi Carey, kluczowym elementem systemu jest wykorzystanie wykrywania sytuacyjnego. Oznacza to, że gdy system wykryje osobę, na przykład, identyfikuje 18 oddzielnych stawów w ciele. Oznacza to, że zamiana CGI może być powiązana z ruchem celu w czasie rzeczywistym. Carey porównuje to do innych systemów AR, które po prostu zaznaczają powierzchnie geometryczne.

Patrząc na klipy TransforMR w akcji, nietrudno wyobrazić sobie włączenie takiego oprogramowania do okularów rozszerzonej rzeczywistości. Użytkownicy mogą wybrać „motyw” na swój dzień, zastępując samochody, budynki i ludzi alternatywami dla science fiction lub przedmiotów zaczerpniętych z natury. Carey wskazuje jednak, że będzie to wiązało się z poważnym wyzwaniem sprzętowym. Obecne okulary AR mogą wyświetlać na soczewkach tylko półprzezroczyste nakładki o niskiej rozdzielczości. W tej chwili nie mamy technologii umożliwiającej „zmodyfikowanie” tego, co użytkownicy widzą za pomocą tego typu urządzeń. (Chociaż ma to być zrobione z plikiem System wirtualnej rzeczywistości „Transit”, gdzie kamery pierwszoosobowe odtwarzają transmisje wideo na żywo na ekranach, które całkowicie zasłaniają wzrok użytkownika).

„Odtwarzamy cały obraz na ekranie, dzięki czemu możemy usunąć, co chcemy, ale w przypadku okularów do rzeczywistości rozszerzonej usuwanie obiektów jest trudne, ponieważ zwiększa intensywność światła” – mówi Carey. Na przykład w HoloLens szukasz przez Szkło, więc usuwanie rzeczy jest trudniejsze. To pytanie jest otwarte na badania”.

Ale po co w ogóle Porsche miałoby badać tego rodzaju technologię? Według jednego z inżynierów AI firmy, Tobiasa Grosse-Puppendahla, chodzi o poprawę komfortu pasażerów i kierowców. Przyszłe wersje TransforMR mogą być wykorzystywane do rozrywki ludzi, gdy utkną w korku, mówi Gross Poppendal. krawędź. „Nasze główne pytanie brzmiało: Jak możemy modyfikować rzeczywistość w zabawny i zabawny sposób, aby wchodzić z nią w interakcję? Stąd powstał nasz pomysł”.

Inne projekty badawcze w Porsche mają podobny temat. Na przykład firma zbudowała również profil Prototypowy system o nazwie SoundRide Wykorzystuje automatyczną wizję samochodu do wykrywania zmian w scenerii i odtwarza odpowiednią muzykę. „Może na przykład jedziesz przez Alpy, jedziesz piękną drogą i nagle masz wspaniały widok, a może muzyka się zmienia” – mówi Carey. „Zastanawiamy się, w jaki sposób technologia może sprawić, że wrażenia z jazdy w samochodzie będą ciekawsze i piękniejsze”. Oznacza to manipulowanie tym, co ludzie widzą i słyszą.