Google AI Open-Sources „MultiNeRF”: projekt AI Image Noise Reduction zaprezentowany na konferencji Computer Vision and Graphics Recognition (CVPR) 2022

Oprogramowanie szybko zastępuje to, co wcześniej było dziedziną mechaniczną. Te ostatnie postępy technologiczne w pewnym stopniu zastępują również ludzką wiedzę, zwłaszcza jeśli chodzi o obszary związane z przetwarzaniem obrazów i nawigacją sterowaną oprogramowaniem. W przeszłości czujniki były używane do robienia wyraźnych zdjęć w słabym świetle. W dzisiejszych czasach, oprócz tego, metodologie oprogramowania szybko nadrabiają zaległości. Duże matryce pełnoklatkowe nie są opcją do fotografowania smartfonami, chociaż fotografia przy słabym oświetleniu jest w dużym stopniu zależna od sprzętu. Mniejsze czujniki wymagają znacznego przetwarzania oprogramowania, aby dobrze funkcjonować w warunkach słabego oświetlenia, a hałas nadal stanowi duży problem.

Chociaż G-Cam działa niesamowicie nawet na telefonach budżetowych, badacze Google opracowali niesamowite narzędzie sztucznej inteligencji, które działa cudownie w słabym świetle o nazwie „MultiNerf” (Pole Promieniowania Neuronowego). To narzędzie do przetwarzania obrazu oparte na sztucznej inteligencji może być przełomem w dziedzinie fotografowania smartfonami w cichym słabym świetle. Referat zostanie również zaprezentowany na Konferencji Wizji Komputerowej i Rozpoznawania Wzorców (CVPR). Zespół opracował trzy metody, które są rozszerzeniem istniejącego algorytmu NeRF (pól promieniowania neuronowego): Mip-NeRF 360, Ref-NeRF i RawNeRF. Oczekuje się, że niedawno wydana technologia AI poprawi możliwości robienia zdjęć lub nagrywania filmów w telefonie Pixel.

Algorytm Mip-NeRF 360 jest rozszerzeniem istniejącej metody Mip-NeRF i umożliwia syntezę obrazu scen 360° bez obramowania. Ponadto może tworzyć w pełni zrealizowane obiekty i sceny 3D, umożliwiając oglądanie obrazów w 360 stopniach. Podobnie jak NeRF zaprojektowany do warunków słabego oświetlenia, RawNeRF jest ulepszoną wersją NeRF. Zapewniając użytkownikom kontrolę nad przydzielaniem tonów i ekspozycji, ta ulepszona metoda zapewnia wielostopniową redukcję szumów obrazu i imponujące efekty płytkiej głębi ostrości. Ref-NeRF redefiniuje efekty różnych kątów widzenia przy użyciu parametrów powierzchni. Pomaga to algorytmowi NeRF w lepszym wnioskowaniu materiałów i źródeł światła, co jest bardzo przydatne podczas pracy z obiektami o błyszczących powierzchniach.

Naukowcy uważają, że oprogramowanie MutiNeRF działa najlepiej, ponieważ może obsługiwać większość aplikacji fotogrametrii lotniczej, w których główną motywacją użytkownika jest przedstawianie wzorców. Jednak eksportowanie do sieci nie jest obecnie dostępne. Według strony projektu MultiNeRF obecny kod umożliwia aplikacji Google Mip-NeRF 360 replikowanie wyników Mip-NeRF 360 poprzez integrację aplikacji Ref-NeRF i RawNeRF. Jednak może istnieć niewielka różnica między wynikami Ref-NeRF i RawNeRF. Narzędzia i przykłady białych ksiąg, szkoleń, oceny, testowania i przesyłania są również dostępne na stronie internetowej projektu MultiNeRF. Widełki wykonawcze pochodzą z Mip-NeRF i są napisane w JAX.

Użytkownicy, którzy testowali niedawno wydany MultiNeRF, zgodzili się, że ma potężne oprogramowanie aparatu, które działa dobrze z dużymi scenami. Ponadto Google Research stworzyło cały kod jako open source i z zadowoleniem przyjmuje wkład społeczności AI. Zwracają jednak również uwagę, że obecny kod to tylko etap badań i należy go używać ostrożnie, ponieważ produkty Google nie obsługują go oficjalnie.

papier ’Mip-NeRF 360’| papier ’Ref-NeRF’| papier ’NeRF w ciemności | kod github

Please Don't Forget To Join Our ML Subreddit