Jak działa Super Resolution?

Wybieram z tego pytania. Przeczytałem artykuł w Wikipedii, ale nie rozumiem, dlaczego układanie kopii tego samego obrazu nad sobą powinno poprawić rozdzielczość obrazu?

Proces jest skomplikowany, ale powinien dać intuicję w tym, co się dzieje. Wyobraź sobie, że masz zwykłą kamerę, ale z silnikami, aby przesunąć czujnik o pół piksela w dowolnym kierunku.

Zamiast zrobić jedno zdjęcie, aparat wykonuje cztery: jeden wyśrodkowany, jeden przesunięty o pół piksela w prawo, jeden przesunięty o pół piksela w dół i jeden przesunięty o pół piksela w prawo i pół piksela w dół.

Następnie możemy zrobić wyśrodkowany obraz, sprawić, by był dwukrotnie większy, rozmieszczając piksele w następujący sposób:

xxxx               x x x x 
xxxx      ____\    
xxxx          /    x x x x 
xxxx               
                   x x x x

                   x x x x

Następnie możemy wypełnić luki, używając innych przesuniętych obrazów 1, 2 i 3:

x1x1x1x1
23232323
x1x1x1x1
23232323
x1x1x1x1
23232323
x1x1x1x1
23232323

Pozostawiając nam obraz dwukrotnie większej rozdzielczości. Co ciekawe, istnieją kamery, które nie wykorzystują tej techniki - takie jak Hasselblad H4D-200MS (przepraszam, jeśli musisz zapytać, ile nie możesz sobie pozwolić).

Super-rozdzielczość w standardowym aparacie jest nieco bardziej złożona, ponieważ w przypadku niekontrolowanego ruchu kamery lub obiektu nie dochodzi do dokładnego przesunięcia o pół piksela, ale jeśli nie masz pecha, przesunięty obraz będzie w pewnym stopniu przesunięty w stosunku do oryginału. Łącząc wystarczającą liczbę obrazów otrzymasz bardzo nieregularnie próbkowany obraz (z próbkami pikseli, które nie spadają na siatkę), ale taki, który można interpolować (śledząc linie między próbkami, aby zgadnąć wynik, który przypada na dokładną linię siatki) w zwykły obraz.

Weź pod uwagę, że czujnik nie jest idealnym urządzeniem do przechwytywania. Każdy piksel zostanie zapisany z pewną ilością błędu. Na przykład, jeśli najdokładniejsza jest wartość piksela N, czujnik zarejestruje wartość mieszczącą się w zakresie N-E to N+Edla danego E. Ponieważ dobry czujnik Ejest mały, zły czujnik będzie miał większy E.

Należy również pamiętać, że przy każdej ekspozycji dany piksel będzie miał inny błąd, komórki w czujniku nie mają pamięci, więc piksel, który wyszedł nisko jeden raz, może wyskoczyć wysoko w następnym.

Po zrobieniu kilku ekspozycji tego samego obiektu i uśrednieniu ich razem skutecznie zmniejszasz E. W naszym przykładzie piksela powyżej uśredniamy kilka różnych wartości, które są nieznane N, więc średnia zbliży cię do tego ideału N.

Oto, co rozumiem. Ludzie powinni czuć się swobodnie, zwracając uwagę na wszelkie nieporozumienia, abyśmy wszyscy byli podbudowani, ale mam nadzieję, że faktycznie wskażą każdy, kogo zauważą, a nie tylko bełkoczą w swoim piwie. (lub brody lub ...).

Upraszczając i upraszczając, na różnych zdjęciach są nieco inne informacje i do wykrycia i wyodrębnienia tych dodatkowych informacji oraz połączenia ich w spójny, addytywny sposób stosuje się różne metody.

Warto zauważyć, że nie gwarantuje się, że system będzie działał we wszystkich przypadkach.
Strona [Wikipedia Super-Resolution] zauważa:

• W najpopularniejszych algorytmach SR informacje uzyskane w obrazie SR zostały osadzone w obrazach LR w formie aliasingu.

  Wymaga to, aby czujnik przechwytujący w systemie był na tyle słaby, że faktycznie zachodzi aliasing. System o ograniczonej dyfrakcji nie zawiera aliasingu, podobnie jak system, w którym cała funkcja przenoszenia modulacji systemu odfiltrowuje treści o wysokiej częstotliwości.

Aliasing to zdolność systemu do prawidłowej prezentacji danych danych częstotliwości. Zobacz „wyjaśnienie” jako koniec.

Jeśli dobrze je rozumiem (i mogę, ale nie muszę), ich wyrażenie „jest wystarczająco słaby” oznacza, że ​​są to dodatkowe informacje, których sam czujnik nie jest w stanie rozwiązać, które zwykle uważa się za złe, więc zwykle jest to tłumione, jeśli to możliwe, VBUT, że to „alias” system SR potrzebuje dodatkowych informacji. Nikon D800r nie ma antyaliasingowego filtra optycznego na czujniku, podczas gdy std D800 i prawie wszystkie inne lustrzanki cyfrowe mają taki filtr.

MTF to w rzeczywistości zdolność obiektywu do wytworzenia kontrastu LUB do wytworzenia „ostrości” (te dwie są ściśle ze sobą powiązane. MTF jest zwykle najlepsza w pobliżu środka soczewki i, z prostokątnym obrazem, spada w kierunku krawędzi, a częściej w rogach obrazu Mówią, że zdolność systemu do generowania obrazu w super rozdzielczości zależy od jego zdolności do renderowania kontrastu i ostrości - tj. Od jego jakości, tj. Obiektyw musi być co najmniej tak dobry, jak obiektyw, który wyprodukowałby super rsolutionj iomage bezpośrednio, jeśli poprawione zostaną możliwości czujnika i procesu.

Aliasing zachodzi, gdy próbka strumienia informacji jest próbkowana tak wolno, że niektóre informacje o wysokiej częstotliwości zmieniają się szybciej; y niż częstotliwość próbkowania i „zawija się” i wydaje się, że jest to tak naprawdę składnik o niższej częstotliwości. W systemie ograniczającym częstotliwość próbkowania musi być co najmniej dwukrotnie wyższa od najwyższej dostępnej prędkości informacyjnej, ale w praktyce wymagane są nieco wyższe prędkości niż ta.

Prosty przykład:

• Rozważ sekwencję 0 1 2 3 4 5 6 5 4 3 2 1 0 1 2 3 4 5 6 5 4 3 2 1 0 1 2 3 4 5 6 ...

  Oczywiście istnieje wzorzec, który powtarza się co 12 jednostek.
  Jest to trójkąt, który rośnie przez 6 cykli i zmniejsza przez kolejne 6 cykli, a następnie powtarza, z okresem = 12 jednostek.

  Teraz próbkuj sekwencję tylko 11 razy. Otrzymujemy
  0 1 2 3 4 5 6 5 4 3 2 1
  To jest dokładnie ten sam wzór, ALE zmienia się 11 razy wolniej - fala trójkąta z okresem 11 x 12 = 132 jednostki.

  Próbkuj tę samą sekwencję co 8 raz, a otrzymasz 0 4 4 0 4 4 0 4 4,
  tzn. Wygląda ona jak kwadratowa fala 1: 2 z kropką = 24 jednostki.

  Każdy okres próbkowania dłuższy niż 6 jednostek czasu = pół cyklu spowoduje takie błędy aliasingu.