Dlaczego fizyczny filtr antyaliasingowy jest nadal potrzebny w nowoczesnych lustrzankach?

Rozumiem, że celem filtra antyaliasingowego (AA) jest zapobieganie mory. Kiedy po raz pierwszy pojawiły się aparaty cyfrowe, konieczny był filtr AA, aby uzyskać wystarczającą rozmycie, aby zapobiec powstawaniu mory. W tym czasie moc procesorów kamery była bardzo ograniczona. Ale dlaczego nadal konieczne jest umieszczenie filtra AA nad czujnikiem w nowoczesnych aparatach DSLR? Czy nie można tego osiągnąć równie łatwo za pomocą algorytmów zastosowanych podczas demozaikacji sygnału wyjściowego z czujnika?Wydawałoby się, że obecna moc obliczeniowa dostępna w aparacie pozwoliłaby na to teraz znacznie więcej niż nawet kilka lat temu. Obecny procesor Digic 5+ firmy Canon ma ponad 100-krotnie większą moc obliczeniową niż procesor Digic III, który przewyższa moc najwcześniejszych aparatów cyfrowych. Czy szczególnie przy fotografowaniu plików RAW nie można rozmazać AA na etapie przetwarzania końcowego? Czy to podstawowa przesłanka Nikon D800E, mimo że używa drugiego filtra, aby przeciwdziałać pierwszemu?

Aliasing jest wynikiem powtarzania wzorców o mniej więcej tej samej częstotliwości zakłócających się ze sobą w niepożądany sposób. W przypadku fotografii wyższe częstotliwości obrazu rzutowanego przez obiektyw na matrycę tworzą wzór interferencji (w tym przypadku mory) z siatką pikseli. Zakłócenia te występują tylko wtedy, gdy częstotliwości te są w przybliżeniu takie same lub gdy częstotliwość próbkowania czujnika odpowiada częstotliwości falkowej obrazu. To jest limit Nyquista. Uwaga ... to jest problem analogiczny ... mora występuje z powodu interferencji, która występuje w czasie rzeczywistym w rzeczywistym świecie, zanim obraz zostanie naświetlony.

Po odsłonięciu obrazu ten wzór interferencyjny zostaje skutecznie „wypalony”. Możesz do pewnego stopnia użyć oprogramowania do czyszczenia wzorów mory na słupku, ale jest to minimalnie skuteczne w porównaniu z fizycznym filtrem dolnoprzepustowym (AA) przed czujnikiem. Utrata szczegółów spowodowana efektem mory może być również większa niż utrata przez filtr AA, ponieważ efekt mory to w rzeczywistości bzdurne dane, w których nadal mogą być przydatne lekko rozmyte szczegóły.

Filtr AA został zaprojektowany w celu rozmycia tych częstotliwości w Nyquist, aby nie tworzyły żadnych wzorów interferencji. Powodem, dla którego nadal potrzebujemy filtrów AA, jest to, że czujniki obrazu i obiektywy są nadal zdolne do rozdzielczości do tej samej częstotliwości. Gdy czujniki poprawią się do punktu, w którym częstotliwość próbkowania samego czujnika jest stale wyższa niż nawet najlepsze obiektywy na ich optymalnej aperturze, wówczas zapotrzebowanie na filtr AA zmniejszy się. Sam obiektyw skutecznie poradziłby nam z niezbędnym rozmyciem, a wzorce interferencji nigdy się nie pojawiły.

Fizyka po prostu nie działa w ten sposób. Aliasing nieodwracalnie przekształca częstotliwości przekraczające limit Nyquista, aby pojawiały się jako częstotliwości poniżej tego limitu, chociaż tych „aliasów” tak naprawdę nie ma. Żadna ilość przetwarzania aliasu nie jest w stanie odzyskać oryginalnego sygnału w ogólnym przypadku. Wymyślne matematyczne wyjaśnienia są dość długie, o ile nie masz klasy teorii próbkowania i cyfrowego przetwarzania sygnałów. Gdyby tak było, nie zadałbyś tego pytania. Niestety, najlepszą odpowiedzią jest po prostu: „Nie tak działa fizyka. Przepraszam, ale musisz mi zaufać”. .

Aby dać wrażenie, że powyższe może być prawdą, rozważ przypadek zdjęcia ściany z cegły. Bez filtra AA pojawią się wzory mory (które są tak naprawdę aliasami), dzięki którym ceglane linie będą wyglądały na faliste. Nigdy nie widziałeś prawdziwego budynku, tylko zdjęcie z falistymi liniami.

Skąd wiesz, że prawdziwe cegły nie zostały ułożone w falisty wzór? Ty zakładają oni nie byli z wiedzy ogólnej cegieł i ludzkiego doświadczenia widząc ceglane ściany. Czy jednak ktoś mógłby celowo zrobić mur z cegły, aby wyglądał w prawdziwym życiu (oglądany na własne oczy) jak na zdjęciu? Tak, mogliby. Czy zatem można matematycznie odróżnić aliasowany obraz normalnego muru z cegły i wierny obraz celowo falistego muru? Nie, nie jest. W rzeczywistości nie można tak naprawdę odróżnić, z wyjątkiem tego, że twoja intencja na temat tego, co prawdopodobnie przedstawia zdjęcie, może sprawiać wrażenie, że możesz. Ponownie, ściśle mówiąc, nie można stwierdzić, czy falowody są artefaktami mory, czy też są prawdziwe.

Oprogramowanie nie może magicznie usunąć fal, ponieważ nie wie, co jest prawdziwe, a co nie. Matematycznie można wykazać, że nie może wiedzieć, przynajmniej patrząc tylko na falisty obraz.

Ceglany mur może być oczywistym przypadkiem, w którym możesz wiedzieć, że aliasowany obraz jest nieprawidłowy, ale istnieje wiele innych subtelnych przypadków, w których tak naprawdę nie wiesz, a może nawet nie zdajesz sobie sprawy, że aliasing ma miejsce.

Dodano w odpowiedzi na komentarze:

Różnica między aliasingiem sygnału audio i obrazu polega jedynie na tym, że ten pierwszy to 1D, a drugi 2D. Teoria i wszelka matematyka do realizacji efektów jest nadal taka sama, tyle że jest stosowana w 2D przy przetwarzaniu obrazów. Jeśli próbki znajdują się na regularnej prostokątnej siatce, tak jak w aparacie cyfrowym, pojawiają się inne interesujące kwestie. Na przykład częstotliwość próbkowania jest mniejsza o 2 sqrt (około 1,4x niżej) wzdłuż kierunków ukośnych w stosunku do kierunków wyrównanych do osi. Jednak teoria próbkowania, częstotliwość Nyquista i to, czym tak naprawdę są aliasy, nie różnią się w sygnale 2D niż w sygnale 1D. Główną różnicą wydaje się być to, że może to być trudniejsze dla tych, którzy nie są przyzwyczajeni do myślenia w przestrzeni częstotliwości, aby zawinąć umysł i rzutować, co to wszystko oznacza w odniesieniu do tego, co widzisz na zdjęciu.

Ponownie, nie, nie można „demozaikować” sygnału po fakcie, przynajmniej nie w ogólnym przypadku, w którym nie wiesz, jaki powinien być oryginał. Wzory mory spowodowane próbkowaniem ciągłego obrazu to aliasy. Ta sama matematyka dotyczy ich tak samo, jak wysokich częstotliwości aliasingowanych do strumienia audio i brzmiących jak gwizdy w tle. To te same rzeczy, z tą samą teorią, aby to wyjaśnić, i tym samym rozwiązaniem, aby sobie z tym poradzić.

Rozwiązanie to polega na wyeliminowaniu częstotliwości powyżej limitu Nyquista przed pobraniem próbek. W przypadku audio, które można wykonać za pomocą prostego filtra dolnoprzepustowego, który można uzyskać z rezystora i kondensatora. Podczas próbkowania obrazu nadal potrzebujesz filtra dolnoprzepustowego, w tym przypadku pobiera on trochę światła, które uderzy tylko w jeden piksel i rozprasza go na sąsiednie piksele. Wizualnie wygląda to jak niewielkie rozmycie obrazu wcześniejjest próbkowany. Treści o wysokiej częstotliwości wyglądają jak drobne szczegóły lub ostre krawędzie na zdjęciu. I odwrotnie, ostre krawędzie i drobne szczegóły zawierają wysokie częstotliwości. Właśnie te wysokie częstotliwości są konwertowane na aliasy w próbkowanym obrazie. Niektóre aliasy nazywamy wzorami mory, gdy oryginał miał pewną regularną treść. Niektóre aliasy dają efekt „schodów” linii lub krawędzi, szczególnie gdy są one prawie pionowe lub poziome. Istnieją inne efekty wizualne spowodowane przez aliasy.

Tylko dlatego, że niezależną osią w sygnałach audio jest czas, a niezależnymi osiami (dwie z nich, ponieważ sygnał jest 2D) obrazu, odległość nie unieważnia matematyki ani nie różnicuje między sygnałami audio i obrazami. Prawdopodobnie dlatego, że teoria i zastosowania aliasingu i antyaliasingu zostały opracowane dla sygnałów 1D, które były napięciami opartymi na czasie, termin „dziedzina czasu” jest używany w przeciwieństwie do „dziedziny częstotliwości”. Na obrazie reprezentacja przestrzeni innej niż częstotliwość jest technicznie „domeną odległości”, ale dla uproszczenia przetwarzania sygnału jest często nazywana „domeną czasu”. Nie pozwól, aby odciągnęło Cię to od tego, czym tak naprawdę jest aliasing. I nie, to wcale nie jest dowód, że teoria nie dotyczy obrazów, tyle, że mylny wybór słów jest czasem używany do opisu rzeczy z przyczyn historycznych. W rzeczywistości skrót „domena czasu” stosowany w domenie nie-częstotliwości obrazów jest w rzeczywistościponieważ teoria jest taka sama dla obrazów i sygnałów opartych na czasie. Aliasing jest aliasingiem niezależnie od tego, jaka jest niezależna oś (lub osie).

Jeśli nie chcesz zagłębiać się w to na poziomie kilku kursów uniwersyteckich na temat teorii próbkowania i przetwarzania sygnałów, w końcu będziesz musiał zaufać tym, którzy mają. Niektóre z tych rzeczy są nieintuicyjne bez znaczącego zaplecza teoretycznego.

Nie można uzyskać tego samego efektu w oprogramowaniu. Możesz dostać się gdzieś w pobliżu, biorąc pod uwagę pewne założenia. Ale filtr AA rozprasza światło, dzięki czemu uderza w wiele różnych kolorowych pikseli, zapewniając informacje nieobecne w czujniku filtra bez AA.

Nikon D800E w ogóle nie robi nic, aby spróbować zreplikować filtr AA. Jeśli na obrazie są wzorce wysokich częstotliwości, masz mory i to jest twój problem - musisz sobie z tym poradzić!

Aliasing jest gorszy, gdy częstotliwość szczegółów na obrazie jest bardzo zbliżona do częstotliwości próbkowania. W starszych aparatach z czujnikami o niskiej rozdzielczości (a więc i próbkowaniu niskiej częstotliwości) mora stanowiła poważny problem z wieloma rodzajami szczegółów obrazu, więc filtry AA były mocne (nie ma to nic wspólnego z ograniczoną mocą przetwarzania). Teraz mamy znacznie wyższe częstotliwości próbkowania, potrzeba więcej szczegółów obrazu częstotliwości, aby pojawiła się mora.

Ostatecznie częstotliwości próbkowania będą tak wysokie, że niezbędne szczegóły obiektu o wysokiej częstotliwości nie spowodują, że minie aberracje obiektywu i efekty dyfrakcyjne, co spowoduje, że filtr AA stanie się zbędny. Jest to częściowo spowodowane tym, że niektóre tylne MF nie mają filtra AA, super wysokiej rozdzielczości oraz fotografów mody, którzy lubią strzelać do f / 32 z gigantycznymi zasilaczami Profoto udowadniającymi oświetlenie.

To są wszystkie dobre odpowiedzi i dobra informacja. Mam bardzo uproszczone wyjaśnienie. Przejdźmy od 2D do 1D (obowiązuje ta sama koncepcja).

Gdy częstotliwość uderzy w czujnik, który jest wyższy niż „maksymalna dopuszczalna częstotliwość”, faktycznie utworzy częstotliwość lustrzaną w dolnej części. Po próbkowaniu obrazu zobaczysz ten niższy sygnał, ale aparat lub komputer nie wie, czy był to rzeczywiście niższy sygnał, który tak naprawdę był, czy też był to alias utworzony z sygnału, który był zbyt wysoki. Ta informacja została utracona. To jest powód „maksymalnej dozwolonej częstotliwości” lub częstotliwości NYQUIST. Mówi, że jest to najwyższa częstotliwość, z której można próbkować, a powyżej informacja zostanie utracona.

analogowy do audio: załóżmy, że masz skonfigurowany system, w którym chcesz mieć zakres częstotliwości od 0 Hz do 1000 Hz. aby zostawić trochę dodatkowego miejsca, próbkujesz przy 3000 Hz, co sprawia, że ​​twój niquist 1500 Hz. oto, gdzie pojawia się filtr aa. nie chcesz, aby wchodziło coś powyżej 1500 Hz, w rzeczywistości twoje odcięcie rozpocznie się zaraz po 1000 Hz, ale upewniasz się, że zanim osiągniesz 1500 Hz, nic nie pozostanie.

załóżmy, że zapomniałeś filtra aa i pozwalasz tonowi 2500 Hz wejść do czujnika. będzie odzwierciedlać częstotliwość próbkowania (3000 Hz), dzięki czemu czujnik odbierze dźwięk przy 500 Hz (3000 Hz - 2500 Hz). teraz, gdy próbkowany jest twój sygnał, nie będziesz wiedział, czy 500Hz faktycznie tam było, czy jest to alias.

btw. odbicia lustrzane występują dla wszystkich częstotliwości, ale nie stanowią problemu, o ile nie znajdujesz się powyżej nyquista, ponieważ możesz łatwo je później odfiltrować. przykładowy ton wejściowy to 300 Hz. będziesz mieć aliasy przy (3000 - 300 = 2700 Hz [i, aby być poprawnym, także 3000 + 300 = 3300 Hz]). jednak ponieważ wiesz, że bierzesz pod uwagę tylko 1000 Hz, można je łatwo usunąć. więc ponownie pojawia się problem, gdy lustrzane obrazy wchodzą do spektrum, którego faktycznie chcesz, ponieważ nie będziesz w stanie odróżnić różnicy i to właśnie rozumieją przez „wypalenie”.

mam nadzieję że to pomoże