Dlaczego czujniki aparatów cyfrowych nie mogą eksponować każdego zdjęcia osobno?

Dlaczego czujniki aparatu nie działają tak, jak ludzkie oko? Mam na myśli to, dlaczego pewna część obrazu musi być prześwietlona / niedoświetlona, ​​jeśli kompensujemy odpowiednio ciemne i jasne obszary podczas robienia zdjęcia i decydowania o ustawieniach przysłony i czasu otwarcia migawki.

Rozumiem, że wpadające światło zależy od przysłony i czasu otwarcia migawki, ale ponieważ lustrzanki cyfrowe są cyfrowe, nie może istnieć technologia, która umożliwiłaby każdemu ogniwu czujnikowemu korzystanie z własnego pomiaru, a zatem nie wszystkie byłyby poddane tej samej ilości światła, ale w zależności od pomiaru procesor aparatu wyłączyłby niektóre komórki, aby ich nie prześwietlić.

Mam nadzieję, że nie mówię bzdur. Z pewnością wydaje mi się to wiarygodnym pomysłem.

Kto decyduje, które piksele uzyskają, ile zysku? Wiele z tego, co dzieje się w ludzkim układzie wzrokowym, dzieje się w korze, a nie w oku, i zależy od tego, co uważamy za ważne, aby zobaczyć na podstawie połączenia intelektualnej decyzji i (nieco nadrzędnego) instynktownego dążenia do samozachowawczości . Chociaż jest prawdą w pewnym sensie, że widzimy, co tam jest, jest równie prawdziwe w innym sensie, że widzimy to, co chcemy (lub musimy) zobaczyć.

To by było prawietrywialne jest stworzenie czujnika o stosunkowo niskiej gęstości pikseli z dużymi stronami zdjęciowymi, które pozwalają na ogromny zakres dynamiki i (przy założeniu technologii typu CCD, ponieważ obecna technika matrycy CMOS nie może w ten sposób działać) elektroniczna migawka na piksel oprócz mechaniczna migawka. Co by ci to dało? Płaski obraz o dużej głębi bitów i bardzo niskim lokalnym kontraście (jeśli cała głębia bitów jest konwertowana w takiej postaci, w jakiej jest wyświetlana lub drukowana) wraz z liczbą pikseli, które są prawie, ale nie całkiem, obcięte przez nasycenie czujnika ( chociaż w rzeczywistości są one przycinane przez ograniczające działanie elektronicznej migawki tuż przed punktem nasycenia). Powiedzmy jednak dla argumentu, że ten czujnik i powiązany z nim komputer mogą rejestrować dane obcinania (powód, dla którego przestał rejestrować w tym sensie, co może być tak proste, jak rejestracja faktycznego czasu ekspozycji w tym miejscu). Pozwoliłoby to elektronice aparatu odtworzyć, jakie byłyby liczby, gdyby strona fotograficzna mogła pozostać w grze do ostatniego gwizdka. Więc teraz mamy jeszcze bardziej płaski obraz z większą głębią bitową. A gdzie narysujesz linię? 32 bity? 64?

Teraz jest trudna część - przekształcenie tych płaskich danych obrazu o wysokim zakresie dynamiki w fascynującą fotografię. Najprostsze podejście polega na pobraniu ośmiu bitów (lub jakiejkolwiek głębokości wyjściowego bitu), które reprezentują pierwotny odmierzony obraz i wyrzucenie pozostałych. Prawdopodobnie nie byłoby o wiele trudniej dopasować dane do krzywej S, kompresując ekstremalne cienie i / lub światła - to mniej więcej to, co już robią ustawienia rozszerzonego zakresu dynamicznego w nowszych aparatach. Ale na piksel jest dostępnych tylko tyle bitów wyjściowych, a większość rozszerzonych wartości podświetlenia zaokrągli się w górę do bieli (lub co najmniej miksu 254 i 255). Więc zyskałeś bardzo niewiele, dramatycznie komplikując system.

Ale jest jeszcze jedna otwarta opcja - selektywne mapowanie obszarów. Dlaczego nie obniżyć wartości, powiedzmy, lub po prostu chmur tego nieba, aby mogły zachować szczegóły, zachowując pożądany kontrast na pierwszym planie? Tutaj mieszka trudny problem. Co jest ważne Czy aparat powinien zdecydować za Ciebie? Jeśli kamera zdecyduje, mamy duży postęp w dziedzinie widzenia maszynowego i sztucznej inteligencji, aby zająć się tym w pierwszej kolejności. Jeśli nie, to czy naprawdę chcesz podjąć taką decyzję po zrobieniu każdego zdjęcia, które wykonasz? Tak, wiem, że będzie kilka foto-techno-weinies, którzy naprawdę chcą być tak praktyczni, ale czy możemy zaakceptować, że jest to stan patologiczny i że specjaliści zainteresowani czasem zawracania i ogromna większość konsumentów nie są podoba ci się to?

Potrzebujesz więc nowego czujnika, znacznie bardziej skomplikowanej elektroniki wokół czujnika, ogromnego pliku obrazu dla rzutowanych nieprzetworzonych danych (co wymaga większych kart i dłuższych czasów zapisu / wolniejszych klatek), wszystko do gromadzenia danych, które zostaną wyrzucone najbardziej czasu, aby od czasu do czasu można było wykonać pojedyncze zdjęcia HDR, które wymagają dużej interwencji człowieka na stanowisku (lub ogromnego skoku w MV / AI). Prawdopodobnie mógłbyś sprzedać kilka z nich, ale spodziewam się, że rynek będzie wyglądał o wiele bardziej podobnie do rynku średniego formatu niż istniejący rynek 35 mm / APS-C. Oznacza to, że sprzedałbyś wybraną grupę dobrze sytuowanych fotografów, którzy albo faktycznie potrzebują tych możliwości z powodów zawodowych, albo by zrealizować swoją wizję sztuki, a także kilku, którzy po prostu dostają wystarczająco dużo pracy, aby zapłacić podatek technologiczny.

Jest tylko jedna rzecz, o której wspomina tylko kilka osób, a mianowicie, że scena nie wyglądałaby tak samo, gdyby różne obszary były inaczej narażone na inne obszary. Scena wygląda tak, jak jest, ponieważ istnieje zmienność. Tak, może to być sposób na zapisanie świateł i zwiększenie cieni, ale w końcu tak naprawdę potrzebujesz większego zakresu dynamicznego, który może uchwycić zakres dynamiczny w scenie przy użyciu jednego ustawienia ekspozycji.

Nasze oczy wspaniale zapewniają znacznie większy zakres dynamiki niż obecna technologia kamer konsumenckich. Mogę szybko rozejrzeć się i jednocześnie dostrzec dokładne szczegóły w obszarach zacienionych i jasnych, nasłonecznionych.

Jednym ze sposobów obejścia tego problemu przez producentów aparatów jest użycie pikseli o wysokiej i niskiej czułości w jednym czujniku, a następnie połączenie wyniku na piksel. Nowsze cyfrowe kamery kinowe RED mają matrycę pikseli o normalnej i niskiej czułości, zwanych HDRx. Małe piksele czujnika o niskiej czułości są łączone w najjaśniejsze jasne piksele, aby zwiększyć zakres dynamiczny.

Po pierwsze, zakres dynamiki ludzkiego oka nie jest tak świetny. Wydaje się być lepszy niż nasze obecne aparaty wysokiej klasy, ponieważ nasz mózg stale łączy „migawki” wykonane przy różnych ustawieniach ekspozycji. Nasze oczy nie mogą jednocześnie rejestrować wyjątkowo jasnych i bardzo ciemnych obiektów (nawet jeśli mózg to potrafi). Prawdziwy cud przetwarzania obrazu, ale tylko mierna optyka / urządzenie do obrazowania.

Istnieje kilka propozycji / prototypów pokazujących, w jaki sposób można znacznie poprawić zakres dynamiczny czujników obrazu:

• Kamera Modulo firmy MIT

  każda fotodioda resetuje swój stan po osiągnięciu maksymalnego naładowania i zapamiętuje, ile razy się zdarzyła

• Czujnik obrazu Quanta firmy Eric Fossum

  wykorzystuje znacznie mniejsze i szybsze piksele zliczające fotony zamiast „analogowych” pojemników do ładowania + przetworników A / D

Brakuje tutaj jakiejś podstawowej fizyki. Głównym problemem jest to, że prawdziwe sceny mają duże współczynniki kontrastu. Nasze oczy ewoluowały, aby sobie z tym poradzić, postrzegając poziomy światła logarytmicznie zamiast liniowo. Niestety obecna technologia czujników z natury mierzy światło liniowo. Mówiąc dokładniej, hałas jest ustalany na liniowej skali światła.

W obecnej technologii maksymalny limit kontrastu jest w zasadzie funkcją poziomu hałasu. Dla argumentu zastosujmy skalę świetlną 0-1000, co oznacza, że ​​czujnik może powiedzieć ci poziom światła od 0 do 1000. Jaki jest zatem najwyższy współczynnik, który można zmierzyć? To zależy od poziomu hałasu. Poziom hałasu to w zasadzie to, co otrzymujesz zamiast prawdziwej czerni, która w tym przykładzie wynosiłaby 0. Z grubsza, jeśli poziom hałasu wynosi 2, to otrzymasz współczynnik jasności około 1000: 2 = 500: 1. Dopóki scena tego nie przekroczy (prawie wszystko by to zrobiło, w rzeczywistości 500: 1 to niewiele), możesz zrobić dowolne mapowanie logarytmiczne, które chcesz później.

Zatem obecna strategia, biorąc pod uwagę, że czujniki prądu są z natury liniowe, polega na zwiększeniu stosunku sygnału do szumu i zapewnieniu wystarczającej liczby bitów, aby szum kwantyzacji był niższy od szumu losowego. Im niższy szum czujnika, tym szerszy zakres dynamiki można uchwycić bez przycinania świateł i zamazywania cieni.

Istnieje zupełnie inna technologia czujników, która z natury mierzy dziennik jasności. Czasami są one nazywane czujnikami „CMOS”, ponieważ przypominają dynamiczne pamięci RAM CMOS ze zdjętą pokrywą (upraszczam, ale pierwszy test w laboratorium został przeprowadzony w ten sposób). Otrzymujesz napięcie proporcjonalne do logarytmu światła, ale obecnie mają one znacznie niższe stosunki sygnału do szumu. Mitsubishi jako pierwszy wprowadził na rynek te czujniki, ale nie są one jeszcze wystarczająco dobre dla wysokiej klasy kamer.

Bez wątpienia będą postępy na wielu frontach i jestem pewien, że będziemy obserwować stały postęp przez wiele lat. Istnieją jednak dobre powody, dla których rzeczy są takie, jakie są teraz, nie tylko dlatego, że nikt nie może sobie wyobrazić czegoś lepszego. Gdyby ktoś miał technologię, która mogłaby dokładnie zmierzyć szeroki zakres dynamiczny i za cenę, za którą ludzie są skłonni zapłacić, byłby tam bogaty.

Uważam, że to po prostu zbyt skomplikowane.

Zasadniczo byłyby dwa możliwe podejścia; albo każdy fotosensor może śledzić czas i sam się wyłączać, albo CPU może śledzić dane z fotosensorów i je wyłączać.

W przypadku pierwszego podejścia oznaczałoby to, że każdy fotosensor będzie potrzebował sygnału zegarowego i licznika, aby mógł śledzić, ile czasu zajęło mu wyłączenie się. To o wiele więcej obwodów do zmieszczenia na chipie i dużo więcej prądu potrzebnego do jego uruchomienia, co zwiększa szum sygnału. Prawdopodobnie tyle, że zwiększony zakres dynamiczny byłby bezcelowy.

W drugim podejściu procesor musiałby odczytać wszystkie dane z czujnika mniej więcej raz na 1/10000 sekundy. To około 1000 razy szybciej niż obecna technologia jest w stanie osiągnąć, więc jest to dziesięciolecia w przyszłość, jeśli to w ogóle możliwe.

Istnieją również inne komplikacje z takim rozwiązaniem, takie jak, że każdy piksel miałby inny czas ekspozycji. Dostaniesz dość dziwne artefakty, jeśli sfotografujesz wszystko, co się rusza.

Chociaż prawdą jest, że lustrzanki cyfrowe są cyfrowe, obiektywy nie. Wszystkie czujniki komórkowe będą podlegały tej samej przysłonie, bez względu na to, jak inteligentny staje się korpus lustrzanki, ponieważ przysłona jest ustawiana na obiektywie. Myślę więc, że zmienianie apertury na komórkę czujnika jest niemożliwe, przynajmniej przy obecnej technologii obiektywu.

Jeśli chodzi o czas otwarcia migawki, który jest kontrolowany przez aparat, ale jeśli wyobrażamy sobie aparat, który może zmieniać czas otwarcia migawki w różnych częściach obrazu w celu kontroli nad / niedoświetlenia, skończy się nierównomierne rozmycie ruchu. Ciemniejsze części sceny będą musiały zostać naświetlone dłużej i będą bardziej rozmazane niż jaśniejsze. Myślę, że rozwiązanie zmieniające czas otwarcia migawki nie zadziała z tego powodu.

Pozostaje więc tylko ISO. Zmiana ISO oznaczałaby różne poziomy hałasu w różnych częściach obrazu. Nie brzmi to źle, biorąc pod uwagę, że w zamian uzyskałbyś znacznie większy zakres dynamiki. Nie wiem wiele na temat działania czujników, ale wyobrażam sobie, że ustawienie ISO jest realizowane w czujnikach jako swego rodzaju „dostrojenie” do określonego podzbioru skali jasności. Wydaje mi się, że posiadanie niezależnego pomiaru i kontroli ISO w każdej komórce czujnika byłoby zbyt drogie, ale być może obraz można podzielić na obszary i każdy obszar mierzyć osobno. Następnie kamera będzie musiała mieć jakiś algorytm do mieszania obszarów o różnej ekspozycji, coś takiego, co „włącza”, gdy tworzy panoramę, w której każde zdjęcie ma inną ekspozycję. Brzmi dla mnie wykonalnie.

Inną opcją byłoby posiadanie kamery z wieloma czujnikami, z których każdy jest skonfigurowany z innym ISO. W technologii wideo są 3 kamery CCD, w których każda CCD nagrywa jedną z czerwonych, zielonych i niebieskich. Nie rozumiem, dlaczego nie było podobnej koncepcji lustrzanek cyfrowych, w których wiele czujników robi zdjęcie na różnych poziomach ISO, tworząc obraz HDR.

W tej chwili nie mogę znaleźć informacji, ale wydaje mi się, że przypominam sobie opis podobnej technologii. Pomysł był mniej więcej taki: jedyną rzeczą, którą należy się zająć, są przesadzone pasemka. Jeśli możesz temu zapobiec, ciemne obszary można usunąć poprzez zwiększenie ekspozycji na całe zdjęcie. Tak więc, aby zapobiec przepełnieniu świateł, każdy czujnik będzie śledził nagromadzone światło, a jeśli zbliży się do maksimum, czujnik się wyłączy. To samo w sobie niczego nie poprawi, w rzeczywistości pogorszy sprawę, zamiast kilku jasnych, przesadzonych świateł, skończy się to jeszcze bardziej ciemniejszymi światłami. Więc zamiast po prostu wyłączyć, komórka wyłączyłaby również komórki w niektórych okolicach, co zachowałoby pewne szczegóły w jasnych obszarach.

Jak napisałem, nie mogę teraz znaleźć tekstu, ale w jakiś sposób jest on moim zdaniem związany z aparatami cyfrowymi HP.

Można to zrobić matematycznie (teoretycznie): http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.64.9692&rep=rep1&type=pdf