Czy ustawienie „uniwersalnej ekspozycji” jest praktycznie możliwe?

Nie jestem pewien, jak niewykształcone jest to pytanie, ale jestem zainteresowany nauką, więc z góry dziękuję za pobłażanie.

Film zmienia się fizycznie w czasie naświetlania. Jednak czujnik cyfrowy nie; to tylko odczyt danych. Czy jest jakiś powód, dla którego aparat nie mógł „zapamiętać” odczytów czujnika w każdym punkcie ekspozycji? To tylko dane. Może to być dużo danych, ale zdarza się, że ktoś może chcieć to zrobić, nie? Daje znacznie większą elastyczność w przetwarzaniu końcowym.

Jeśli przechowywanie danych nie stanowiło problemu, czy jest jakiś powód, dla którego nie mogłaby to być norma, przynajmniej w fotografii profesjonalnej i artystycznej?

Czujnik cyfrowy nie jest tak naprawdę najlepiej opisywany jako „odczyt danych”. Znacznie lepszym sposobem na opisanie tego jest „zbieranie fotonów”, które są następnie przekształcane w dane poprzez pomiar mikroskopijnych ładunków elektrycznych, które wytwarzają po zakończeniu okresu zbierania . Nie mają możliwości ciągłego rejestrowania zmieniającego się stanu każdego piksela, gdy zbierają światło. W zależności od tego, jak mało światła padnie na czujnik, może zająć dużo czasu, zanim wystarczająca liczba fotonów uderzy w czujnik, zanim zostaną wygenerowane cokolwiek więcej niż przypadkowe dane. Z drugiej strony, w bardzo jasnym świetle, czasami wszystkie studzienki pikseli mogą wypełnić się tak szybko, że utracone zostaną dodatkowe fotony padające na czujnik.

W pierwszym scenariuszu nie zgromadzono wystarczającej liczby fotonów, aby stworzyć dostrzegalny wzór poprzez „szum” generowany przez energię przepływającą przez czujnik, który jest wykorzystywany do zbierania napięć wytwarzanych przez fotony wpadające do studni pikseli. W ten sposób nie są gromadzone przydatne informacje. Całe twoje zdjęcie jest ciemne z przypadkowymi plamami koloru i światła.

W drugim scenariuszu gromadzonych jest tyle fotonów, że każdy piksel jest odczytywany z tą samą wartością maksymalną, zwaną pełnym nasyceniem, a ponieważ każdy piksel na obrazie ma tę samą wartość, nie zachowano użytecznych informacji. Całe twoje zdjęcie jest jednolicie jasne, białe.

Tylko wtedy, gdy wystarczająca liczba fotonów trafi w czujnik, obszary o większej liczbie fotonów na jednostkę czasu mają wyższą wartość odczytu niż obszary o mniejszej liczbie fotonów uderzających w jednostkę czasu. Dopiero wtedy czujnik zebrał istotne informacje, które mogą rozróżnić obszary o różnej jasności.

Wyobraź sobie, że ustawiasz wiele wiader z wodą na swoim podwórku, aby zbierać krople deszczu. Wyobraź sobie, że wszyscy mają w sobie trochę wody, ale wysypujesz ją przed umieszczeniem. Niektóre są umieszczone pod okapem dachu domu. Niektóre są umieszczone pod dużymi drzewami na twoim podwórku. Niektóre są otwarte. Niektóre są umieszczone pod dziobkiem, który zrzuca wodę z rynien na dziedziniec. Potem zaczyna padać.

Powiedzmy, że pada bardzo krótko: 15 sekund. W każdym wiadrze znajduje się kilka kropli wody. Ale w każdym wiadrze nie ma wystarczającej ilości wody, aby móc stwierdzić, czy w każdym wiadrze mogło spadać więcej wody deszczowej, czy też zostało jeszcze kilka kropli w wiadrze, gdy wylałeś wodę przed włożeniem wiader na podwórku. Ponieważ nie masz wystarczających danych, aby określić, ile deszczu spadło na które części podwórza, zrzucisz wszystkie wiadra i czekasz, aż znowu spadnie.

Tym razem pada przez kilka dni. Zanim przestanie padać, każde wiadro na podwórku jest przepełnione. Mimo że masz pewność, że niektóre wiadra napełniają się szybciej niż inne wiadra, nie masz możliwości dowiedzenia się, które wiadra napełniły się najszybciej, a które wiadra wypełniły się na końcu. Musisz więc ponownie zrzucić wiadra i poczekać na więcej deszczu.

Przy trzeciej próbie pada przez trzy godziny, a potem przestaje padać. Wychodzisz na podwórko i sprawdzasz swoje wiadra. Niektóre są prawie pełne! Niektórzy nie mają prawie wcale wody! Większość ma różne ilości wody pomiędzy dwiema skrajnościami. Teraz możesz użyć położenia każdego wiadra, aby określić, ile deszczu spadło na każdy obszar Twojego podwórka.

Powodem, dla którego zmieniamy ekspozycję w aparatach cyfrowych, jest próba zebrania wystarczającej ilości światła, aby najjaśniejsze obszary były prawie, ale nie całkiem, nasycone.Idealnie dzieje się to w przypadku podstawowej czułości ISO aparatu. Czasami jednak nie ma wystarczającej ilości światła, aby to zrobić. Nawet przy największej dostępnej aperturze nie jesteśmy w stanie zebrać wystarczającej ilości światła w najdłuższym czasie, który ośmielimy się pozostawić otwartą migawkę (z powodu ruchu naszych obiektów). W tym przypadku dostosowujemy ustawienie ISO w naszym aparacie, tak aby wszystkie wartości wychodzące z czujnika były mnożone z współczynnikiem, który doprowadza najwyższe wartości do punktu, w którym są prawie, ale niezupełnie nasycone. Niestety, kiedy wzmacniamy sygnał (napięcia wytwarzane przez fotony lądujące w studniach pikseli), wzmacniamy również szum (losowe nierównomierne napięcia wytwarzane przez prąd wykorzystywany do gromadzenia napięć z każdej studni pikseli). Powoduje to niższy stosunek sygnału do szumu co zmniejsza ilość szczegółów, które możemy stworzyć na podstawie danych zebranych z czujnika.

Istnieją inne ograniczenia techniczne, które uniemożliwiają aparatom utrzymywanie „działającej sumy” liczby fotonów zebranych w różnych odstępach czasu, gdy migawka jest otwarta. Zarzuć wystarczająco dużo pieniędzy na problem, a niektóre z tych ograniczeń można pokonać, przynajmniej częściowo. Ale albo prawa fizyki musiałyby się zmienić, albo musimy całkowicie zmienić sposób, w jaki czujniki zliczają fotony, zanim inne z tych ograniczeń zostaną przezwyciężone. W końcu technologia niektórych lub wszystkich tych urządzeń może zastąpić sposób, w jaki obecnie rejestrujemy obrazy o bardzo wysokiej jakości, ale nie jesteśmy jeszcze w pobliżu.

Mamy już do tego trochę technologii. Nasz termin zapamiętywania odczytów z czujników w każdym punkcie ekspozycji to „wideo”, a to, o co prosisz, to rekonstrukcja optymalnego nieruchomego obrazu z wielu klatek wideo.

Aby zapoznać się z pracami badawczymi firmy Microsoft Research, zacznij tutaj: http://research.microsoft.com/en-us/um/redmond/groups/ivm/multiimagefusion/

Dostępny przykład można znaleźć w aplikacji Synthcam, której można używać do zmniejszania hałasu w słabym świetle przez połączenie klatek wideo zarejestrowanych aparatem telefonicznym: https://sites.google.com/site/marclevoy/

Jest to daleka od praktycznej fotografii codziennej, ale możliwe jest, że przyszłe aparaty będą rejestrować wiele klatek filmów w wysokiej rozdzielczości i wysokiej liczbie klatek na sekundę, umożliwiając fotografowi osiągnięcie pożądanego rezultatu, wybierając i łącząc później.

Aktualizacja z końca 2016 r .: Kiedy napisałem oryginalną odpowiedź, było to w jakiś sposób na rynku. Pod koniec 2016 roku wydaje się znacznie bliżej. Aplikacja „See In The Dark” Marca Levoya integruje wiele klatek wideo ze stabilizacją na smartfonie, aby wytwarzać użyteczne obrazy w świetle księżyca. Zobacz także kamerę Light L16 , która integruje wiele małych czujników w jeden obraz.

Pierwotne pytanie opiera się na niepoprawnym założeniu (o tym, że czujnik cyfrowy nie zmienia stanu podczas ekspozycji), ale koncepcja jest związana z pomysłem Quanta Image Sensor (QIS) badanym przez Erica Fossuma .

http://engineering.dartmouth.edu/research/advanced-image-sensors-and-camera-systems/

QIS to rewolucyjna zmiana w sposobie, w jaki zbieramy obrazy w kamerze wynalezionej w Dartmouth. W QIS celem jest policzenie każdego fotonu, który uderza w czujnik obrazu i zapewnienie rozdzielczości 1 miliarda lub więcej specjalistycznych fotoelementów (zwanych blokami) na czujnik, oraz odczytanie bitów płaszczyzny bitów setki lub tysiące razy na sekundę w terabitach / s danych.

Takie urządzenie (cytując pytanie)

„pamiętaj”, jakie były odczyty czujnika w każdym punkcie ekspozycji

mając pełny zestaw danych, możemy na przykład „zmienić” efektywny czas ekspozycji po zarejestrowaniu „zdjęcia”.

Dzisiaj można to aproksymować, nagrywając wideo i łącząc klatki w postprocesie w celu symulacji dłuższych czasów ekspozycji (ograniczone przez wydajność aparatu, rozdzielczość trybu wideo i czas otwarcia migawki, ale to pokazuje pomysł)

Gdyby QIS działał zgodnie z obietnicą, wprowadziłby również inne fajne funkcje, takie jak lepsza wydajność przy słabym świetle, zwiększony zakres dynamiczny, brak aliasingu, całkowicie dostosowywana czułość (np. Filmowa), brak ustawień ISO, regulowana rozdzielczość względem szumu

Ostatnie ogłoszenie: http://phys.org/news/2015-09-breakthrough-photography.html

Film zmienia się fizycznie w czasie naświetlania. Jednak czujnik cyfrowy nie; to tylko odczyt danych.

To naprawdę zależy od rodzaju czujnika. Rodzaj czujników CMOS stosowanych w dzisiejszych lustrzankach cyfrowych akumuluje ładunek elektryczny w każdym pikselu w czasie, więc w rzeczywistości zmieniają się w czasie, podobnie jak film. Gdyby nie działały w ten sposób, obraz istniałby tylko tak długo, jak migawka była otwarta. Czujniki CCD (inna popularna technologia czujników obrazu w aparatach) również działają w ten sposób, gromadząc światło w miarę upływu czasu.

Czy jest jakiś powód, dla którego aparat nie mógł „zapamiętać” odczytów czujnika w każdym punkcie ekspozycji?

Dokładnie to robi kamera, gdy nagrywa obraz. Myślę jednak, że masz na myśli to, że jeśli czujnik może odczytać chwilowe natężenie światła, możesz dostosować ekspozycję po fakcie do dowolnej wartości. Jak wyjaśniono powyżej, tak naprawdę nie działa większość czujników obrazu. Z drugiej strony, może i często nie skorygować ekspozycję sporo w post-processing.

Jeśli przechowywanie danych nie stanowiło problemu, czy jest jakiś powód, dla którego nie mogłaby to być norma, przynajmniej w fotografii profesjonalnej i artystycznej?

Jeśli chodzi o „zapamiętywanie” danych z czujnika, jest to normą dla wielu fotografów. Większość aparatów pozwala nagrywać obrazy w formacie „RAW”, a są to w zasadzie dane odczytywane z czujnika oraz nieco więcej danych na temat ustawień aparatu w tym czasie. Obrazy RAW zajmują znacznie więcej miejsca niż inne formaty, takie jak JPEG, ale dają fotografowi swobodę późniejszej interpretacji danych, dzięki czemu można łatwo zmienić ustawienia, takie jak temperatura kolorów i balans bieli podczas przetwarzania końcowego.

Inni już wyjaśnili, dlaczego technicznie to nie zadziała. Chcę dotknąć, dlaczego to nie zadziałałoby praktycznie .

Jeśli przechowywanie danych nie stanowiło problemu, czy jest jakiś powód, dla którego nie mogłaby to być norma, przynajmniej w fotografii profesjonalnej i artystycznej?

Zastanów się, jak wiele różnych warunków oświetleniowych możemy chcieć robić. Nawet ignorując skrajności, takie jak astrofotografia (gdzie często fotografujesz małe plamki światła otoczone prawie całkowitą czernią), nadal masz wieczorne lub nocne zdjęcia naziemne oraz jasno oświetlone, pokryte śniegiem zimowe krajobrazy. Użyję tych dwóch ostatnich jako przykładów.

Również mam zamiar założyć, że aby dokładnie odtworzyć każdą żądaną ekspozycję, musimy narażać czujnika do punktu pełnego nasycenia.

Zakładam również, że możemy odczytać wartości czujników w sposób nieniszczący. (Jest to prawdopodobnie jeden z tych problemów, które należą do kategorii „rzucić wystarczającą ilością pieniędzy na problem i może być rozwiązany”).

W przypadku fotografii nocnej musielibyśmy odsłonić czujnik na bardzo długi czas, aby nasycić wszystkie piksele, co oznacza, że ​​każde zdjęcie, bez względu na to, czego naprawdę chcemy , będzie trwać absurdalnie długo. Klasyczne zdjęcie tancerzy w barze na świeżym powietrzu staje się prawie niemożliwe, ponieważ cóż, możesz być w stanie zrobić kilka z nich przez cały wieczór. Niedobrze. Nie możemy więc narażać się na nasycenie, a przynajmniej nie bez rozróżnienia. (Wystawienie na nasycenie pewnego odsetka pikseli jest równie bezużyteczne, ale z różnych powodów; spróbuj uzyskać odpowiednią ekspozycję podczas robienia zdjęcia kominka z płonącym ogniem. To prawie niemożliwe; bez względu na to, jak bardzo się starasz, niektóre piksele zostaną przesadzone lub ogromne połacie obrazu zostaną okropnie niedoświetlone).

Podczas fotografowania jasno oświetlonego, pokrytego śniegiem krajobrazu, takiego jak widok zimowy w ciągu dnia, gdy słońce nie świeci, ekspozycja, do której dąży automatyczny system ekspozycji aparatu („18% szarości”), jest żałośnie niewystarczająca. Dlatego często widzisz zdjęcia śniegu, który jest ciemny, a śnieg wydaje się bardziej jasnoszary niż biały. Z tego powodu często używamy dodatniej kompensacji ekspozycji , która powoduje, że śnieg jest eksponowany jako prawie nasycona biel. Oznacza to jednak, że nie możemy polegać na systemie AE aparatu, aby określić, kiedy zakończyć ekspozycję: jeśli to zrobimy, takie zdjęcia będą zawsze niedoświetlone .

Innymi słowy, narażenie na pełne nasycenie jest w wielu przypadkach niepraktyczne, a narażenie na zadowolenie systemu AE jest w wielu przypadkach nieodpowiednie. Oznacza to, że fotograf nadal będzie musiał dokonać pewnego wyboru, w tym momencie co najmniej równie dobrze radzimy sobie z tym, co mamy, a fotografami przywykliśmy, ulepszając systemy AE i ułatwiając fotografowi ( łatwiej?) dostęp do ustawień kompensacji ekspozycji. Zwiększając praktycznie użyteczny zakres dynamiczny czujnika, możemy pozwolić (nawet) na większą swobodę zmian ekspozycji podczas przetwarzania końcowego; oryginalne cyfrowe lustrzanki były koszmarnie drogie, ale pod tym względem naprawdę okropne w porównaniu do dzisiejszych modeli nawet podstawowych.

Wszystko to można w pełni zrobić w ramach tego, co już mamy. Nie oznacza to, że radykalna poprawa użytecznego zakresu dynamicznego czujnika jest łatwa , ale prawdopodobnie jest znacznie łatwiejsza niż to, co proponujesz, i jest to problem, nad którym sprzedawcy mają doświadczenie w pracy.

Specjaliści niemal z definicji wiedzą, jak korzystać ze sprzętu w swojej branży. Tak naprawdę nie jest inaczej, jeśli są fotografami lub pilotami promów kosmicznych . Zwłaszcza, gdy można to zrobić bez powodowania przeciążenia informacji, zwykle lepiej dać użytkownikowi pełną kontrolę nad profesjonalnym sprzętem. Moim zdaniem obecne wysokiej klasy lustrzanki cyfrowe są całkiem dobre, jeśli chodzi o trafienie w to.

Uprośćmy problem, aby zrozumieć, dlaczego zawsze będziemy musieli iść na kompromis.

Wymyślmy aparat, który chcesz, ale z tylko jednym monochromatycznym pikselem. Musi być w stanie niezawodnie odbierać i powiadamiać procesor o odbiorze pojedynczego fotonu. Musi także być w stanie odbierać i powiadamiać procesor o odbiorze praktycznie niezliczonych nieskończonych fotonów.

Pierwszy przypadek w sytuacji, gdy nie ma światła. Drugi w przypadku nawet umiarkowanej ilości światła.

Głównym problemem jest to, że po prostu nie mamy technologii do stworzenia czujnika o tak szerokim zakresie dynamicznym. Zawsze będziemy musieli iść na kompromis, a teraz idziemy na kompromis, wybierając wyższy zakres, w którym czujnik może zaakceptować prawie nieskończone fotony i dać nam odczyt, który sugeruje względną ilość światła padającego na czujnik. Nie liczy ich wcale, ale działa tak, jak robią to nasze oczy - po prostu dają moc wyjściową, która jest zależna od ilości trafiających ich fotonów, bez próby liczenia fotonów.

Jest to dodatkowo komplikowane przez fakt, że gromadzone są z czasem.

Idealny czujnik bardziej przypominałby licznik Geigera - mierzenie czasu między fotonami, aby zapewnić nam niemal natychmiastowy pomiar ilości światła padającego na czujnik, przy założeniu, że fotony są stosunkowo równomiernie rozmieszczone (co nie jest prawdą, ale jest wygodnym założeniem i dlaczego liczniki Geigera zmieniają się w czasie podobnie jak aparaty).

Czujniki kwantowe miałyby zasadniczo ten sam problem. Jasne, potrafią wyczuć pojedynczy foton, ale w pewnym momencie nadchodzą wystarczająco szybko, że po prostu nie można zmierzyć czasu między nimi, a nawet policzyć, ile nadchodzi w danym okresie ekspozycji.

Mamy więc ten kompromis, który wymaga albo zrobienia kilku zdjęć z kilkoma ekspozycjami, albo dodania wielu zdjęć o tej samej wysokiej ekspozycji razem, aby wykorzenić obszary słabego oświetlenia, lub podzielić przychodzące światło na dwie lub więcej ścieżek za pomocą różnych czujników o różnej dynamice zasięg lub buduj czujniki, które mogą grupować piksele razem lub układać czujniki światła, lub, lub, - dosłownie tysiące sposobów fotografowie pokonali ten podstawowy problem na przestrzeni dziesięcioleci za pomocą szerokiej gamy mediów.

Jest to ograniczenie fizyki, którego prawdopodobnie nie można pokonać. Nigdy nie będziemy mieć aparatu * bez wkładu fotografa, który umożliwia podejmowanie wszystkich decyzji w ramach przetwarzania końcowego.

* _{Oczywiście, jeśli zmienisz definicję kamery, możesz być zadowolony z wyników innych procesów, ale jest to w dużej mierze subiektywne. Rzeczywistość jest taka, że ​​jeśli sfotografujesz scenę aparatem, a następnie pokaż ją osobie, a następnie wykonane zdjęcie, dostrzegą różnice wynikające z nieodłącznych różnic między ich oczami, czujnikiem obrazu i procesem użytym do drukowania Obraz. W fotografii chodzi zarówno o interpretację i sztukę, jak i o uchwycenie światła, dlatego fanatyczne skupienie się na „idealnym aparacie” prawdopodobnie nie jest zbyt przydatne.}