Dlaczego kamery używają pojedynczej ekspozycji, a nie integrują się z wieloma bardzo szybkimi odczytami?

24

Nigdy nie zrozumiałem, dlaczego aparaty potrzebują migawki o określonej prędkości i dlaczego nie można tego zmienić w postprocessingu. Myślę, że obecny czujnik działa w sposób integralny: oszczędzają ilość światła docierającego do nich przez cały czas otwarcia migawki. Ale dlaczego nie mogą działać różnicowo?

Mam na myśli ten pomysł: ustaw czas otwarcia migawki na długi czas, bardziej niż ten, którego potrzebujesz ... na przykład w świetle dziennym ustaw go na 1 sekundę, naciśnij przycisk, migawka otworzy się i czujnik się uruchomi nagrywać, ale w sposób różnicowy: oszczędzałoby to ilość światła docierającego do niego co 0,001 sekundy przez 1 sekundę. W ten sposób mam więcej informacji, właściwie mam 1000 klatek nagranych w ciągu 1 sekundy, a w postprocessingu mogę zdecydować się na zintegrowanie tylko pierwszej dziesiątki, aby zasymulować strzał z 0,01 sekundy, lub pierwszą setkę, aby zasymulować strzał z 0.1 druga ekspozycja

Korzystając z zaawansowanego przetwarzania lub ręcznie wybierając obszary, mogłem nawet zdecydować o zastosowaniu innej ekspozycji dla różnych części końcowego obrazu, na przykład ekspozycji 0,1 sekundy dla ziemi i 0,03 dla nieba, używając 100 klatek dla nieba i 30 klatek na niebo.

Czy jest sens? Dlaczego kamery nie działają w ten sposób?

Ruggero Turra
źródło
Oznaczałem to jako duplikat przy pierwszym czytaniu, ale nie jest to, przynajmniej nie pytanie, które połączyłem, co powoduje różne (i niepoprawne) założenia.
mattdm
1
Czy widziałeś już szybkie cyfrowe kamery wideo?
Cascabel
Jeśli chodzi o twoją edycję ... w jaki sposób aparat powiedziałby, co jest ziemia kontra niebo, a co z ludźmi stojącymi na ziemi, zakrywającymi niektóre niebo i poruszającymi się w kadrze? Wymagałoby to przetwarzania znacznie wykraczającego poza inną konstrukcję czujnika.
Itai
1
Zgadnij, że nigdy nie próbowałeś osiągnąć określonych efektów spowodowanych przez określone kombinacje czasu otwarcia migawki, oświetlenia i przysłony. Nigdy też nie musiałeś sobie radzić z koniecznością bardzo szybkiego naświetlania, aby uchwycić poruszające się obiekty.
jwenting

Odpowiedzi:

16

Problemem jest szybkość odczytu. Nie można odczytać całego czujnika wystarczająco szybko, aby działało to w ogólnym przypadku. Nawet gdybyś mógł. miałby to również szkodliwy wpływ na jakość obrazu, ponieważ wielokrotnie nakładałbyś szum odczytu.

Przynajmniej dzięki czujnikom CMOS możesz odczytywać w losowych lokalizacjach, ale dzięki czujnikom CCD każdy wiersz jest przesuwany do następnego, aby wykonać odczyt. Dlatego gdy światła są zbyt jasne, na podglądzie kamer używających matryc CCD pojawiają się pionowe smugi.

Są też powody, dla których fotografowie wybierają czas otwarcia migawki : aby zatrzymać trochę czasu. Ludzie prawie zawsze byliby rozmazani, gdybyś nie zatrzymał migawki wystarczająco szybko.

Itai
źródło
jaka jest obecna prędkość odczytu? 1 s, 0,1 s ... Ponieważ normalne aparaty są w stanie nagrywać wideo 25 klatek na sekundę, powiedziałbym, że ~ 0,04 s. Wydaje się zbyt wolny dla normalnych zdjęć.
Ruggero Turra
8
@wiso Normalne kamery są w stanie nagrywać filmy z prędkością 25 klatek na sekundę przez podpróbkowanie czujnika. Najlepsza prędkość odczytu -> proces dla całego czujnika to Canon 1DX 18MP, który potrafi 1 / 14s w formacie JPEG i 1 / 12s RAW.
Matt Grum
Istnieją również artystyczne powody, aby pozostawić otwartą migawkę na długi czas, takie jak zmiękczenie wody, rozmycie ruchu gracza baseballa biegającego w poszukiwaniu bazy itp.
jrista
@jrista: możesz osiągnąć ten sam efekt, nakładając wiele szybkich klatek.
Ruggero Turra
2
@wiso: Nie, nie można nakładać szybkich klatek, które całkowicie zamrażają ruch, aby stworzyć wrażenie ruchu. Jeśli weźmiemy za przykład wodospad, zamrożenie ruchu wodospadu z dużą prędkością uchwyci wiele szczegółów. Nałożenie wielu zdjęć może zwiększyć ilość „szumu szczegółowego” w samym wodospadzie, ale nigdy nie będziesz w stanie stworzyć efektu miękkiej, płynącej wody ... całkiem wyraźnie potrzebujesz, aby migawka była otwarta na dłuższy czas, aby osiągnąć że. Baseballista byłby podobny. Nakładanie wielu strzałów tego nie zrobi, zwłaszcza jeśli chcesz ...
jrista
10

Myślę, że mogą tak działać, ale są dwa duże problemy:

  1. Ponieważ czujniki działają teraz, szum odczytu pojawia się tylko raz. Przy wielu bardzo krótkich odczytach szum odczytu byłby spotęgowany.
  2. Jest tylko więcej danych niż jesteśmy w stanie obsłużyć. Jest to zarówno problem z odczytem czujnika (zbyt wiele danych do odczytania), a wynikowe pliki RAW byłyby o rząd wielkości większe niż obecnie.

W swoim pierwotnym pytaniu wykorzystałeś jako przykład jedną czwartą sekundy. W rzeczywistości nie jest to wcale bardzo długi czas otwarcia migawki i jest już 10 razy większy niż w obecnych aparatach. Aby było to naprawdę znaczące, potrzebowalibyśmy technologii do punktu, w którym czujnik jest odczytywany 10 do 100 razy szybciej niż ten - co znacznie komplikuje problemy.

Drugi problem zostanie rozwiązany przez prawo Moore'a za dekadę lub dwie, a pierwszy może być również, ponieważ elektronika staje się mniejsza i bardziej precyzyjna. Na razie nie jest to praktyczne.

Olympus OM-D E-M5 faktycznie ma funkcję, która pokazuje ekspozycję „rozwijającą się” przy długich ekspozycjach, ale pozwala to uniknąć powyższych problemów, wymagając minimum pół sekundy między odczytami: jest to przydatne tylko przy długich ekspozycjach.

Ale w przyszłości, przy lepszej elektronice, wszystkie aparaty prawdopodobnie będą działały w ten sposób, a przy znacznie większej dostępnej przestrzeni dyskowej równie dobrze mogłyby nagrywać w sposób ciągły. Przycisk „migawki” służyłby po prostu do oznaczenia części strumienia jako interesującej do późniejszego opracowania. A kiedy już to robimy, porzuć obiektyw i zrób z niego 360 ° aparat światła; kadrowanie, przysłonę i ostrość można również wybrać po fakcie, wyrzucając konwencjonalną wiedzę na temat podstaw aparatu całkowicie za okno

mattdm
źródło
Poza formatowaniem nie potrafię odróżnić twojej odpowiedzi od mojej :)
Itai
Jako interesującą (dla mnie) myśl - musiałbyś tylko przechowywać różnicę między kolejnymi ramkami, więc ilość danych niekoniecznie byłaby o wiele większa niż pojedyncza ramka. Czas przetwarzania może jednak stanowić problem w dzisiejszej technologii.
BobT
@BobT Nawet ... potrzebujesz tylko akumulatora o dużej głębokości lub nawet zmiennoprzecinkowego. Przeczytasz przyrost i dodasz go. Na koniec potrzebujesz tylko jednego obrazu, a nie filmu! Obrazy HDR mają często 32-bitowy zmiennoprzecinkowy i to wystarczający zasięg do praktycznie każdego praktycznego zastosowania.
Itai
@Itai: tak, zauważyłem, że twój wszedł, kiedy pisałem, i pomyślałem: eh, i tak skończę.
mattdm
@BobT: nadal będziesz musiał go przeczytać, a biorąc pod uwagę hałas (nie tylko odczytać hałas) nie jestem pewien, ile by cię to kosztowało Ale pamiętaj, zróbmy to w aparacie teoretycznej, szczególnie dlatego, że w większości użytku mamy zrobić chcą zaoszczędzić jak najwięcej.
mattdm
4

Jak wspomniało wiele osób, jest to aspekt prędkości odczytu. Zespół obwodów obrazujących nie może po prostu „natychmiastowo” pobrać wartości pikseli czujnika, należy je odczytywać linia po linii.

Następnie musisz również pomyśleć o tym, dokąd zmierzają te wartości aktualizacji pikseli. Nawet z pewną kompresją, zakładając niską entropię późniejszych klatek w porównaniu do wcześniejszych klatek, zajmą znaczną ilość miejsca. Ponadto dane, które nie są zbyt ściśliwe, spowolnią cały proces - ponieważ nie można zagwarantować ściśliwości nowej ramki względem starej, system nadal musiałby mieć wystarczającą przepustowość, aby pokryć najgorszy scenariusz bez degradacji.

Wreszcie (i jest to trochę banalne) należy wziąć pod uwagę efekt nierówności Heisenberga lub zasady nieoznaczoności. Przy każdej próbce mamy pewien poziom niepewności dotyczący pomiaru. Biorąc bardzo wiele próbek (z których każda najwyraźniej mamy niską pewność, w przeciwnym razie moglibyśmy wybrać pojedynczą klatkę z około tysiąca), uzyskujemy niepewność dla każdej z tych klatek, a nie tylko raz. Byłoby to spotęgowane podczas łączenia wielu ramek, a teraz maksymalna niepewność jest mnożona przez liczbę ramek, z których tworzysz ostateczny obraz. W najgorszym przypadku może to znacznie pogorszyć jakość zdjęć.

użytkownik1207217
źródło
1
drogi użytkowniku 1207217, jestem fizykiem cząstek, powiem, że nierówność Heisenberga tak naprawdę nie pasuje do tego przypadku. Ponieważ suma na wielu klatkach jest liniowa, a ponieważ nie są one skorelowane, hałas uzyskany przez zintegrowanie wielu klatek jest dokładnie taki sam, jak ten, w którym zastosowano równoważny pojedynczy strzał.
Ruggero Turra
Niepewność pomiaru = \ = hałas. Doskonale zdaję sobie sprawę z tego, że efekt uśredniania hałasu ma tendencję do szumu. W przypadku 0 średniego hałasu, jest to po prostu 0
użytkownik1207217
@wiso Chciałbym dodać, że zasada nieoznaczoności ma tutaj bardzo duże zastosowanie. Podobnie jak ma to zastosowanie do rozdzielczości czasowo-częstotliwościowej, ma również zastosowanie do rozdzielczości czasoprzestrzennej (co w tym przypadku mamy). Obecna technologia może nie być bliska osiągnięcia limitów, ale kompromis z pewnością będzie istniał i stanie się czynnikiem ograniczającym w tego rodzaju procesie obrazowania.
user1207217 24.01.2013
2

Chociaż twój pomysł jest intrygujący, istnieje kilka powodów, dla których nie zadziałałby.

Rozmiar pliku: Pomyśl o tym, jak duży byłby wynikowy plik obrazu. Moja lustrzanka 8mp daje pliki o wielkości około 3 MB. Gdybym robił 100 zdjęć za każdym razem, gdy naciskałem migawkę, zapisałbym 300 MB na mojej karcie. Karta zapełni się zbyt szybko. Są to również liczby dla mojego aparatu, który ma stosunkowo niską rozdzielczość. W przypadku profesjonalnych aparatów rozmiar może łatwo podwoić lub potroić to. W trybie Raw rozmiar może wzrosnąć o kolejne trzy razy. Ostatecznie, profesjonalnie strzelając do Raw, mogę uzyskać ponad 3 GB na strzał.

Ekspozycja: Czasami aparat wymaga ekspozycji przez czas dłuższy niż 1/100 sek. aby uzyskać odpowiednią ilość światła. Jeśli wykonasz zdjęcie w zbyt słabym świetle, powstałe zdjęcia byłyby niedoświetlone i potencjalnie nie nadawałyby się do użytku. Nie można po prostu łączyć obrazów, aby to nadrobić, ponieważ nie można znaleźć danych, których nie ma.

Hałas: Gdy czujniki się nagrzewają, wyświetlają zjawisko zwane hałasem. Jest to plamka przypadkowo kolorowych pikseli widocznych na niektórych zdjęciach. Gdyby czujnik cały czas działał przez sekundę, poziomy szumów szybko wzrosłyby, potencjalnie prowadząc do nieużytecznych obrazów.

Szybkość zapisu na karcie: karty pamięci mają ograniczony czas dodawania informacji. Jest to znane jako prędkość zapisu. Aby obsługiwać pliki tego rozmiaru, karty wymagałyby dużej prędkości zapisu. Te karty mogą być bardzo drogie.

Podsumowując, jest to ciekawy pomysł, ale jest na nim kilka przeszkód.

Mam nadzieję, że to pomogło.

Evan Pak
źródło
Z wyjątkiem szumu odczytu, można uzyskać efekt dłuższej ekspozycji, dodając wiele szybkich klatek. W rzeczywistości jest to często wykonywane , ale zwykle nie w przypadku tak krótkich indywidualnych ekspozycji, które mają zastosowanie do „normalnej” fotografii, i zwykle nie w aparacie (chociaż lustrzanki Pentax mogą to robić w ograniczony sposób).
mattdm
1
Opierając się na tym, co powiedział mattdm: możesz teoretycznie łączyć ekspozycje, dane są dostępne. Problem polega na tym, że w przypadku bardzo krótkich ekspozycji, z prawdziwymi czujnikami, dane są maskowane przez ogromną ilość szumu w stosunku do sygnału, a uzyskany obraz będzie bardzo meh. Lepsze czujniki z bardziej odpowiednim współczynnikiem SNR przy krótkich czasach ekspozycji umożliwiłyby realizację koncepcji w PO.
whatsisname
Myślę, że rozmiar pliku nie jest dużym problemem, moim zdaniem możesz wybrać fotografowanie w trybie integralnym lub w trybie różnicowym. Timelapse potrzebuje dużo pamięci, to nie znaczy, że ludzie tego nie robią. Jeśli chodzi o Ekspozycję , myślę, że się mylisz, jak powiedział mattdm, i myślę, że hałas jest taki sam w przypadku, gdy wykonujesz tylko jedno zdjęcie lub sumujesz więcej zdjęć, jedyną różnicą jest to, że otwierasz i zamykasz migawkę. Podczas sumowania różnych ramek sumujesz sygnał i szum. Myślę, że dowodem jest to, że suma dwóch niezależnych zmiennych losowych Poissona jest rozkładem Poissona.
Ruggero Turra
Poziom hałasu będzie mniej więcej taki sam w przypadku długiej lub krótkiej ekspozycji, która w przypadku wielokrotnej ekspozycji będzie integrowana raz za razem, co spowoduje słaby, hałaśliwy wynik końcowy.
whatsisname
1
@wiso: hałas związany z temperaturą jest tylko jednym źródłem hałasu. Znaczącym czynnikiem szumu w typowych aparatach cyfrowych jest odczyt czujnika i wzmocnienie sygnału, które nie zależą od czasu otwarcia migawki.
whatsisname
2

Można zauważyć, że skoro zadano to pytanie, pomysł ten został nieco zaimplementowany w (przynajmniej niektórych) smartfonach.

Ponieważ limity technologiczne nie poprawiły się tak bardzo, ogranicza się to oczywiście do bardzo długich ekspozycji w bardzo słabym świetle (np. Astrofotografii). Fakt, że oprogramowanie układa wiele n-sekundowych ekspozycji, jest widoczny, jeśli występuje ruch w ramce (będą miały niewielkie nieciągłości podczas odczytu).

Układanie w stos może być nawet wyświetlane w czasie rzeczywistym na ekranie, ponieważ obraz „wynikowy” wydaje się coraz jaśniejszy.

Kevin FONTAINE
źródło
1

Istnieją kamery, które zasadniczo działają w ten sposób. Wyszukaj kamery High Dynamic Range (HDR). Najtańsze z nich działają poprzez braketing ekspozycji, zasadniczo biorąc dwie lub cztery różne ekspozycje, a następnie łącząc je w swoim wewnętrznym oprogramowaniu w jednolity obraz. Możesz to zrobić za pomocą dowolnego aparatu, korzystając z zewnętrznego oprogramowania .

Rozumiem, jak działają zaawansowane kamery HDR, ponieważ w zasadzie dynamicznie obliczają osobny czas automatycznej ekspozycji dla każdego pojedynczego piksela i używają go do ustalenia rzeczywistej jasności sceny. To rozwiązuje problem posiadania ton danych dla każdego piksela, po prostu przechowujesz czas ekspozycji i wartości kolorów, gdy przekroczy on określony próg jasności. Oczywiście wymaga to znacznie bardziej złożonego sprzętu i oprogramowania.

Karl Bielefeldt
źródło
ciekawe, znalazłem tylko tę kamerę monitorującą z podwójną ekspozycją: video.boschsecurity.com/video/Introducing-the-new-HDR-camera/... , czy znasz konkretny model?
Ruggero Turra
HDR tak naprawdę nie jest tym samym, o co prosi OP, ponieważ HDR jest selektywny w sposobie łączenia informacji, w przeciwieństwie do prostej integracji. Aparat, jak opisuje OP, byłby w istocie urządzeniem, które dokonuje dwuwymiarowego pomiaru strumienia promieniowania sceny, pomiaru prędkości, a zdjęcie z niej stanowiłoby integrację zestawu jego danych, wyświetlanie ilości.
whatsisname
0

Istnieje kilka różnych rodzajów żaluzji, ale główne to żaluzje mechaniczne i elektroniczne (czujnik jest włączony / wyłączony).

Większość lustrzanek cyfrowych wykorzystuje migawkę płaszczyzny ogniskowej, podczas gdy kamery wideo używają migawek elektronicznych. Chociaż wydaje się, że chcesz to zintegrować, istnieją inne sposoby na osiągnięcie tego.

Głównym powodem migawki jest ekspozycja, podstawowa zasada fotografii.

Prawdopodobnie możesz ustawić coś dla swojego przykładu. Możesz spojrzeć na braketing lub, jeśli to nie wystarczy, tethering.

0,01 = 1/100 i jest to dobry czas otwarcia migawki. Większość kamer obsługuje prędkości do 1/8000 sekund.

Tylko na ostatniej części:

powiedzmy, że oszczędza ilość światła docierającą do niego co 0,01 sekundy przez 1 sekundę.

Nadal będziesz musiał pomyśleć o ekspozycji dla tego zdjęcia, co 0,01 sekundy.

BBking
źródło
Myślę, że ta odpowiedź pomija ideę pytania. Ułamkowe ujęcia byłyby niedoświetlone, często znacznie. Wybrałeś pożądany poziom ekspozycji dla końcowego obrazu, decydując, ile klatek ma zostać zintegrowanych.
mattdm
Czyż „pomysł” nie kryje się za pytaniem, czy mechaniczna migawka jest otwarta przez 1 sekundę, a następnie użycie elektronicznej migawki eksponuje 100 razy w tym czasie? 1/100 niekoniecznie oznacza niedoświetlenie, zależy to od oświetlenia. I tak, właśnie o to mi chodzi! Będziesz musiał pomyśleć o klatkach na sekundę. Ogólnie rzecz biorąc, chcesz nakładać obrazy o różnej ekspozycji, a nie takie same. Pytanie: Dlaczego potrzebuję migawki. Odpowiedź: Narażenie.
BBking
Ja również dodać, że PO ostatecznie jest mówić o czasach otwarcia migawki i sugeruje 1/10 drugi wynik. Można to jednak zrobić za pomocą elektronicznej migawki, która nadal wymagałaby czasu otwarcia migawki . Wydaje mi się, że OP pyta o rzeczywistą migawkę, a nie tylko o czas otwarcia migawki.
BBking
@BBKing: moje liczby były tylko przykładem, prawdopodobnie powinieneś użyć większej prędkości, jak możesz. Każda klatka powinna być niedoświetlona, ​​aby uzyskać prawidłową ekspozycję sumującą różne klatki. Prawdopodobnie muszę zmienić tytuł mojego pytania z „dlaczego potrzebuję czasu otwarcia migawki?” „dlaczego potrzebuję mechanicznego czasu otwarcia migawki”.
Ruggero Turra
Jasne, wiem, że były to tylko przykłady. Problem, jaki mam z tym pytaniem, polega na tym, że „Dlaczego potrzebuję migawki (mechanicznej)” i „Dlaczego potrzebuję szybkości migawki ” (niezależnie od mechanicznej lub elektronicznej) to bardzo różne pytania. Jeśli chcesz wypróbować różne obszary czujnika w różnym czasie, to ciekawy pomysł! I wierzę, że jest to wykonalne (podczas gdy inne odpowiedzi twierdzą, dlaczego tak nie jest). Dlaczego? Nikt jeszcze tego nie opracował, to wszystko. Możesz być zainteresowany kamerą Lytro . Możesz wybrać różne punkty ostrości w przetwarzaniu końcowym.
BBking
-1

Oprócz punktów, które wszyscy podnieśli - co się stanie z narażeniem?

np. w przypadku mojego konwencjonalnego aparatu potrzebuję 1 sekundy ekspozycji dla danego zdjęcia. Zasadniczo oznacza to 1 sekundę światła zarejestrowanego przez czujnik za jednym razem.

Ok, przejdźmy do twojej sugestii, kamera rejestruje światło o wartości 0,001 sekundy 1000 razy. Wszystkie te obrazy są niedoświetlone i dlatego są bezużyteczne. Jeśli ustawię je w stos, nie otrzymam tego samego obrazu co mój konwencjonalny aparat, ponieważ układanie nie naprawia niedoświetlenia. Aby uzyskać cokolwiek w pobliżu prawidłowej ekspozycji, potrzebowałbym bardzo szerokiej apertury, która (nawet gdybyś mógł znaleźć odpowiedni obiektyw) miałaby inne problemy - głębię ostrości itp. Jeśli masz na myśli, że czujnik byłby wystarczająco czuły, aby uchwycić wystarczająco dużo światło w 0,001 sekundy, aby obraz nie był niedoświetlony, mielibyśmy poważny problem z szumem. Pomysł, o którym wspominasz o włączaniu / wyłączaniu ramek w celu uzyskania innej ekspozycji, jest już obsługiwany w PP za pomocą suwaka ekspozycji.

Możesz wypróbować swój pomysł, wykonując zdjęcia z krótką migawką (jak sugerujesz), a następnie układając je w oprogramowanie HDR lub oprogramowanie startrail.

Wspomniane elementy przetwarzania końcowego, o których wspominasz o zrobieniu ziemi i nieba przy różnych ekspozycjach w celu zrównoważenia obrazu, można już skorygować w PP za pomocą kontroli cienia / podświetlenia i / lub podzielonego tonowania.

Pomyśl też o fotografii akcji, takiej jak sporty motorowe, w których potrzebuję długiej migawki podczas panoramowania, aby dać poczucie szybkości i ruchu. Jeśli powiem 200 zdjęć z bardzo krótkim czasem otwarcia migawki, nie uchwycę rozmycia, a efekt ujęcia nie działa.

znak
źródło
1
„układanie w stosy nie naprawia niedoświetlenia”, dlaczego nie? Ilość światła wpadającego do kamery w 1000 x 0,001s jest taka sama w 1 x 1s
Ruggero Turra
wiso: spróbuj. Powiedzmy, że mamy ujęcie, które wymaga 5-sekundowej ekspozycji. Zrób 5 1 sekundowych ekspozycji, ustaw je w stos i zobacz, co dostajesz. Trzeba będzie otworzyć aperturę (co może być niemożliwe lub niepożądane).
Mark