Dlaczego kamery nie oferują więcej niż 3 kanałów kolorów? (A może oni?)

Obecnie większość (wszystkich?) Dostępnych na rynku kamer przechwytuje światło w trzech kanałach kolorów: czerwonym, zielonym i niebieskim. Wydaje mi się, że bardzo przydatne byłoby posiadanie kamery o większym zakresie widma i rozdzielczości, dlatego zastanawiam się, dlaczego nie są dostępne kamery, które przechwytują więcej niż trzy kanały kolorów.

Co mam dokładnie na myśli?

W komentarzach (od momentu usunięcia) pojawiło się kilka zapytań o to, co miałem na myśli, dlatego chciałbym udzielić lepszego wyjaśnienia. Zakres widzialnego światła wynosi od około 390 do 700 nm. Pomiędzy tymi dwoma punktami końcowymi istnieje nieskończona liczba długości fal, ale oko ma bardzo ograniczoną zdolność do ich rozróżniania, ponieważ ma tylko trzy kolorowe fotoreceptory. Krzywe odpowiedzi dla nich pokazano w części (a) poniższego rysunku. ( Większa wersja ). To pozwala nam zobaczyć różne kolory w zależności od częstotliwości światła, ponieważ światło o niskiej częstotliwości będzie miało większy wpływ na niebieskie receptory, a światło o wysokiej częstotliwości będzie miało większy wpływ na czerwone receptory.

Czujnik cyfrowy w kamerze działa z filtrami przed pikselami i zwykle są trzy rodzaje filtrów. Są one wybierane przy użyciu krzywych reakcji jak najbliżej rysunku (a) powyżej, aby naśladować to, co widzi ludzkie oko.

Jednak z technologicznego punktu widzenia nie ma powodu, dla którego nie moglibyśmy dodać czwartego typu filtra, na przykład z pikiem pomiędzy niebieskim a zielonym, jak pokazano na rysunku (b). W następnej sekcji wyjaśniam, dlaczego byłoby to przydatne do przetwarzania zdjęć, mimo że nie odpowiada to, co oko może zobaczyć.

Inną możliwością byłoby dodanie dodatkowych kanałów w podczerwieni lub ultrafiolecie, jak pokazano na rysunku (c), rozszerzając zakres widmowy kamery. (Jest to prawdopodobnie trudniejsze technicznie).

Wreszcie trzecią możliwością byłoby jeszcze dokładniejsze podzielenie zakresu częstotliwości, tworząc kamerę o wysokiej rozdzielczości widmowej. W tej wersji zwykłe kanały RGB musiałyby być konstruowane w oprogramowaniu na podstawie bardziej szczegółowych danych generowanych przez czujnik.

Moje pytanie dotyczy tego, dlaczego lustrzanki cyfrowe zwykle nie oferują żadnej z tych opcji oprócz (a) i czy są dostępne kamery, które oferują którąkolwiek z pozostałych. (Pytam o rodzaj aparatu, którego użyłbyś do zrobienia zdjęcia - wiem, że istnieją instrumenty naukowe oferujące tego rodzaju funkcje).

Dlaczego miałoby to być przydatne?

Bawiłem się edytowaniem czarno-białych zdjęć, od kolorowych zdjęć wykonanych za pomocą mojej lustrzanki cyfrowej. Uważam ten proces za interesujący, ponieważ podczas edycji zdjęcia czarno-białego trzy kanały RGB po prostu stają się źródłem danych o scenie. Rzeczywiste kolory, które reprezentują, są prawie nieistotne - niebieski kanał jest przydatny głównie dlatego, że obiekty w scenie różnią się ilością światła, które odbijają w tym zakresie długości fal, oraz faktem, że odpowiada to, co widzi ludzkie oko „niebieski” jest znacznie mniej istotny.

Posiadanie trzech kanałów daje dużą elastyczność w kontrolowaniu ekspozycji różnych aspektów końcowego obrazu czarno-białego. Przyszło mi do głowy, że czwarty kanał kolorów daje jeszcze większą elastyczność, dlatego zastanawiam się, dlaczego czegoś takiego nie ma.

Z tego samego powodu dodatkowe kanały kolorów byłyby przydatne do fotografii kolorowej oraz czarno-białej. Po prostu konstruujesz każdy kanał RGB w taki sam sposób, jak teraz konstruujesz obraz czarno-biały, łącząc dane z różnych kanałów reprezentujących światło o różnych zakresach częstotliwości. W większości przypadków byłoby to zrobione automatycznie w oprogramowaniu, ale oferowałoby znacznie większą elastyczność pod względem opcji przetwarzania końcowego.

Jako prosty przykład tego, jak może to być przydatne, wiemy, że rośliny bardzo odbijają światło w bliskiej podczerwieni. Fakt ten jest często wykorzystywany do generowania uderzających ujęć z efektami specjalnymi, w których rośliny wydają się mieć jasny biały kolor. Jeśli jednak posiadasz obraz w podczerwieni jako czwarty kanał w oprogramowaniu do edycji, będzie on dostępny do przetwarzania obrazów kolorowych, na przykład poprzez zmianę ekspozycji wszystkich roślin na obrazie, pozostawiając jednocześnie mniej obiektów odbijających podczerwień.

W przypadku podczerwieni rozumiem, że istnieją fizyczne powody, dla których trudno jest stworzyć czujnik, który nie jest wrażliwy na podczerwień, tak że cyfrowe czujniki zwykle mają przed sobą filtr blokujący IR. Ale powinno być możliwe wykonanie czujnika o wyższej rozdzielczości widmowej w zakresie widzialnym, co umożliwiłoby takie same korzyści.

Można by pomyśleć, że ta funkcja byłaby mniej przydatna w dobie przetwarzania cyfrowego, ale tak naprawdę wydaje mi się, że teraz się sprawdzi. Ograniczenia tego, co można zrobić cyfrowo, są ustalane na podstawie dostępnych danych, więc wyobrażam sobie, że większa ilość danych spektralnych umożliwiłaby techniki przetwarzania, które bez tego nie mogłyby istnieć.

Pytanie

Chciałbym wiedzieć, dlaczego ta funkcja nie istnieje. Czy jest ogromne wyzwanie techniczne w tworzeniu czujnika z czterema lub więcej kanałami kolorów, czy też jest to powód bardziej związany z brakiem popytu na taką funkcję? Czy czujniki wielokanałowe istnieją jako wysiłek badawczy? A może po prostu się mylę co do przydatności?

Alternatywnie, jeśli istnieje (lub miał w przeszłości), które kamery go oferowały i jakie są jego główne zastosowania? (Chciałbym zobaczyć przykładowe zdjęcia!)

Dlaczego kamery nie oferują więcej niż 3 kanałów kolorów?

Produkcja kosztuje więcej (wytwarzanie więcej niż jednego rodzaju czegoś kosztuje więcej) i daje prawie żadną (zbywalną) przewagę nad Bayer CFA.

(A może oni?)

Oni zrobili. Kilka aparatów, w tym sprzedawane w sprzedaży, miało filtry RGBW (RGB + biały) RGBE (RGB + szmaragd), CYGM (cyjan żółty zielony magenta) lub CYYM (cyjan żółty żółty magenta).

Wydaje mi się, że bardzo przydatne byłoby posiadanie kamery o większym zakresie widma i rozdzielczości, dlatego zastanawiam się, dlaczego nie są dostępne kamery, które przechwytują więcej niż trzy kanały kolorów.

Liczba kanałów nie jest bezpośrednio związana z zakresem spektralnym.

Czy jest ogromne wyzwanie techniczne w tworzeniu czujnika z czterema lub więcej kanałami kolorów, czy też jest to powód bardziej związany z brakiem popytu na taką funkcję?

Brak popytu jest decydującym czynnikiem.

Dodatkowo filtry CYYM / CYGM powodują zwiększony szum koloru, ponieważ wymagają operacji arytmetycznych z dużymi współczynnikami podczas konwersji. Rozdzielczość luminancji może być jednak lepsza kosztem szumu koloru.

Czy czujniki wielokanałowe istnieją jako wysiłek badawczy? A może po prostu się mylę co do przydatności?

Mylisz się, że zakres widmowy byłby większy przy większej liczbie kanałów, masz rację, że czwarty kanał zapewnia szereg interesujących technik przetwarzania zarówno dla koloru, jak i monotonii.

Alternatywnie, jeśli istnieje (lub miał w przeszłości), które kamery go oferowały i jakie są jego główne zastosowania?

Na przykład Sony F828 i Nikon 5700, one i kilka innych są nawet używane z drugiej ręki. Są to aparaty powszechnego użytku.

Interesujące jest również to, że zasięg widmowy jest ograniczony nie tylko gorącym lustrem obecnym w większości kamer, ale także czułością fotodiod tworzących czujnik. Nie wiem, jakiego rodzaju fotodiod dokładnie używa się w kamerach konsumenckich, ale oto przykładowy wykres pokazujący ograniczenie półprzewodników:

Jeśli chodzi o oprogramowanie, które można wykorzystać do wyodrębnienia czwartego kanału: prawdopodobnie jest, dcrawale należy je zmodyfikować i ponownie skompilować, aby wyodrębnić tylko jeden kanał.

Istnieje matryca 4x3 dla F828, w dcraw.cktórej wykorzystuje się czwarty kanał. Oto pomysł: { 7924,-1910,-777,-8226,15459,2998,-1517,2199,6818,-7242,11401‌​‌​,3481 }- jest to macierz w postaci liniowej, najprawdopodobniej co czwarta wartość reprezentuje Szmaragd. Przekształcasz to w następujący sposób: { 0,0,0,8191,0,0,0,0,0,0,0,0 }(nie wiem, jaka powinna być liczba, zamiast 8191zgadywania), ponownie skompiluj, a obraz wyjściowy dostanie kanał Szmaragdowy po demozaikacji w czerwonym kanale (jeśli dobrze rozumiem źródła).

Kilka uwag od tego wieloletniego inżyniera systemów optycznych. Po pierwsze, istnieją rzeczy zwane kamerami „hiperspektralnymi”, które wykorzystują siatki lub równoważne, aby rozbić przychodzące światło na dziesiątki lub nawet kilkaset kolorowych (długości fali) kanałów. Te, jak można sobie wyobrazić, nie są używane ani przydatne do tworzenia kolorowych zdjęć jako takich, ale doskonale nadają się do odróżnienia wąskopasmowych linii widmowych emitowanych lub odbijanych od określonych materiałów. geolodzy wykorzystują je na przykład do identyfikacji złóż mineralnych za pomocą kamery hiperspektralnej zamontowanej w samolocie.

Następnie istnieje ogromna różnica między kolorami wytwarzanymi przez każdą długość fali (energię fotonu) a kolorami, które postrzegają nasze oczy. Mamy trzy, lub dla niektórych szczęśliwych ludzi, cztery różne stożki, każdy z różnymi krzywymi odpowiedzi widmowej. Krzywe te można znaleźć w całej sieci, w tym pierwsze zdjęcie na tej stronie Wikipedii. Następnie zakres kolorów / odcieni, które postrzegamy, obejmuje całą mapę , podczas gdy kolory wytwarzane przez dowolną długość fali pojedynczego fotonu tworzą linię w obszarze tej mapy.

Dowolna liczba eksperymentów, w tym niektóre spektakularne przeprowadzone przez Edwin Land, pokazała, że ​​mieszanie RGB jest wystarczające, aby oko mogło zrekonstruować wszystkie możliwe kolory widzenia. (W rzeczywistości okazuje się, że wystarczą tylko dwa kolory plus odwzorowanie innego odcienia szarości . Przetwarzanie optyczne w mózgu jest naprawdę dziwne)

Czujniki kamery RGB są tak popularne, ponieważ odtwarzają ludzkie widzenie

Tego potrzebuje większość ludzi - robienia zdjęć, które wyglądają tak, jak my.

Zastąpienie podpikseli RGB bardziej różnymi rodzajami filtrów w celu odróżnienia większej liczby pasm o lepszej rozdzielczości spektralnej działałoby, ale:

• tylko w jednym celu . Każdy potrzebuje z grubsza tych samych filtrów RGB, aby robić przyzwoite zdjęcia, ale istnieje nieograniczona liczba możliwych pasm spektralnych, które mogą być przydatne dla kogoś. W ten sposób nie można zrobić uniwersalnego aparatu.

• zmniejszyłoby to ogólną czułość czujnika . Każdy podpiksel jest bezużyteczny dla całego światła, z wyjątkiem wąskiego pasma, który akceptuje. Więcej filtrów = więcej zmarnowanego światła.

Zamiast tworzyć wąsko wyspecjalizowane czujniki, lepiej mieć czujnik bez żadnych wbudowanych filtrów i po prostu wymieniać filtry podczas akwizycji obrazu. W ten sposób z każdym filtrem wykorzystywany jest cały obszar czujnika, a nie tylko niewielka część posiadająca pasujący subpiksel.

W ludzkim oku znajdują się trzy czujniki koloru. Ich profile spektralne są szerokie i nachodzą na siebie. Każdy z nich wysyła sygnały nerwowe do mózgu, gdzie sygnał wejściowy jest interpretowany jako kolor. Komentarz w poprzedniej odpowiedzi na temat dziwnego przetwarzania w mózgu jest poprawny. W tym przypadku potrzebne są tylko 3 bodźce dla danego koloru. Więcej informacji można znaleźć w artykule w Wikipedii na temat widzenia kolorów.

Istnieją również kamery spektralne z dodatkowymi kanałami dla światła IR i UV, ale nie jako produkt konsumencki.