Jakich danych odległości można użyć do porównania zdjęć?

14

Zwykle używam średniego błędu kwadratu (MSE) lub szczytowego stosunku sygnału do szumu (PSNR), aby porównać dwa obrazy, ale to nie jest wystarczająco dobre. Muszę znaleźć formułę, która zwraca bardzo dużą odległość między obrazem A a jego pikselową (lub rozmytą) wersją B, ale nie wiem, jak postępować. Jaki byłby dobry wskaźnik dla moich potrzeb?

lezebulon
źródło
3
Czy mówisz, że będziesz mieć 2 obrazy, które pochodzą z tego samego źródła, 1 pozostanie niezmieniony, a następnie inne zamazane, a następnie chcesz być w stanie wykryć, który jest zamazany?
Kellenjb,
2
Jaka jest natura pikselizacji / rozmycia? Czy było to spowodowane złymi warunkami przechwytywania (szum pikseli i brak ostrości) lub manipulacją cyfrową?
rwong

Odpowiedzi:

7

Poniższe informacje nie mają stanowić odpowiedzi, ale są danymi statystycznymi, które pomogą nam wybrać odpowiednią technikę porównywania obrazów w oparciu o cechy analizowanych obrazów.

Pierwszym krokiem jest wykreślenie „histogramu delta” w następujący sposób:

for (x,y) in [0, width] x [0, height] begin
    delta = abs( SecondImage(x, y) - FirstImage(x, y) )
    hist[delta] += 1
end

Biorąc pod uwagę wykres tego histogramu, dowiemy się nieco więcej o „wielkości” zmian, których szukasz, i przygotujemy lepsze rekomendacje.

(Alternatywnie, opublikuj kilka przykładowych zdjęć. Pamiętaj, że jeśli przykładowe obrazy nie reprezentują różnic w obrazach, którymi jesteś zainteresowany, możemy wydać gorsze rekomendacje.)


Możesz również przetestować podobieństwo strukturalne (SSIM) na zestawie obrazów i opublikować wyniki tutaj. Pamiętaj, że SSIM ma na celu naśladować zdolność człowieka do rozpoznawania przeszkody w degradacji obrazu, aby wykryć pikselizację, ale być może nie rozmazuje.


Jeśli twoje obrazy nie są zdjęciami fotograficznymi (lub są obrazami naukowymi, które nie są zwykłymi obiektami fotograficznymi), prosimy również zamieścić przykłady ich autokorelacji 2D, odpowiednio przycięte i skalowane.


Rozpoznawanie twarzy to zbyt duży temat, aby można go było omówić w jednym pytaniu. Rozmycie powstaje w wielu kontekstach podczas rozpoznawania twarzy - może to być problem z jakością danych lub może być celowo wykonane jako pośredni etap przetwarzania danych.

Podczas rozpoznawania twarzy chcemy wykryć tożsamość twarzy, dlatego musimy ignorować różnice w obrazie, które nie są spowodowane różnicami w tożsamości. Podstawową kategorią różnic, które należy zignorować podczas rozpoznawania twarzy, są: ułożenie, oświetlenie i wyraz twarzy.

Ogólne podejście do ignorowania nieistotnych różnic nazywa się normalizacją , która próbuje zastosować różne operacje i przekształca obraz wejściowy w celu uzyskania obrazu „kanonicznego” lub „wstępnie przetworzonego”, który z kolei może zostać wykorzystany do identyfikacji.

Drugim podejściem jest wydobycie cech z obrazów, które są wysoce niezmienne z nieistotnych czynników.

Jakość obrazu twarzy zależy od urządzenia przechwytującego i środowiska, w którym zostało zarejestrowane. Gdy obraz twarzy jest rejestrowany bez współpracy obiektu (np. Z kamery bezpieczeństwa), niskiej jakości obraz jest nieuniknioną konsekwencją i musiał zostać naprawiony przez oprogramowanie, aby nie utrudniać identyfikacji.

Podczas wspólnego fotografowania dobra jest komputerowa miara jakości obrazu: operator może zostać powiadomiony o problemach z jakością, a obraz może zostać ponownie wykonany.

Rozmycie może być również przykładem złośliwego manipulowania danymi biometrycznymi w celu uniknięcia wykrycia (wraz z okluzją i maskowaniem). Jeśli obraz jest kodowany cyfrowo, cyfrowa suma kontrolna i podpis kryptograficzny wystarczą do całkowitego rozwiązania problemu. Jeśli zamazany obraz zostanie przesłany w formie wydruku fizycznego przez personifikatora, można zastosować komputerową miarę jakości obrazu twarzy, aby odrzucić takie przesłanie.


Brak funkcji zlokalizowanych w 2D lub punktów zainteresowania w określonej części obrazu twarzy może być oznaką celowego rozmycia.

Jednak szeroką kategorię manipulacji cyfrowym obrazem (przez wykwalifikowanego użytkownika oprogramowania do edycji obrazów) można zajmować się wyłącznie kryminalistycznymi obrazami cyfrowymi, które porównują statystyki pikseli ze znanymi modelami kamer.

rwong
źródło
Ok, popatrzę na twoje linki. Obrazy, nad którymi pracuję, są obrazami twarzy i staram się znaleźć miarę, która dałaby mi dobre wyniki, gdy 2 obrazy twarzy są podobne (rozmycie funkcji powinno dać zły wynik)
lezebulon
3
@lezebulon, Prawdopodobnie potrzebujesz metryki odległości dostosowanej do zawartości, np. en.wikipedia.org/wiki/Eigenface
datageist