Najpopularniejsze współczesne techniki segmentacji obrazu

11

Czytałem trochę na temat technik segmentacji obrazu i zastanawiałem się nad współczesnymi, najnowocześniejszymi algorytmami segmentacji.

Jakie obecne techniki segmentacji są „obowiązkowe”, tj. Obecnie najczęściej stosowane w społeczności? Z jakimi technikami się zetknąłeś i które są najbardziej skuteczne i przydatne (i dla jakiej aplikacji)?

GamingX
źródło
Gdzie do tej pory szukałeś?
Phonon
1
Czytałem trochę o znormalizowanych cięciach, cięciach graficznych, minimalnych cięciach oprócz metod ustawiania poziomu i metod szybkiego marszu.
GamingX
3
Ładne i krótkie, od listopada 2012: Segmentacja zdjęć: przegląd .
Emre
(edycja inspirowana to pytanie na thresolding, może to kwestia może stać się podobny odniesienie do metod segmentacji)
Penelope

Odpowiedzi:

7

Nie wiem o wielu technikach segmentacji, ale miałem do czynienia ze strukturami, które oferują „wybór” elementów segmentacji, które można dalej badać w celu uzyskania satysfakcjonującej segmentacji.

Mam nadzieję, że ktoś inny napisze o innej nowoczesnej metodzie segmentacji, o której niewiele wiem.

Krótkie wprowadzenie na temat tego, dlaczego miło jest mieć opcje lub poziomy segmentacji dla innego obrazu: segmentacja jest źle zdefiniowanym problemem. Podstawowa prawda nie istnieje: pożądane wyniki zawsze zależą od wymagań użytkownika i specyfikacji. Miły cytat:

Nawet dla stałego obrazu może istnieć więcej niż jedna „najlepsza” segmentacja, ponieważ kryteria określające jakość segmentacji zależą od aplikacji. To zmotywowało nas do skoncentrowania naszych badań na technikach podziału obrazu, dostarczając „puzzli”, które można wykorzystać (...) do wygenerowania segmentacji spełniającej określone wymagania użytkowników

( P. Soille: Ograniczona łączność dla hierarchicznego podziału i upraszczania obrazów (2008) )

Istnieją struktury hierarchiczne , hierarchiczne dekompozycje obrazów, które proponują partycje obrazów o różnej złożoności. Struktury te są najprościej reprezentowane jako struktury drzewiaste, gdzie każdy węzeł reprezentuje region na obrazie. Pomysł ze strukturami:

  • liście struktury są regionami drobnego podziału lub nadmiernej segmentacji obrazu (np. piksele, strefy płaskie - połączone obszary o tej samej intensywności, zlew )
  • łącza w drzewie stanowią połączenie lub związek z (sąsiednich) obszarów i tworzących obszar bardziej złożone i są zbudowane w taki sposób, najprawdopodobniej regionów wygenerowania odpowiednich obiektów (oby :))
  • złożoność regionów wzrasta wzdłuż każdej gałęzi od węzłów w kierunku korzenia drzewa
  • każdy poziom drzewa (także każde cięcie) to partycjonowanie / segmentacja obrazu (im grubsze, tym bliżej korzenia)
  • korzeń drzewa obejmuje całą domenę obrazów

Segmentacja niż polega na zbadaniu regionów i ich związki, proponowane do określania regionów w drzewie lub cięcie drzewa odpowiadający wymaganej precyzji lub kilka znanych właściwości o przedmiot zainteresowania lub innych predefiniowanych specyfikacją użytkownika.

Drzewa (czyli hierarchiczne dekompozycje obrazów) o takich właściwościach to:

Oprócz linków do już dostarczonych artykułów, niektóre bardziej szczegółowe i mniej szczegółowe aktualne artykuły na temat tego rodzaju technik segmentacji:

(bardziej praktyczny):

Penelopa
źródło
1
Dla „nowoczesnych” (i modnych) rodzin algorytmów segmentacji dodałbym superpiksele. Googlowanie tego terminu jest naprawdę imponujące.
sansuiso,
@ sansuiso Cóż, dodaj to jako odpowiedź :) Mam nadzieję, że w tym pytaniu uda nam się zebrać kilka interesujących podejść do segmentacji
penelopa,
6

Jako dodatek do odpowiedzi Penelope , dwie popularne rodziny (i modne) algorytmów.

Superpiksele

Bardzo popularna rodzina algorytmów o nazwie Superpixels jest teraz bardzo modna (jest nawet kilka sesji Superpixel na konferencjach CV). Superpiksele przypominają nadmierną segmentację (tak jak daje to przełom), więc wymagane jest pewne przetwarzanie końcowe.

Superpiksele można postrzegać jako małe jednorodne regiony obrazów . Odległość między pikselami jest oceniana jak w filtrowaniu dwustronnym, tj. Jest to mieszanka między ich odległością przestrzenną a ich podobieństwem wizualnym, która zbliża się do 0, gdy są one bliskie i podobne, a do innej większej wartości w przeciwnym razie.
Następnie metody superpikseli próbują różnych kryteriów w celu utworzenia małych jednorodnych regionów w odniesieniu do tej miary. Jest ich wiele (oparte na grafach, oparte na wyszukiwaniu trybów / klastrowaniu ...), więc myślę, że najlepiej odnieść cię do tego raportu technicznego .

(edytuj :) W przypadku, gdy ktoś szuka opublikowanej recenzji, ten artykuł jest autorstwa tych samych autorów i obejmuje ten sam materiał, co raport techniczny: R. Achanta, A. Shaji, K. Smith, A. Lucchi, P. Fua, S. Susstrunk: SLIC Superpixels w porównaniu do najnowocześniejszych metod superpikseli

Zauważ, jak napisałem pierwszą wersję odpowiedzi, że wizualnie wyniki są bardzo podobne do tego, co zapewnia nadsegmentacja przełomu. Potwierdzają to autorzy raportu technicznego, którzy uwzględniają przełom w powiązanej części pracy. Dlatego też musisz wykonać tę samą obróbkę końcową: podczas gdy superpiksele mogą być przydatnymi funkcjami zamiast pikseli, nadal trzeba je pogrupować, aby utworzyć regiony wyższego poziomu, jeśli potrzebujesz śledzić / wykrywać obiekty.

Metody segmentacji oparte na grafie

Inna popularna rodzina algorytmów pochodzi z analizy zależności między pikselami, tj. Tego, jak wyglądają piksele. Daje to rodzinę metod segmentacji opartych na teorii grafów, takich jak znormalizowane cięcie (J. Shi, J. Malik: Znormalizowane cięcia i segmentacja obrazu ) .

Oto intuicja tego podejścia: załóżmy, że twoje piksele są teraz punktami (wierzchołkami) wykresu wielowymiarowego.
Na wykresie dwa wierzchołki mogą być połączone krawędzią , której ciężar jest odwrotnie proporcjonalny do pewnej odległości między wierzchołkami. Zazwyczaj funkcja wagi będzie pewną odwrotnością mieszanki między ich odległością przestrzenną a ich wizualnym podobieństwem 8a w dwustronnym filtrowaniu).
Następnie, biorąc pod uwagę ten wykres, algorytmy segmentacji mogą szukać najlepszych klastrów wierzchołków, tj. Grup wierzchołków, które mają małą odległość wewnątrz grupy i dużą odległość poza grupą .

W metodzie cięcia znormalizowanego należy zachować szczególną ostrożność, aby uniknąć uprzedzeń wynikających z różnej wielkości populacji klastrów. Ponadto eksploracji grafów można uniknąć, obliczając SVD macierzy wag, znanej również jako macierz łączności w teorii grafów.

sansuiso
źródło
Hej, zajęło mi to trochę czasu, dziękuję za odpowiedź, ale ... czy mógłbyś choć trochę rozwinąć 2 techniki, o których wspomniałeś? Nie zamierzam tutaj szczegółowo ich wyjaśniać, ale naprawdę doceniłbym jedno lub dwa opisowe zdania na temat każdego z nich.
penelopa
Rozszerzyłem odpowiedź. Jest to jednak trochę mylące, najlepiej odwołać się do raportu technicznego, który zamieszczam w odpowiedzi (muszę przyznać, że nie jestem facetem superpikseli i nadal jestem nieco sceptyczny co do ich zainteresowania, chociaż są bardzo modne).
sansuiso
Jeśli chodzi o metody segmentacji oparte na grafie, myślę, że ta praca sugeruje jeden z najlepszych najnowszych wyników: research.microsoft.com/pubs/167600/jmiv_bnm_final.pdf Jest to intuicyjny papier i kod jest dostępny.
Tolga Birdal
3

Wydaje mi się, że w celu uzyskania globalnego przeglądu najnowocześniejszych algorytmów segmentacji należy poszukać najnowszych ankiet. Dobry globalny przegląd wyzwań przedstawiono w Księdze Szeliskiego .

wprowadź opis zdjęcia tutaj

beedot
źródło