Najpopularniejsze współczesne techniki segmentacji obrazu

Czytałem trochę na temat technik segmentacji obrazu i zastanawiałem się nad współczesnymi, najnowocześniejszymi algorytmami segmentacji.

Jakie obecne techniki segmentacji są „obowiązkowe”, tj. Obecnie najczęściej stosowane w społeczności? Z jakimi technikami się zetknąłeś i które są najbardziej skuteczne i przydatne (i dla jakiej aplikacji)?

Nie wiem o wielu technikach segmentacji, ale miałem do czynienia ze strukturami, które oferują „wybór” elementów segmentacji, które można dalej badać w celu uzyskania satysfakcjonującej segmentacji.

Mam nadzieję, że ktoś inny napisze o innej nowoczesnej metodzie segmentacji, o której niewiele wiem.

Krótkie wprowadzenie na temat tego, dlaczego miło jest mieć opcje lub poziomy segmentacji dla innego obrazu: segmentacja jest źle zdefiniowanym problemem. Podstawowa prawda nie istnieje: pożądane wyniki zawsze zależą od wymagań użytkownika i specyfikacji. Miły cytat:

Nawet dla stałego obrazu może istnieć więcej niż jedna „najlepsza” segmentacja, ponieważ kryteria określające jakość segmentacji zależą od aplikacji. To zmotywowało nas do skoncentrowania naszych badań na technikach podziału obrazu, dostarczając „puzzli”, które można wykorzystać (...) do wygenerowania segmentacji spełniającej określone wymagania użytkowników

( P. Soille: Ograniczona łączność dla hierarchicznego podziału i upraszczania obrazów (2008) )

Istnieją struktury hierarchiczne , hierarchiczne dekompozycje obrazów, które proponują partycje obrazów o różnej złożoności. Struktury te są najprościej reprezentowane jako struktury drzewiaste, gdzie każdy węzeł reprezentuje region na obrazie. Pomysł ze strukturami:

• liście struktury są regionami drobnego podziału lub nadmiernej segmentacji obrazu (np. piksele, strefy płaskie - połączone obszary o tej samej intensywności, zlew )
• łącza w drzewie stanowią połączenie lub związek z (sąsiednich) obszarów i tworzących obszar bardziej złożone i są zbudowane w taki sposób, najprawdopodobniej regionów wygenerowania odpowiednich obiektów (oby :))
• złożoność regionów wzrasta wzdłuż każdej gałęzi od węzłów w kierunku korzenia drzewa
• każdy poziom drzewa (także każde cięcie) to partycjonowanie / segmentacja obrazu (im grubsze, tym bliżej korzenia)
• korzeń drzewa obejmuje całą domenę obrazów

Segmentacja niż polega na zbadaniu regionów i ich związki, proponowane do określania regionów w drzewie lub cięcie drzewa odpowiadający wymaganej precyzji lub kilka znanych właściwości o przedmiot zainteresowania lub innych predefiniowanych specyfikacją użytkownika.

Drzewa (czyli hierarchiczne dekompozycje obrazów) o takich właściwościach to:

• $\alpha$
• $(\omega)$
• Binarne drzewa partycji (mające na celu segmentację i wykrywanie obiektów )

Oprócz linków do już dostarczonych artykułów, niektóre bardziej szczegółowe i mniej szczegółowe aktualne artykuły na temat tego rodzaju technik segmentacji:

• Cousty, J., Najman, L .: Algorytm inkrementalny dla hierarchicznych lasów o minimalnej rozpiętości i sile wycinków wodnych (2011)
• Soille, P., Grazzini, J .: Regiony połączeń i regiony przejściowe (2009)

(bardziej praktyczny):

• Serna, A., Marcotegui, B .: Atrybut Kontrolowana rekonstrukcja i adaptacyjna morfologia matematyczna (2013)
• Merciol, F., Lefèvre, S .: Szybka segmentacja obrazu i wideo na podstawie wieloskalowej reprezentacji drzewa alfa (2012)

Jako dodatek do odpowiedzi Penelope , dwie popularne rodziny (i modne) algorytmów.

Superpiksele

Bardzo popularna rodzina algorytmów o nazwie Superpixels jest teraz bardzo modna (jest nawet kilka sesji Superpixel na konferencjach CV). Superpiksele przypominają nadmierną segmentację (tak jak daje to przełom), więc wymagane jest pewne przetwarzanie końcowe.

Superpiksele można postrzegać jako małe jednorodne regiony obrazów . Odległość między pikselami jest oceniana jak w filtrowaniu dwustronnym, tj. Jest to mieszanka między ich odległością przestrzenną a ich podobieństwem wizualnym, która zbliża się do 0, gdy są one bliskie i podobne, a do innej większej wartości w przeciwnym razie.
Następnie metody superpikseli próbują różnych kryteriów w celu utworzenia małych jednorodnych regionów w odniesieniu do tej miary. Jest ich wiele (oparte na grafach, oparte na wyszukiwaniu trybów / klastrowaniu ...), więc myślę, że najlepiej odnieść cię do tego raportu technicznego .

(edytuj :) W przypadku, gdy ktoś szuka opublikowanej recenzji, ten artykuł jest autorstwa tych samych autorów i obejmuje ten sam materiał, co raport techniczny: R. Achanta, A. Shaji, K. Smith, A. Lucchi, P. Fua, S. Susstrunk: SLIC Superpixels w porównaniu do najnowocześniejszych metod superpikseli

Zauważ, jak napisałem pierwszą wersję odpowiedzi, że wizualnie wyniki są bardzo podobne do tego, co zapewnia nadsegmentacja przełomu. Potwierdzają to autorzy raportu technicznego, którzy uwzględniają przełom w powiązanej części pracy. Dlatego też musisz wykonać tę samą obróbkę końcową: podczas gdy superpiksele mogą być przydatnymi funkcjami zamiast pikseli, nadal trzeba je pogrupować, aby utworzyć regiony wyższego poziomu, jeśli potrzebujesz śledzić / wykrywać obiekty.

Metody segmentacji oparte na grafie

Inna popularna rodzina algorytmów pochodzi z analizy zależności między pikselami, tj. Tego, jak wyglądają piksele. Daje to rodzinę metod segmentacji opartych na teorii grafów, takich jak znormalizowane cięcie (J. Shi, J. Malik: Znormalizowane cięcia i segmentacja obrazu ) .

Oto intuicja tego podejścia: załóżmy, że twoje piksele są teraz punktami (wierzchołkami) wykresu wielowymiarowego.
Na wykresie dwa wierzchołki mogą być połączone krawędzią , której ciężar jest odwrotnie proporcjonalny do pewnej odległości między wierzchołkami. Zazwyczaj funkcja wagi będzie pewną odwrotnością mieszanki między ich odległością przestrzenną a ich wizualnym podobieństwem 8a w dwustronnym filtrowaniu).
Następnie, biorąc pod uwagę ten wykres, algorytmy segmentacji mogą szukać najlepszych klastrów wierzchołków, tj. Grup wierzchołków, które mają małą odległość wewnątrz grupy i dużą odległość poza grupą .

W metodzie cięcia znormalizowanego należy zachować szczególną ostrożność, aby uniknąć uprzedzeń wynikających z różnej wielkości populacji klastrów. Ponadto eksploracji grafów można uniknąć, obliczając SVD macierzy wag, znanej również jako macierz łączności w teorii grafów.

Wydaje mi się, że w celu uzyskania globalnego przeglądu najnowocześniejszych algorytmów segmentacji należy poszukać najnowszych ankiet. Dobry globalny przegląd wyzwań przedstawiono w Księdze Szeliskiego .