Jak obliczyć liczbę funkcji na podstawie rozdzielczości obrazu?

Wystarczy pokryte Andrew Ng za Non-liniowy Zakładany Neural Netowrks, i mieliśmy wiele pytanie wybór dla określenia liczby funkcji dla obrazu rozdzielczości 100x100 z grescale intensywności.

Odpowiedź brzmiała 50 milionów, $5$ x$10^7$

Jednak wcześniej dla obrazu w skali szarości 50 x 50 pikseli. liczba funkcji wynosi 50 x 50 (2500)

Dlaczego miałoby to być x zamiast ?$5$$10^7$$10,000$

Mówi jednak, że zawiera wszystkie wyrażenia kwadratowe ( ) jako cechy$x_ix_j$

Załóżmy, że uczysz się rozpoznawać samochody na podstawie obrazów 100 × 100 pikseli (skala szarości, a nie RGB). Niech funkcje będą wartościami intensywności pikseli. Jeśli trenujesz regresję logistyczną obejmującą wszystkie wyrażenia kwadratowe ( ) jako funkcje, ile funkcji będziesz mieć?$x_ix_j$

i we wcześniejszym slajdzie dotyczącym 100 x 100 , że cechy kwadratowe ( x ) = 3 miliony funkcji, ale nadal nie mogę dotknąć połączenia.$x_i$$x_j$

Być może prostszy przypadek wyjaśni sprawę. Powiedzmy, że wybieramy próbkę pikseli 1x2 zamiast 100x100.

Przykładowe piksele z obrazu

+----+----+
| x1 | x2 |
+----+----+

Wyobraź sobie, że podczas planowania naszego zestawu treningowego zauważyliśmy, że nie można go łatwo oddzielić za pomocą modelu liniowego, dlatego zdecydowaliśmy się dodać terminy wielomianowe, aby lepiej dopasować dane.

Powiedzmy, że decydujemy się na budowę naszych wielomianów przez uwzględnienie wszystkich intensywności pikseli i wszystkich możliwych wielokrotności, które można z nich utworzyć.

Ponieważ nasza matryca jest niewielka, wyliczmy je:

Interpretując powyższą sekwencję funkcji można zobaczyć, że istnieje wzorzec. Pierwsze dwa terminy, grupa 1, to cechy składające się tylko z ich intensywności pikseli. Następne dwa terminy, potem grupa 2, to cechy składające się z kwadratu ich intensywności. Ostatnie dwa terminy, grupa 3, są iloczynem wszystkich kombinacji intensywności par (dwóch) pikseli.

grupa 1: $x_1,\ x_2$

grupa 2: $x_1^2,\ x_2^2$

grupa 3: $x_1 \times x_2,\ x_2 \times x_1$

Ale czekaj, jest problem. Jeśli spojrzysz na terminy grupy 3 w sekwencji ( i x 2 × x 1 ), zauważysz, że są one równe. Zapamiętaj nasz przykład mieszkania. Wyobraź sobie, że masz dwie funkcje x1 = materiał kwadratowy i x2 = materiał kwadratowy dla tego samego domu ... To nie ma sensu! Ok, więc musimy pozbyć się duplikatu funkcji, powiedzmy arbitralnie x 2 × x 1 . Teraz możemy przepisać listę funkcji trzech grup jako:$x_1 \times x_2$$x_2 \times x_1$$x_2 \times x_1$

grupa 3: $x_1 \times x_2$

Liczymy funkcje we wszystkich trzech grupach i otrzymujemy 5.

Ale to jest przykład zabawki. Pozwala uzyskać ogólną formułę do obliczania liczby funkcji. Wykorzystajmy nasze oryginalne grupy funkcji jako punkt wyjścia.

$size group 1 + size group 2 + size group 3 = m \times n + m \times n +m \times n = 3 \times m \times n$

Ach! Musieliśmy jednak pozbyć się duplikatu produktu z grupy 3.

Tak więc, aby poprawnie policzyć funkcje dla grupy 3, potrzebujemy sposobu na policzenie wszystkich unikalnych produktów parowanych w macierzy. Można to zrobić za pomocą współczynnika dwumianowego, który jest metodą zliczania wszystkich możliwych unikalnych podgrup o wielkości k z równej lub większej grupy o wielkości n. Aby właściwie policzyć cechy w grupie 3, oblicz .$C(m \times n, 2)$

Więc nasza ogólna formuła byłaby:

Użyjmy go do obliczenia liczby funkcji w naszym przykładzie zabawki:

Otóż ​​to!

Jeśli używasz wszystkich funkcji liniowych i kwadratowych, całkowita liczba powinna wynosić:

100*100 + 100*100 + C(100*100,2) = 50015000
10000   + 10000   + 49995000     = 50015000
xi         xi^2       xixj

$x^2$

@ whuber 50 milionów przychodzi, gdy masz obraz 100 * 100 pikseli. gdzie kwadrat (100 * 100) = 100000000 (10 milionów) i kwadrat (100 * 100) / 2 = 5 milionów. Mam nadzieję, że te odpowiedzi.