Rozumiem, w jaki sposób artificial neural network (ANN)można trenować w nadzorowany sposób, stosując propagację wsteczną, aby poprawić dopasowanie, zmniejszając błąd w prognozach. Słyszałem, że ANN można wykorzystać do nauki bez nadzoru, ale jak można tego dokonać bez jakiejś funkcji kosztowej, która poprowadziłaby etapy optymalizacji? W przypadku k-średnich lub algorytmu EM istnieje funkcja, dla której każda iteracja próbuje zwiększyć.
- Jak możemy grupować za pomocą ANN i jakiego mechanizmu używa do grupowania punktów danych w tej samej lokalizacji?
(i jakie dodatkowe możliwości przynoszą dodatkowe warstwy?)
Odpowiedzi:
Sieci neuronowe są szeroko stosowane w uczeniu się bez nadzoru, aby uczyć się lepszej reprezentacji danych wejściowych. Na przykład, biorąc pod uwagę zestaw dokumentów tekstowych, NN może nauczyć się mapowania z dokumentu na wektor o wartościach rzeczywistych w taki sposób, że powstałe wektory są podobne dla dokumentów o podobnej treści, tj. Zachowanie odległości. Można to osiągnąć na przykład za pomocą auto-koderów - modelu wyszkolonego do rekonstrukcji oryginalnego wektora z mniejszej reprezentacji (aktywacja warstwy ukrytej) z błędem rekonstrukcji (odległość od funkcji ID) jako funkcją kosztów. Ten proces nie zapewnia klastrów, ale tworzy znaczące reprezentacje, których można użyć do grupowania. Możesz na przykład uruchomić algorytm klastrowania na aktywacjach ukrytej warstwy.
Klastrowanie: Istnieje wiele różnych architektur NN specjalnie zaprojektowanych do klastrowania. Najbardziej znana jest prawdopodobnie samoorganizująca się mapa. SOM to NN, który ma zestaw neuronów połączonych w celu utworzenia siatki topologicznej (zwykle prostokątnej). Kiedy SOM przedstawia jakiś wzór, neuron o najbliższym wektorze ciężaru jest uważany za zwycięzcę, a jego masy są dostosowywane do wzoru, a także masy jego sąsiedztwa. W ten sposób SOM naturalnie znajduje klastry danych. Nieco pokrewnym algorytmem jest wzrost gazu neuronowego (nie jest on ograniczony do określonej liczby neuronów).
Innym podejściem jest Teoria Rezonansu Adaptacyjnego, w której mamy dwie warstwy: „pole porównania” i „pole rozpoznania”. Pole rozpoznania określa również najlepsze dopasowanie (neuron) do wektora przeniesionego z pola porównania, a także ma boczne połączenia hamujące. Szczegóły implementacji i dokładne równania można łatwo znaleźć, przeglądając nazwy tych modeli, więc nie umieszczę ich tutaj.
źródło
Chcesz spojrzeć na samoorganizujące się mapy . Kohonen (który je wynalazł) napisał o nich książkę . Są do tego pakiety w języku R ( som , kohonen ), a także implementacje w innych językach, takich jak MATLAB .
źródło