Struktura tego pytania jest następująca: najpierw przedstawiam koncepcję uczenia się w zespole , następnie dostarczam listę zadań rozpoznawania wzorców , następnie podaję przykłady algorytmów uczenia się w zespole, a na koniec przedstawiam moje pytanie. Ci, którzy nie potrzebują wszystkich dodatkowych informacji, mogą po prostu spojrzeć na nagłówki i przejść od razu do mojego pytania.
Czym jest nauka zespołowa?
Według artykułu z Wikipedii :
W statystyce i uczeniu maszynowym metody zespolone wykorzystują wiele algorytmów uczenia się w celu uzyskania lepszej wydajności predykcyjnej niż można by uzyskać przy pomocy dowolnego z podstawowych algorytmów uczenia się. W przeciwieństwie do zespołu statystycznego w mechanice statystycznej, który jest zwykle nieskończony, zespół uczenia maszynowego odnosi się tylko do konkretnego skończonego zestawu alternatywnych modeli, ale zazwyczaj pozwala na istnienie znacznie bardziej elastycznej struktury wśród tych alternatyw.
Przykłady zadań rozpoznawania wzorców:
- Optyczne rozpoznawanie znaków
- Rozpoznawanie kodów kreskowych
- Rozpoznawanie tablic rejestracyjnych
- Wykrywanie twarzy
- Rozpoznawanie mowy
- Rozpoznawanie obrazu
- Klasyfikacja dokumentu
Przykłady algorytmów uczenia się w zespole:
Następujące algorytmy uczenia zespołu używane do zadań PR (według Wiki):
Zestaw algorytmów uczenia się (nadzorowane meta-algorytmy do łączenia wielu algorytmów uczenia się razem):
Wzmocnienie (meta-algorytmzespołu uczenia maszynowegosłużący przede wszystkim do zmniejszeniauprzedzeń, a także wariancji wuczeniu nadzorowanymoraz rodzina algorytmów uczenia maszynowego, które przekształcają słabych uczniów w silnych)
Agregacja bootstrap („ workowanie ”) (meta-algorytm zespołu uczenia maszynowego zaprojektowany w celu poprawy stabilności i dokładności algorytmów uczenia maszynowego wykorzystywanych wklasyfikacji statystycznejiregresji).
Uśrednianie zespołu (proces tworzenia wielu modeli i łączenia ich w celu uzyskania pożądanego rezultatu, w przeciwieństwie do tworzenia tylko jednego modelu. Często zespół modeli działa lepiej niż jakikolwiek pojedynczy model, ponieważ różne błędy modeli „uśredniają się”. )
- Mieszanka ekspertów, hierarchiczna mieszanka ekspertów
Różne wdrożenia
- Zespoły sieci neuronowych (zbiór modeli sieci neuronowych podejmujących decyzję poprzez uśrednienie wyników poszczególnych modeli).
- Losowy las (kompleksowa metoda uczenia się dla klasyfikacji, regresji i innych zadań, które działają poprzez konstruowanie wieludrzew decyzyjnychw czasie szkolenia i generowanie klasy, która jesttrybemzajęć (klasyfikacja) lub średniego przewidywania (regresja) jednostki drzewa).
- AdaBoost (wyniki innych algorytmów uczenia się („słabi uczniowie”) są łączone w ważoną sumę, która reprezentuje końcową wydajność podwyższonego klasyfikatora).
Do tego:
- Metody wykorzystujące jedną sieć neuronową do łączenia różnych klasyfikatorów
- Metoda obszarów kompetencji
Moje pytanie
Który z algorytmów uczenia się w zespole jest obecnie uważany za najnowocześniejszy i jest faktycznie stosowany w praktyce (do wykrywania twarzy, rozpoznawania tablic rejestracyjnych pojazdów, optycznego rozpoznawania znaków itp.) Przez przedsiębiorstwa i organizacje? Zastosowanie algorytmów uczenia się w zespole powinno zwiększyć dokładność rozpoznawania i doprowadzić do lepszej wydajności obliczeniowej. Ale czy w rzeczywistości sprawy mają się tak?
Która metoda zespołu może potencjalnie wykazać lepszą dokładność klasyfikacji i wydajność w zadaniach rozpoznawania wzorców? Być może niektóre metody są już nieaktualne lub okazały się nieskuteczne. Możliwe jest również, że obecnie nie stosuje się już metod grupowania ze względu na siłę niektórych nowych algorytmów. Ci, którzy mają doświadczenie w tej dziedzinie lub mają wystarczającą wiedzę w tej dziedzinie, czy możesz pomóc w wyjaśnieniu spraw?
źródło
Odpowiedzi:
Najnowocześniejsze algorytmy mogą różnić się od stosowanych w produkcji w przemyśle. Te ostatnie mogą również inwestować w dostrajanie bardziej podstawowych (i często bardziej interpretowalnych) podejść, aby działały one lepiej niż naukowcy.
Przykład 1: Według TechCrunch , we wrześniu Nuance zacznie używać „technologii głębokiego uczenia się” w swoich produktach do rozpoznawania mowy Dragon.
Przykład 2: Chiticariu, Laura, Yunyao Li i Frederick R. Reiss. „Ekstrakcja informacji opartych na regułach jest martwa! Niech żyją systemy ekstrakcji informacji oparte na regułach!”. W EMNLP nr Październik, s. 827–832. 2013. https://scholar.google.com/scholar?cluster=12856773132046965379&hl=pl&as_sdt=0,22 ; http://www.aclweb.org/website/old_anthology/D/D13/D13-1079.pdf
Powiedziawszy to:
Jeden z najnowocześniejszych systemów klasyfikacji obrazów zyskuje dzięki zespołowi (podobnie jak większość innych systemów, o ile wiem): He, Kaiming, Xiangyu Zhang, Shaoqing Ren i Jian Sun. „Głębokie uczenie resztkowe do rozpoznawania obrazów”. nadruk arXiv arXiv: 1512.03385 (2015). https://scholar.google.com/scholar?cluster=17704431389020559554&hl=pl&as_sdt=0,22 ; https://arxiv.org/pdf/1512.03385v1.pdf
źródło
Myślę, że można powiedzieć, że głębokie uczenie się jest najnowocześniejsze w większości poddomen wizji komputerowej (klasyfikacja, wykrywanie, super-rozdzielczość, wykrywanie krawędzi, ...) z wyjątkiem bardzo specyficznego zadania, takiego jak SLAM, w którym głębokie uczenie się nie jest jeszcze na równi z istniejącymi metodami.
Często uzyskuje się kilka dodatkowych procent, aby wygrać konkurencyjne sieci. Uśrednianie sieci jest stosowane, ale sieci stają się tak dobre, że nie ma to już tak wielkiego znaczenia.
W produkcji jest zupełnie inaczej. Duże firmy zwykle polegają na starych algorytmach, które okazały się skuteczne i że eksperci na miejscu dysponują wiedzą i wieloletnią praktyką w ich stosowaniu.
Ponadto zintegrowanie nowego algorytmu z łańcuchem dostaw wymaga dużo czasu. Myślę, że niektóre firmy kamer nadal używają detektora Viola Jones do wykrywania twarzy i wiem, że SIFT jest szeroko stosowany w wielu aplikacjach w przemyśle.
Nadal są też trochę sceptyczni wobec metod głębokiego uczenia się, które są uważane za niebezpieczne czarne skrzynki.
Ale imponujące wyniki tych algorytmów są powolne, co powoduje, że ludzie zmieniają zdanie na ten temat.
Start-upy chętniej korzystają z takich rozwiązań, ponieważ muszą mieć innowacyjne rozwiązania, aby uzyskać finansowanie.
Powiedziałbym, że za dwadzieścia lat większość produktów opartych na wizji komputerowej będzie korzystała z głębokiego uczenia się, nawet jeśli pomiędzy nimi odkryje się coś bardziej efektywnego.
Aby dodać do odpowiedzi Francka, głębokie uczenie się zmienia się tak szybko, że ResNets of Kaiming nie jest już najnowocześniejszy. Gęsto połączone sieci konwergentne oraz sieci szerokie i głębokie z restartem SGD są teraz SOTA na EDIT CIFAR i SVHN i prawdopodobnie IMAGEnet zbyt i nawet ta może się zmienić w ciągu kilku dni z wynikami ILSVRC 2016 16 września.
Jeśli interesują Cię najnowsze wyniki w dziedzinie MS-COCO, najtrudniejszy istniejący zestaw danych dotyczących wykrywania zostanie opublikowany w ECCV w październiku.
źródło
Z twoim pytaniem wiąże się wiele pytań typu „co, jeśli”, a zwykle znalezienie najlepszego modelu wymaga przetestowania większości z nich na danych. To, że teoretycznie model może dawać dokładniejsze wyniki, nie oznacza, że zawsze będzie produkować model z najniższym błędem.
To powiedziawszy ... Zespoły sieci neuronowej mogą być bardzo dokładne, o ile tylko zaakceptujesz czarną skrzynkę. Zróżnicowanie zarówno pod względem liczby węzłów, jak i liczby warstw może obejmować dużą wariancję danych, a dzięki wprowadzeniu tak wielu czynników modelujących łatwo byłoby dopasować dane.
Losowe lasy rzadko dają najdokładniejsze wyniki, ale wzmocnione drzewa mogą modelować złożone relacje, takie jak w zadaniach AI, o których mówiłeś, bez większego ryzyka przeregulowania.
Można by pomyśleć, cóż, dlaczego nie po prostu połączyć wszystkie te modele razem, ale ten model kompromituje możliwe mocne strony poszczególnych modeli. Ponownie prawdopodobnie doprowadziłoby to do pewnych problemów z nadmiernym dopasowaniem.
Modele, które są wydajne obliczeniowo, to inna sprawa, i nie zacząłbym od bardzo skomplikowanej sieci neuronowej. Wykorzystując sieć neuronową jako punkt odniesienia, z mojego doświadczenia wynika, że najbardziej wydajne było używanie wzmocnionych drzew.
Jest to oparte na moim doświadczeniu i rozsądnym zrozumieniu teorii leżącej u podstaw każdego z omawianych typów modelowania.
źródło