Wybierając parametr regulowania lambda w Ridge lub Lasso, zalecaną metodą jest wypróbowanie różnych wartości lambda, zmierzenie błędu w zbiorze walidacyjnym i wybranie wartości lambda, która zwraca najmniejszy błąd. Nie jest dla mnie kłamstwem, jeśli funkcja f (lambda) = error jest wypukła. Czy...
Oto coś, co przeczytałem w książce Iana Goodfellow'a Deep Learning . W kontekście sieci neuronowych „kara za normę parametru L2 jest powszechnie znana jako zanik masy. Ta strategia regularyzacji przybliża wagi do źródła [...]. Mówiąc bardziej ogólnie, moglibyśmy uregulować parametry tak, aby...
Rozumiem, że SVM jest bardzo podobny do regresji logistycznej (LR), tj. Ważona suma funkcji jest przekazywana do funkcji sigmoidalnej w celu uzyskania prawdopodobieństwa przynależności do klasy, ale zamiast utraty entropii krzyżowej (logistycznej) funkcja, trening odbywa się przy użyciu utraty...
Próbuję zaimplementować algorytm Neldera-Meada do optymalizacji funkcji. Strona wikipedii o Nelder-Mead jest zaskakująco jasna na temat całego algorytmu, z wyjątkiem kryterium zatrzymania. Tam niestety mówi: Sprawdź zbieżność [potrzebne wyjaśnienie] . Sam wypróbowałem i przetestowałem kilka...
Chcę lepiej zrozumieć sieci neuronowe i ich zalety w porównaniu z innymi algorytmami uczenia maszynowego. Rozumiem poniżej i moje pytanie brzmi: Czy możesz poprawić i uzupełnić moje zrozumienie, proszę? :) Moje zrozumienie: (1) Sztuczne sieci neuronowe = funkcja, która przewiduje wartości...
Interesuje mnie obecny stan wiedzy w zakresie selekcji początkowych nasion (ośrodków skupień) dla K-średnich. Googling prowadzi do dwóch popularnych opcji: losowy wybór nasion początkowych oraz przy użyciu techniki selekcji KMeans ++: Arthur i Vassilvitskii 2006 k-znaczy ++: Zalety ostrożnego...
Mam dwie regresje tego samego Y i trzypoziomowego X. Ogólnie n = 15, przy n = 5 w każdej grupie lub na poziomie X. Pierwsza regresja traktuje X jako kategoryczny, przypisując zmienne wskaźnikowe do poziomów 2 i 3 z poziomem jeden jest odniesieniem. Wskaźniki / manekiny są takie: X1 = 1, jeśli...
W ustawieniach regresji jednowymiarowej próbujemy modelować y= Xβ+ N O I s Ey=Xβ+noisey = X\beta +noise gdzie wektor obserwacji i macierz projektowa z predyktorami. Rozwiązaniem jest \ beta_0 = (X ^ TX) ^ {- 1} Xy . n X ∈ R n × m m β 0 = ( X T X ) - 1 X yy∈ Rny∈Rny \in \mathbb{R}^nnnnX∈ Rn ×...
Patrzyłem na ten zeszyt i zastanawia mnie to stwierdzenie: Kiedy mówimy o normalności, mamy na myśli, że dane powinny wyglądać jak rozkład normalny. Jest to ważne, ponieważ polega na tym kilka testów statystycznych (np. Statystyki t). Nie rozumiem, dlaczego statystyka T potrzebuje danych do...
Czy istnieje sposób na uzyskanie wyniku ufności (możemy nazwać to również wartością ufności lub prawdopodobieństwa) dla każdej przewidywanej wartości, gdy stosuje się algorytmy takie jak Losowe Lasy lub Ekstremalne Zwiększanie Gradientu (XGBoost)? Powiedzmy, że ten wynik pewności wynosiłby od 0 do...
To pytanie jest inspirowane odpowiedzią Martijna tutaj . Załóżmy, że dopasowujemy GLM do rodziny jednoparametrowej, takiej jak model dwumianowy lub Poissona, i że jest to procedura pełnego prawdopodobieństwa (w przeciwieństwie do quasipoissonu). Zatem wariancja jest funkcją średniej. Z...
Załóżmy, że plik danych ma ponad 80 milionów zer i zer, losowo generowanych. Z tego pliku chcemy utworzyć listę losowych liczb całkowitych dziesiętnych. Taki jest plan przeprowadzenia tej konwersji. Podziel 80 milionów cyfr na grupy 4 cyfr binarnych. Konwertuj każdy 4-cyfrowy plik binarny na...
W niektórych momentach widziałem zastosowanie pochodnej Radona-Nikodyma jednej miary prawdopodobieństwa w stosunku do drugiej, szczególnie w dywergencji Kullbacka-Leiblera, gdzie jest to pochodna miary prawdopodobieństwa modelu dla jakiegoś dowolnego parametru w odniesieniu do rzeczywistego...
Na przykład załóżmy, że budujemy estymator wieku na podstawie obrazu osoby. Poniżej mamy dwie osoby w garniturach, ale pierwsza jest wyraźnie młodsza niż druga. (źródło: tinytux.com ) Sugeruje to wiele funkcji, na przykład struktura twarzy. Jednak najbardziej wymowną cechą jest stosunek...
Adaboost to kompleksowa metoda, która łączy wielu słabych uczniów, tworząc silną. Wszystkie przykłady adaboost, które przeczytałem, wykorzystują pnie decyzji / drzewa jako słabych uczniów. Czy mogę korzystać z różnych słabych uczniów w Adaboost? Na przykład, jak zaimplementować adaboost (ogólnie...
Zamknięte . To pytanie wymaga szczegółów lub jasności . Obecnie nie przyjmuje odpowiedzi. Chcesz poprawić to pytanie? Dodaj szczegóły i wyjaśnij problem, edytując ten post . Zamknięte 2 lata temu . Pracuję nad zadaniem domowym, w którym mój profesor...
Czy estymatory Bayesa są odporne na stronniczość selekcji? Większość artykułów omawiających oszacowanie w dużym wymiarze, np. Dane o sekwencji całego genomu, często porusza kwestię błędu selekcji. Błąd selekcji wynika z faktu, że chociaż mamy tysiące potencjalnych predyktorów, tylko kilka zostanie...
Próbuję udowodnić stwierdzenie: Jeśli i Y ∼ N ( 0 , σ 2 2 ) są niezależnymi zmiennymi losowymi,X∼N(0,σ21)X∼N(0,σ12)X\sim\mathcal{N}(0,\sigma_1^2)Y∼N(0,σ22)Y∼N(0,σ22)Y\sim\mathcal{N}(0,\sigma_2^2) następnie jest również normalną zmienną losową.XYX2+Y2√XYX2+Y2\frac{XY}{\sqrt{X^2+Y^2}} W...
Próbuję obejść ten problem. Kostka jest rzucana 100 razy. Jakie jest prawdopodobieństwo, że żadna twarz nie pojawi się więcej niż 20 razy? Moją pierwszą myślą było użycie rozkładu dwumianowego P (x) = 1 - 6 cmf (100, 1/6, 20), ale jest to oczywiście błędne, ponieważ liczymy niektóre przypadki...
Niech być losowy wektor wyciągnąć . Rozważmy próbki . Zdefiniuj i . Niech i .xx\mathbf{x}PPP{xi}ni=1∼i.i.d.P{xi}i=1n∼i.i.d.P\{ \mathbf{x}_i \}_{i=1}^n \stackrel{i.i.d.}{\sim} P C :=1x¯n:=1n∑ni=1xix¯n:=1n∑i=1nxi\bar{\mathbf{x}}_n := \frac{1}{n} \sum_{i=1}^n