Mam stąd dane o winie , które składają się z 11 liczbowych zmiennych niezależnych z zależną oceną związaną z każdym wpisem o wartościach od 0 do 10. To sprawia, że jest to świetny zestaw danych, aby użyć modelu regresji do zbadania relacji między zmiennymi a powiązanymi ocena. Czy jednak regresja...
Najpopularniejsze splotowe sieci neuronowe zawierają pule warstw, aby zmniejszyć wymiary elementów wyjściowych. Dlaczego nie mogłem osiągnąć tego samego, po prostu zwiększając tempo warstwy splotowej? Co sprawia, że warstwa puli jest
Próbuję zrozumieć na głębszym poziomie wszechobecność prawdopodobieństwa logarytmicznego (a być może bardziej ogólnie log-prawdopodobieństwo) w statystyce i teorii prawdopodobieństwa. Log-prawdopodobieństwa pojawiają się wszędzie: zwykle pracujemy z prawdopodobieństwem log dla analizy (np. Dla...
Wiem o zaletach regularyzacji przy budowaniu modeli predykcyjnych (uprzedzenie vs. wariancja, zapobieganie nadmiernemu dopasowaniu). Zastanawiam się jednak, czy dobrym pomysłem jest również regularyzacja (lasso, kalenica, siatka elastyczna), gdy głównym celem modelu regresji jest wnioskowanie o...
Czytam książkę: Bishop, Rozpoznawanie wzorców i uczenie maszynowe (2006) który definiuje wykładniczą rodzinę jako rozkłady postaci (równanie 2.194): p(x|η)=h(x)g(η)exp{ηTu(x)}p(x|η)=h(x)g(η)exp{ηTu(x)}p(\mathbf x|\boldsymbol \eta) = h(\mathbf x) g(\boldsymbol \eta) \exp \{\boldsymbol...
Widziałem wykresy błędu testu / treningu nagle spadające kilka razy w pewnej epoce (ach) podczas treningu sieci neuronowej i zastanawiam się, co powoduje te skoki wydajności: To zdjęcie pochodzi z Kaiming Jest Githubem, ale podobne wątki pojawiają się w wielu artykułach....
Pracuję nad projektem Machine Learning z danymi, które są już (w dużym stopniu) stronnicze w wyniku selekcji danych. Załóżmy, że masz zestaw zakodowanych reguł. Jak zbudować model uczenia maszynowego, aby go zastąpić, skoro wszystkie dane, których może użyć, to dane, które zostały już...
Moje rozumienie algorytmu jest następujące: No U-Turn Sampler (NUTS) to hamiltonowska metoda Monte Carlo. Oznacza to, że nie jest to metoda łańcucha Markowa, a zatem algorytm ten omija część chodzenia losowego, która często uważana jest za nieefektywną i powolną do zbieżności. Zamiast wykonywać...
Czy istnieje jedno angielskie słowo oznaczające „liczbę kolumn” matrycy? Na przykład, „wymiarowości” o matrycy . Potrzebuję terminu na w tym przykładzie. Oczywiście zawsze mogę po prostu powiedzieć „liczbę kolumn”, ale czy mogę podać jedno słowo?2 × 3 32×32)×3)2\times 32×32)×3)2\times...
Próbuję zrozumieć, w jaki sposób mogę uzyskać znaczenie funkcji zmiennej jakościowej, która została podzielona na zmienne fikcyjne. Używam scikit-learn, który nie obsługuje zmiennych kategorialnych tak jak R lub H2O. Jeśli podzielę zmienną kategorialną na zmienne pozorne, otrzymam osobne importy...
Widziałem podobny wniosek z wielu dyskusji, że wraz ze wzrostem rozmiaru mini-partii konwergencja SGD faktycznie staje się trudniejsza / gorsza, na przykład ten artykuł i ta odpowiedź . Słyszałem także o ludziach stosujących sztuczki, takie jak małe stawki uczenia się lub wielkości partii na...
Kiedy słowo „uprzedzenie” ukuto w znaczeniu „ ?E [ θ^- θ ]E[θ^−θ]\mathbb{E}[\hat{\theta}-\theta] Powodem, dla którego teraz o tym myślę, jest to, że przypominam Jaynesa w tekście teorii prawdopodobieństwa , krytykując użycie słowa „stronniczość” użytego do opisania tej formuły i sugerując...
Wiele samouczków online mówi o spadku gradientu i prawie wszystkie z nich mają ustalony rozmiar kroku (współczynnik uczenia ). Dlaczego nie ma potrzeby wyszukiwania linii (takiego jak wyszukiwanie linii wstecznej lub dokładne wyszukiwanie
W ubiegłym roku na targach NIPS 2017 Ali Rahimi i Ben Recht wygrali próbę czasową za swój artykuł „Random Features for Large Scale Kernel Machines”, w którym wprowadzili losowe funkcje, później skodyfikowane jako algorytm losowych zlewów kuchennych. W ramach publikacji artykułu wykazali, że ich...
Mam zmienną wyniku binarnego {0,1} i zmienną predykcyjną {0,1}. Uważam, że logistyka nie ma sensu, chyba że dołączę inne zmienne i obliczę iloraz szans. Czy z jednym predyktorem binarnym wystarczające byłoby obliczenie prawdopodobieństwa vs iloraz szans?
Dlaczego dywergencja KL nie jest ujemna? Z punktu widzenia teorii informacji rozumiem tak intuicyjnie: Powiedzmy, że istnieją dwa zespoły AAA i BBB które składają się z tego samego zestawu elementów oznaczonych xxx . p(x)p(x)p(x) i q(x)q(x)q(x) są różne rozkłady prawdopodobieństwa ponad zespołem...
We wzorze Bayesa: P(x|a)=P(a|x)P(x)P(a)P(x|a)=P(a|x)P(x)P(a)P(x|a) = \frac{P(a|x) P(x)}{P(a)} czy prawdopodobieństwo tylne może przekraczać 1?P(x|a)P(x|a)P(x|a) Myślę, że jest to możliwe, jeśli na przykład przyjmujemy, że i oraz . Ale nie jestem tego pewien, bo co to znaczy, że...
Czy rozkład normalny zbiega się z określonym rozkładem, jeśli odchylenie standardowe rośnie bez ograniczeń? wydaje mi się, że pdf zaczyna wyglądać jak jednolity rozkład z granicami podanymi przez [−2σ,2σ][−2σ,2σ][-2 \sigma, 2 \sigma] . Czy to
Mam 10 klasę i zamierzam symulować dane dla projektu targów nauki maszynowego. Ostateczny model zostanie zastosowany do danych pacjenta i będzie przewidywał korelację między niektórymi porami tygodnia i wpływ, jaki ma to na przyleganie leku w danych jednego pacjenta. Wartości przylegania będą...
Próbuję zrozumieć, czym jest łańcuch Markov Monte Carlo (MCMC) ze strony francuskiej Wikipedii. Mówią, że „metody Monte Carlo w łańcuchu Markowa polegają na generowaniu wektora xjaxjax_ {i} tylko z danych wektorowych xi - 1xja-1x_ {i-1} , dlatego jest to proces„ bez pamięci ”” Les méthodes de...