Chcę oszacować rozbieżność KL między dwoma ciągłymi rozkładami f i g. Nie mogę jednak zapisać gęstości dla f lub g. Mogę próbkować zf i g za pomocą jakiejś metody (na przykład markov chain Monte Carlo). Rozbieżność KL od f do g jest zdefiniowana w następujący sposób reK.L.( f| | sol) =∫∞- ∞fa( x...
Zastanawiam się, jaka jest różnica między tymi dwoma rodzajami priorytetów:
Eksperymentowałem z zależnością między błędami a resztkami, używając kilku prostych symulacji w R. Jedną z rzeczy, które znalazłem, jest to, że niezależnie od wielkości próbki lub wariancji błędu zawsze otrzymuję dokładnie dla nachylenia, gdy dopasujesz
Standardowy błąd proporcji będzie największy, jaki może być dla danego N, gdy proporcja wynosi 0,5, a zmniejsza się wraz ze wzrostem proporcji od 0,5. Rozumiem, dlaczego tak jest, gdy patrzę na równanie błędu standardowego proporcji, ale nie mogę tego dalej wyjaśniać. Czy istnieje wyjaśnienie poza...
W kilku odpowiedziach widziałem, jak użytkownicy CrossValidated sugerują OP znaleźć wczesne artykuły na temat Lasso, Ridge i Elastic Net. Dla potomnych, jakie są przełomowe prace na temat Lasso, Ridge i Elastic Net?
Próbowanie zrozumienia związku między entropią krzyżową a zakłopotaniem. Na ogół dla modelu M , Perplexity (M) = 2 ^ entropii (M) . Czy ta relacja obowiązuje dla wszystkich różnych n-gramów, tj. Unigram, bigram
W najnowszym artykule WaveNet autorzy odnoszą się do swojego modelu jako stosu warstw rozszerzonych splotów. Tworzą również następujące wykresy wyjaśniające różnicę między zwinięciem „zwykłym” a zwężeniem rozszerzonym. Wyglądają zwykłe sploty Jest to splot o wielkości filtra 2 i kroku 1,...
W notatkach z 3 wykładów z kursu Coursera Machine Learning Andrew Ng do funkcji kosztów dodawany jest termin w celu wdrożenia regularyzacji: jot+( θ ) = J( θ ) +λ2 m∑j = 1nθ2)jotJ+(θ)=J(θ)+λ2m∑j=1nθj2J^+(\theta) = J(\theta) + \frac{\lambda}{2m} \sum_{j=1}^n \theta_j^2 Notatki z wykładu mówią:...
Natknąłem się na pojęcie inlier w metodzie LOF (Local Outlier Factor), znam pojęcie wartości odstających (cóż w zasadzie lier - instancje, które nie zachowują się jak reszta instancji). Co oznaczają „Inliers” w kontekście wykrywania anomalii? i jak to się ma do (innych niż) wartości...
Załóżmy, że mamy 3 zmienne losowe i znamy parowy rozkład krańcowy P ( X 1 , X 2 ) , P ( X 2 , X 3 ) , P ( X 3 , X 1 ) , ale nic nie wiemy (np. warunkowa niezależność). Czy możemy uzyskać wspólny rozkład P ( X 1 , X 2 , X 3 )X1,X2),X3)X1,X2),X3)X_1,X_2,X_3P.( X1, X2)) , P( X2), X3)) , P( X3),...
Dla ciągłej zmiennej losowej XXX , jeśli E(|X|)E(|X|)E(|X|) jest skończone, to czy limn→∞nP(|X|>n)=0limn→∞nP(|X|>n)=0\lim_{n\to\infty}n P(|X|>n)=0 ? Jest to problem, który znalazłem w Internecie, ale nie jestem pewien, czy się utrzymuje. Wiem, że
Pracuję nad dokumentem Cho 2014, który wprowadził architekturę kodera-dekodera do modelowania seq2seq. W pracy wydaje się, że wykorzystują one prawdopodobieństwo wyjścia podanego wejścia (lub jego logarytmiczne prawdopodobieństwo) jako funkcję straty dla wejścia o długości i wyjścia o długości N...
Jak nazywa się operator, który przyjmuje wektor kategoryczny i przekształca go w reprezentację binarną za pomocą kodowania „na gorąco”? Zastanawiam się, skoro piszę artykuł naukowy i potrzebuję do tego odpowiedniej
Twierdzenie Pitmana-Koopmana-Darmois mówi, że jeśli próbka iid ze sparametryzowanej rodziny rozkładów prawdopodobieństwa dopuszcza wystarczającą statystykę, której liczba składników skalarnych nie rośnie wraz z wielkością próbki, to jest to rodzina wykładnicza. Czy jakieś podręczniki lub zwykłe...
Częstym uproszczeniem w modelowaniu i symulacji jest zastąpienie zmiennej losowej jej wartością średnią. Kiedy to uproszczenie doprowadziłoby do błędnego
Niech będą niezależnymi standardowymi normalnymi zmiennymi losowymi. Istnieje wiele (długich) dowodów, które to pokazująZ1,⋯,ZnZ1,⋯,ZnZ_1,\cdots,Z_n ∑i=1n(Zi−1n∑j=1nZj)2∼χ2n−1∑i=1n(Zi−1n∑j=1nZj)2∼χn−12 \sum_{i=1}^n \left(Z_i - \frac{1}{n}\sum_{j=1}^n Z_j \right)^2 \sim \chi^2_{n-1} Wiele dowodów...
Jest to często cytowane, gdy wspomina się o przekleństwie wymiarowości i odchodzi (formuła z prawej strony zwana kontrastem względnym) limd→∞var(||Xd||kE[||Xd||k])=0,then:Dmaxkd−DminkdDminkd→0limd→∞var(||Xd||kE[||Xd||k])=0,then:Dmaxdk−DmindkDmindk→0 \lim_{d\rightarrow \infty} \text{var}...
Losowe funkcje Fouriera zapewniają przybliżenia funkcji jądra. Są używane do różnych metod jądra, takich jak SVM i procesy Gaussa. Dzisiaj próbowałem użyć implementacji TensorFlow i uzyskałem wartości ujemne dla połowy moich funkcji. Jak rozumiem, to nie powinno się zdarzyć. Wróciłem więc do...
Nie mam na myśli konkretnego przykładu ani zadania. Po prostu jestem nowy w używaniu splajnów b i chciałem lepiej zrozumieć tę funkcję w kontekście regresji. Załóżmy, że chcemy ocenić związek między zmienną odpowiedzi a niektórymi predyktorami . Predyktory obejmują niektóre zmienne numeryczne, a...
Poniżej znajduje się pytanie dotyczące wielu wizualizacji przedstawionych jako „dowód za obrazem” istnienia paradoksu Simpsona i być może pytanie dotyczące terminologii. Paradoks Simpsona jest dość prostym zjawiskiem, które można opisać i podać numeryczne przykłady (powód, dla którego może się to...