W książce Modele statystyczne i metody dożywotnich danych napisano: Ocenzurowanie: Gdy obserwacja jest niekompletna z jakiejś przypadkowej przyczyny. Obcinanie: gdy niekompletny charakter obserwacji wynika z systematycznego procesu selekcji właściwego dla projektu badania. Co rozumie się...
Nadzorowana nauka 1) Ludzka tworzy klasyfikator oparty na wejściowych i wyjściowych danych 2) Ten klasyfikator jest szkolony przy użyciu zestawu danych szkoleniowych 3) Ten klasyfikator jest testowany z testowym zestawem danych 4) Wdrożenie, jeśli wynik jest zadowalający Do użycia, gdy: „Wiem,...
Próbowałem owinąć głowę wokół tego, w jaki sposób współczynnik fałszywych odkryć (FDR) powinien wpływać na wnioski poszczególnych badaczy. Na przykład, jeśli twoje badanie jest słabe, czy powinieneś zdyskontować swoje wyniki, nawet jeśli są znaczące przy ? Uwaga: mówię o FDR w kontekście badania...
Przeglądam notatki z wykładu Andrew Ng na temat uczenia maszynowego. Notatki wprowadzają nas do regresji logistycznej, a następnie do perceptronu. Opisując Perceptron, notatki mówią, że po prostu zmieniamy definicję funkcji progowej używanej do regresji logistycznej. Po wykonaniu tej czynności...
Czytałem artykuł Klasyfikacja ImageNet z głębokimi sieciami neuronowymi splotowymi, aw części 3, w której wyjaśnili architekturę swojej sieci neuronowej splotowej, wyjaśnili, w jaki sposób woleli: nieliniowa nieliniowośćf(x)=max(0,x).f(x)=max(0,x).f(x) = max(0, x). ponieważ trenowanie było...
Uwaga: Wiem, że L1 ma właściwość wyboru funkcji. Próbuję zrozumieć, który wybrać, gdy wybór funkcji jest całkowicie nieistotny. Jak zdecydować, której regularyzacji (L1 lub L2) użyć? Jakie są zalety i wady każdej z regulacji L1 / L2? Czy zaleca się najpierw dokonać wyboru funkcji za pomocą L1, a...
Bardzo wypaczone rozkłady, takie jak log-normal, nie dają dokładnych przedziałów ufności ładowania. Oto przykład pokazujący, że lewy i prawy obszar ogona są dalekie od idealnego 0,025 bez względu na to, jaką metodę ładowania początkowego wypróbujesz w R: require(boot) n <- 25 B <- 1000 nsim...
Jaką różnicę ma centrowanie (lub odznaczanie) danych w przypadku PCA? Słyszałem, że ułatwia to matematykę lub zapobiega zdominowaniu pierwszego komputera przez zmienne, ale wydaje mi się, że nie byłem jeszcze w stanie zrozumieć tej koncepcji. Na przykład najlepsza odpowiedź tutaj W jaki sposób...
Szukam rozkładu, w którym gęstość prawdopodobieństwa szybko maleje po pewnym punkcie oddalonym od średniej lub, moim zdaniem, „rozkładem w kształcie płaskowyżu”. Coś pomiędzy gaussowskim a
Ostatnio natknąłem się na artykuł, który proponuje użycie klasyfikatora k-NN w określonym zbiorze danych. Autorzy wykorzystali wszystkie dostępne próbki danych, aby przeprowadzić k-krotną weryfikację krzyżową dla różnych wartości k i zgłosić wyniki walidacji krzyżowej najlepszej konfiguracji...
Wiem, że to pytanie zostało zadane w przypadku średnia = mediana, ale nie znalazłem nic związanego z trybem średnia =. Jeśli tryb jest równy średniej, czy zawsze mogę stwierdzić, że jest to rozkład symetryczny? Czy będę zmuszony znać również medianę dla tego
Niech i będą procesami białego szumu. Czy możemy powiedzieć, że jest koniecznie procesem białego szumu?b t c t = a t + b
Jak mogę ręcznie wygenerować liczbę losową z danego rozkładu, na przykład 10 realizacji ze standardowego rozkładu
Ostatnio dużo myślałem o „problemie nierównowagi klas” w uczeniu maszynowym / statystycznym i coraz głębiej odczuwam, że po prostu nie rozumiem, co się dzieje. Najpierw pozwól mi zdefiniować (lub spróbować) zdefiniować moje warunki: Problemem klasa nierównowaga w maszyny / uczenia...
Moje pytanie wypływa z tego komentarza na blogu Andrew Gelmana, w którym opowiada się za stosowaniem 50% przedziałów ufności zamiast 95% przedziałów ufności, chociaż nie dlatego, że są one dokładniej oszacowane: Wolę przerwy od 50% do 95% z 3 powodów: Stabilność obliczeniowa, Bardziej...
Rozumiem, w jaki sposób otrzymujemy 3,5 jako oczekiwaną wartość dla rzutu rzetelną 6-stronną kostką. Ale intuicyjnie mogę spodziewać się każdej twarzy z równą szansą 1/6. Czyż zatem oczekiwana wartość rzutu kostką nie powinna być równa liczbie od 1 do 6 z jednakowym prawdopodobieństwem? Innymi...
Sieć neuronowa uczy się cech zestawu danych jako sposobu na osiągnięcie pewnego celu. Po zakończeniu możemy chcieć dowiedzieć się, czego nauczyła się sieć neuronowa. Jakie były funkcje i dlaczego o to dbano. Czy ktoś może podać jakieś referencje na temat pracy, która dotyczy tego...
Wzór na warunkowe prawdopodobieństwo wystąpienia biorąc pod uwagę, że zdarzyło się , jest następujący: P \ left (\ text {A} ~ \ middle | ~ \ text {B} \ right) = \ frac { P \ left (\ text {A} \ cap \ text {B} \ right)} {P \ left (\ text {B} \
Próbuję napisać serię postów na blogu o wartościach p i pomyślałem, że warto wrócić do miejsca, w którym wszystko się zaczęło - co wydaje się być artykułem Pearsona z 1900 roku. Jeśli znasz ten papier, pamiętasz, że obejmuje to testowanie dopasowania. Pearson jest nieco luźny w swoim języku, jeśli...
Często widzę, że ludzie tworzą nowe funkcje w oparciu o istniejące funkcje związane z problemem uczenia maszynowego. Na przykład tutaj: https://triangleinequality.wordpress.com/2013/09/08/basic-feature-engineering-with-the-titanic-data/ ludzie uważają, że wielkość rodziny osoby jest nową funkcją na...