Czytam artykuł, w którym autor odrzuca kilka zmiennych ze względu na wysoką korelację z innymi zmiennymi przed wykonaniem PCA. Łączna liczba zmiennych wynosi około 20. Czy to daje jakieś korzyści? Wygląda mi to na ogólne obciążenie, ponieważ PCA powinna sobie z tym poradzić...
Pracuję nad małym projektem z udziałem twarzy użytkowników Twittera za pośrednictwem ich zdjęć profilowych. Problem, z którym się spotkałem, to fakt, że po odfiltrowaniu wszystkich zdjęć oprócz tych, które są wyraźnymi zdjęciami portretowymi, niewielki, ale znaczny odsetek użytkowników Twittera...
Mam dziwne pytanie. Załóżmy, że masz małą próbkę, w której zmienna zależna, którą zamierzasz przeanalizować za pomocą prostego modelu liniowego, jest mocno pochylona. Zatem zakładasz, że nie jest normalnie dystrybuowany, ponieważ spowodowałoby to normalną dystrybucję . Ale podczas obliczania...
Zwiększanie drzewa gradientowego, jak zaproponował Friedman, wykorzystuje drzewa decyzyjne jako podstawowych uczniów. Zastanawiam się, czy powinniśmy uczynić podstawowe drzewo decyzyjne tak złożonym, jak to możliwe (w pełni rozwinięte) czy prostszym? Czy istnieje jakieś wyjaśnienie wyboru? Random...
Na podstawie funkcji gęstości rozkładu możemy zidentyfikować średnią (= 0) dla rozkładu Cauchy'ego, tak jak pokazano na poniższym wykresie. Ale dlaczego mówimy, że dystrybucja Cauchy'ego nie ma
W odpowiedzi na to pytanie, jak wyjaśniłbyś kowariancję komuś, kto rozumie tylko środek? , który dotyczy kwestii wyjaśniania kowariancji świeckim, przywołał podobne pytanie. Jak wyjaśnić statystykom różnicę między kowariancją a korelacją ? Wygląda na to, że oba odnoszą się do zmiany jednej...
Najpierw był Brexit , teraz wybory w USA. Wiele prognoz modelowych zostało znacznie zmniejszonych i czy można się z nich wyciągnąć wnioski? Jeszcze wczoraj o 16:00 czasu PST rynki bukmacherskie nadal faworyzowały Hillary od 4 do 1. Uważam, że rynki bukmacherskie z prawdziwymi pieniędzmi na linii...
Wiele prac statystycznych wymaga doświadczenia z danymi na dużą skalę. Jakie są umiejętności statystyczne i obliczeniowe, które byłyby potrzebne do pracy z dużymi zestawami danych. Na przykład, co powiesz na budowanie modeli regresji z zestawem danych z 10 milionami
Tutaj @gung odnosi się do reguły .632+. Szybkie wyszukiwanie w Google nie daje łatwej do zrozumienia odpowiedzi na pytanie, co oznacza ta reguła i do jakiego celu jest używana. Czy ktoś mógłby wyjaśnić zasadę
To jest ogólne pytanie, które zostało tutaj zadane pośrednio wiele razy, ale nie ma jednej wiarygodnej odpowiedzi. Byłoby wspaniale mieć szczegółową odpowiedź na to pytanie. Dokładność , odsetek poprawnych klasyfikacji wśród wszystkich klasyfikacji, jest bardzo prostą i bardzo „intuicyjną” miarą,...
W pewnym sensie rozumiem, co oznacza „nadmierne dopasowanie”, ale potrzebuję pomocy, aby znaleźć prawdziwy przykład, który dotyczy nadmiernego dopasowania.
Dla danej macierzy danych (ze zmiennymi w kolumnach i punktami danych w wierszach) wydaje się, że A T A odgrywa ważną rolę w statystyce. Na przykład jest to ważna część analitycznego rozwiązania zwykłych najmniejszych kwadratów. Lub, w przypadku PCA, jego wektory własne są głównymi składnikami...
Obecnie prowadzę samouczek dogłębnej nauki Udacity. W lekcji 3 rozmawiają o zwoju 1x1. Ten splot 1x1 jest używany w module Google Inception. Mam problem ze zrozumieniem, czym jest splot 1x1. Widziałem również ten post przez Yann Lecun. Czy ktoś mógłby mi to
Statystyka jest wszędzie; powszechne stosowanie terminów statystycznych jest jednak często niejasne. Terminy prawdopodobieństwo i szanse są używane zamiennie w świeckim języku angielskim, pomimo ich dobrze zdefiniowanych i różnych wyrażeń matematycznych. Nie oddzielanie terminu prawdopodobieństwo...
Chciałbym, aby twoje przemyślenia na temat różnic między weryfikacją krzyżową a ładowaniem początkowym oszacowały błąd prognozowania. Czy lepiej działa w przypadku małych zestawów danych lub dużych zestawów
Niedawno zadałem pytanie dotyczące ogólnych zasad dotyczących przeglądu statystyk w artykułach . Chciałbym teraz zapytać o to, co szczególnie irytuje cię podczas recenzowania artykułu, czyli jaki jest najlepszy sposób, aby naprawdę zirytować sędziego statystycznego! Poproszę jeden przykład na...
Załóżmy, że mamy pewien zestaw treningowy ( x( i ), y( i ))(x(i),y(i))(x_{(i)}, y_{(i)}) dla i = 1 , … , mi=1,…,mi = 1, \dots, m . Załóżmy również, że uruchamiamy pewien rodzaj algorytmu uczenia nadzorowanego na zestawie szkoleniowym. Hipotezy są reprezentowane jako hθ( x( i )) = θ0+ θ1x( i ) 1+ ⋯...
W prostym modelu liniowym z jedną zmienną objaśniającą αi=β0+β1δi+ϵiαi=β0+β1δi+ϵi\alpha_i = \beta_0 + \beta_1 \delta_i + \epsilon_i Znaleźć że usunięcie termin przechwytujący znacznie poprawia dopasowanie (wartość R2R2R^2 przechodzi od 0,3 do 0,9). Jednak pojęcie przechwytywania wydaje się...
Mamy już wiele wątków oznaczonych jako wartości p, które ujawniają wiele nieporozumień na ich temat. Dziesięć miesięcy temu mieliśmy wątek o czasopiśmie psychologicznym, który „zakazał” wartości ppp , obecnie Amerykańskie Stowarzyszenie Statystyczne (2016) mówi, że dzięki naszej analizie „nie...
W szczególności mam na myśli współczynnik korelacji iloczynu