EDA to skrót od „Exploratory data analysis”. Opracowany przez Tukey w przeciwieństwie do Confirmatory Data Analysis lub CDA (formalne testowanie hipotez). EDA zazwyczaj zajmuje się opisywaniem danych liczbowo i graficznie, aby ułatwić zrozumienie danych i uzyskać nowe spostrzeżenia.
Lubię książkę G van Belle'a na temat statystycznych reguł kciuka oraz, w mniejszym stopniu, typowych błędów w statystyce (i jak ich uniknąć) autorstwa Phillipa I Gooda i Jamesa W. Hardina. Odnoszą się do typowych problemów podczas interpretacji wyników badań eksperymentalnych i obserwacyjnych oraz...
Czytałem książkę Tukeya „Analiza danych eksploracyjnych”. Książka, napisana w 1977 r., Podkreśla metody papierowe / ołówkowe. Czy istnieje bardziej „nowoczesny” następca, który bierze pod uwagę, że możemy teraz błyskawicznie wykreślić duże zbiory danych?
Jestem pewien, że wcześniej spotkałem taką funkcję w pakiecie R. Ale po rozległym Googlingu nigdzie nie mogę jej znaleźć. Funkcja, o której myślę, wygenerowała podsumowanie graficzne dla danej zmiennej, generując dane wyjściowe z niektórymi wykresami (histogram i być może wykres z pudełkiem i...
Wiele razy spotkałem się z nieformalnymi ostrzeżeniami przed „szpiegowaniem danych” (oto jeden zabawny przykład ) i myślę, że mam intuicyjne wyobrażenie z grubsza, co to oznacza i dlaczego może to stanowić problem. Z drugiej strony „eksploracyjna analiza danych” wydaje się być całkowicie godną...
Idea adaptacyjnej analizy danych polega na tym, że zmieniasz swój plan analizowania danych, gdy dowiadujesz się więcej na ten temat. W przypadku eksploracyjnej analizy danych (EDA) jest to ogólnie dobry pomysł (często szukasz nieprzewidzianych wzorców w danych), ale w przypadku badania...
Analiza danych eksploracyjnych (EDA) często prowadzi do eksploracji innych „ścieżek”, które niekoniecznie należą do początkowego zestawu hipotez. Taką sytuację mam w przypadku badań z ograniczoną wielkością próby i dużą ilością danych zebranych za pomocą różnych kwestionariuszy (dane...
Po co budować model predykcyjny przy użyciu technik uczenia maszynowego, po co przeprowadzać eksploracyjną analizę danych (EDA)? Czy można przejść od razu do generowania obiektów i budowania modeli? Jak ważne są statystyki opisowe stosowane w
Czytałem ten artykuł w Nature, w którym wyjaśniono niektóre błędy w kontekście analizy danych. Zauważyłem, że błąd teleobiektywu w Teksasie był szczególnie trudny do uniknięcia: Pułapkę poznawczą, która czeka podczas analizy danych, ilustruje bajka strzelca wyborowego w Teksasie: nieudolny...
Jestem studentem matematyki z niewielkim doświadczeniem w matematyce stosowanej. Od ostatniej jesieni chodzę na zajęcia z książki Caselli i Bergera i ukończyłem setki (230+) stron z problemami z ćwiczeniami w książce. W tej chwili jestem w rozdziale 10. Ponieważ jednak nie studiowałem statystyki...
Kiedy rozpoczynam analizę eksploracyjną dużego zbioru danych (wiele próbek, wiele zmiennych), często spotykam się z setkami zmiennych pochodnych i tonami różnych wykresów, i nie ma prawdziwego sposobu, aby śledzić, co się dzieje. Kod kończy się jak spaghetti, ponieważ od samego początku nie ma...
Jest to więc dziwne dopasowanie, choć naprawdę myślę, że jest dziwne dla każdej strony, więc pomyślałem, że wypróbuję to tutaj, wśród moich braci, którzy mają problemy z danymi. Przyszłam do epidemiologii i biostatystyki z biologii i nadal zdecydowanie mam pewne nawyki z tej dziedziny. Jednym z...
W statystyce ekologicznej istnieje wiele technik analizy danych eksploracyjnych danych wielowymiarowych. Są to tak zwane techniki „święceń”. Wiele z nich jest takich samych lub ściśle powiązanych z powszechnymi technikami w innych miejscach statystyki. Być może prototypowym przykładem byłaby...
Studiujemy uczenie maszynowe za pośrednictwem uczenia maszynowego: perspektywa probabilistyczna (Kevin Murphy). Chociaż tekst wyjaśnia teoretyczne podstawy każdego algorytmu, rzadko mówi, w którym przypadku algorytm jest lepszy, a kiedy to robi, nie mówi, jak powiedzieć, w którym przypadku...
Wykonuję eksploracyjną analizę danych (EDA) na zbiorze danych. Następnie wybiorę niektóre funkcje, aby przewidzieć zmienną zależną. Pytanie brzmi: czy powinienem wykonywać EDA tylko na moim zestawie danych szkoleniowych? A może powinienem dołączyć do zestawu danych szkoleniowych i testowych, a...
Pracuję nad projektem, który obejmuje 14 zmiennych i 345 000 obserwacji danych mieszkaniowych (takich jak rok budowy, powierzchnia, sprzedana cena, okręg zamieszkania itp.). Niepokoję się próbą znalezienia dobrych technik graficznych i bibliotek R, które zawierają niezłe techniki kreślenia. Już...
Mówiąc najprościej: czy są jakieś różnice w podejściu Bayesa i Frequentist do analizy danych eksploracyjnych? Nie znam żadnych nieodłącznych uprzedzeń w metodach EDA, ponieważ histogram jest histogramem, wykres rozrzutu jest wykresem rozrzutu itp., Ani nie znalazłem przykładów różnic w sposobie...
Jako ktoś, kto potrzebuje wiedzy statystycznej, ale nie jest formalnie wyszkolonym statystykiem, uważam, że pomocne jest posiadanie schematu blokowego (lub pewnego rodzaju drzewa decyzyjnego), które pomogą mi wybrać właściwe podejście do rozwiązania konkretnego problemu (np. „Czy potrzebujesz tego...
Niedawno zacząłem uczyć się uczenia maszynowego i analizy danych. Uderzam w ścianę z powodu potrzeby tworzenia i wyszukiwania dużych zestawów danych. Chciałbym pobrać dane, które gromadzę w życiu zawodowym i osobistym, i przeanalizować je, ale nie jestem pewien, jak najlepiej wykonać następujące...
Zamknięte. To pytanie jest nie na temat . Obecnie nie przyjmuje odpowiedzi. Chcesz poprawić to pytanie? Zaktualizuj pytanie, aby było tematem dotyczącym weryfikacji krzyżowej. Zamknięte 4 lata temu . Czy istnieje pakiet R, którego można użyć do zbadania,...
Badacze często używają dwóch miar, które mają bardzo podobne elementy i twierdzą, że mierzą różne rzeczy (np. „Zawsze martwię się, gdy jestem w pobliżu samochodów”; „Boję się samochodów”). Nazwijmy hipotetyczne miary miarą strachu przed samochodami i niepokojem ze skali samochodów. Interesuje mnie...