Eksploracja danych wykorzystuje metody sztucznej inteligencji w kontekście bazy danych do odkrywania nieznanych wcześniej wzorców. W związku z tym metody te zwykle nie są nadzorowane. Jest ściśle powiązany, ale nie identyczny z uczeniem maszynowym. Kluczowymi zadaniami eksploracji danych są analiza skupień, wykrywanie wartości odstających i wyszukiwanie reguł asocjacyjnych.
K-średnich jest szeroko stosowaną metodą analizy skupień. W moim rozumieniu ta metoda NIE wymaga ŻADNYCH założeń, tj. Podaj mi zbiór danych i wcześniej określoną liczbę klastrów, k, i po prostu stosuję ten algorytm, który minimalizuje sumę błędów kwadratu (SSE), wewnątrz klastra do kwadratu...
Jaka jest różnica między eksploracją danych, statystykami, uczeniem maszynowym i sztuczną inteligencją? Czy słusznie byłoby powiedzieć, że są to 4 pola próbujące rozwiązać bardzo podobne problemy, ale o różnych podejściach? Co dokładnie mają ze sobą wspólnego i czym się różnią? Jeśli istnieje...
Czytam książkę do eksploracji danych, w której wspomniano o statystyce Kappa jako sposobie oceny wydajności prognozowania klasyfikatorów. Jednak po prostu nie mogę tego zrozumieć. Sprawdziłem także Wikipedię, ale to też nie pomogło: https://en.wikipedia.org/wiki/Cohen's_kappa . W jaki sposób kappa...
Losowe lasy są uważane za czarne skrzynki, ale ostatnio zastanawiałem się, jaką wiedzę można uzyskać z losowego lasu? Najbardziej oczywistą rzeczą jest znaczenie zmiennych, w najprostszym wariancie można to zrobić po prostu przez obliczenie liczby wystąpień zmiennej. Drugą rzeczą, o której...
Od dłuższego czasu interesuję się eksploracją danych i uczeniem maszynowym , częściowo dlatego, że specjalizowałem się w tej dziedzinie w szkole, ale także dlatego, że jestem o wiele bardziej podekscytowany próbą rozwiązania problemów, które wymagają więcej przemyślenia niż tylko programowania...
Widziałem gdzieś, że klasyczne odległości (takie jak odległość euklidesowa) stają się słabo dyskryminujące, gdy mamy wielowymiarowe i rzadkie dane. Dlaczego? Czy masz przykład dwóch rzadkich wektorów danych, w których odległość euklidesowa nie działa dobrze? W takim przypadku, jakiego podobieństwa...
Dla badań symulacyjnych mam do generowania zmiennych losowych, które wykazują prefined (populacji) korelację do istniejącej zmiennej .YYY I spojrzał w Ropakowaniach copula, a CDVinektóre mogą powodować przypadkowe wielowymiarowych rozkładów danej struktury zależności. Nie można jednak naprawić...
Wydaje się, że eksploracja danych i uczenie maszynowe stały się tak popularne, że teraz prawie każdy student CS wie o klasyfikatorach, klastrowaniu, statystycznym NLP ... itd. Wygląda więc na to, że znalezienie eksploratorów danych nie jest obecnie trudną sprawą. Moje pytanie brzmi: jakie...
Gdy próbujesz dopasować modele do dużego zestawu danych, powszechną wskazówką jest podzielenie danych na trzy części: szkolenie, sprawdzanie poprawności i testowanie zestawu danych. Wynika to z faktu, że modele zwykle mają trzy „poziomy” parametrów: pierwszy „parametr” to klasa modelu (np. SVM,...
Czy ktoś ma jakieś doświadczenie z oprogramowaniem (najlepiej darmowym, najlepiej open source), które zrobi zdjęcie danych wykreślonych na współrzędnych kartezjańskich (standardowy, codzienny wykres) i wyodrębni współrzędne punktów wykreślonych na wykresie? Zasadniczo jest to problem eksploracji...
Lub bardziej „czy to będzie”? Big Data sprawia, że statystyki i odpowiednia wiedza stają się tym ważniejsze, ale wydaje się, że nie uwzględniają teorii próbkowania. Widziałem ten szum wokół „Big Data” i nie mogę się dziwić, że „dlaczego” chciałbym wszystko analizować ? Czy nie było powodu, aby...
Wiem, może to zabrzmieć nie na temat, ale wysłuchaj mnie. W Stack Overflow i tutaj otrzymujemy głosy na posty, wszystko to jest przechowywane w formie tabelarycznej. Na przykład: post id identyfikator wyborcy typ głosowania datetime ------- -------- --------- -------- 10 1 2 2000-1-1 10:00:01...
Studiowałem algorytmy dla grupowania danych (uczenie bez nadzoru): EM i k-średnich. Cały czas czytam: k-średnich jest wariantem EM, przy założeniu, że klastry są kuliste. Czy ktoś może wyjaśnić powyższe zdanie? Nie rozumiem, co oznaczają sfery i jak kmeany i EM są powiązane, ponieważ jeden...
Czy w odniesieniu do uczenia się bez nadzoru (takiego jak klastrowanie) istnieją jakieś wskaźniki pozwalające ocenić
Po prostu moczyłem stopy w statystykach, więc przepraszam, jeśli to pytanie nie ma sensu. Użyłem modeli Markowa do przewidywania stanów ukrytych (nieuczciwe kasyna, rzuty kostką itp.) Oraz sieci neuronowych do badania kliknięć użytkowników w wyszukiwarce. Oba miały ukryte stany, które próbowaliśmy...
„Big data” jest wszędzie w mediach. Wszyscy mówią, że „duże zbiory danych” są najważniejsze w 2012 r., Np. Sondaż KDNuggets na gorące tematy w 2012 r . Mam jednak głębokie obawy. W przypadku dużych zbiorów danych wydaje się, że wszyscy są szczęśliwi, gdy tylko coś wyciągną. Ale czy nie naruszamy...
Przeszukałem wiele stron internetowych, aby dowiedzieć się, co dokładnie zrobi winda? Wszystkie znalezione przeze mnie wyniki dotyczyły używania go w aplikacjach innych niż samo. Wiem o funkcji wsparcia i zaufania. Z Wikipedii, w eksploracji danych, lift jest miarą wydajności modelu w...
Patrzę na niektóre slajdy wykładowe na kursie danych, który można znaleźć tutaj: https://github.com/cs109/2015/blob/master/Lectures/01-Introduction.pdf Niestety nie widzę wideo z tego wykładu iw pewnym momencie na slajdzie prezenter ma następujący tekst: Niektóre kluczowe zasady Myśl jak...
Drodzy wszyscy - zauważyłem coś dziwnego, czego nie potrafię wyjaśnić, prawda? Podsumowując: ręczne podejście do obliczania przedziału ufności w modelu regresji logistycznej oraz funkcja R confint()dają różne wyniki. Przechodziłem przez regresję logistyczną stosowaną przez Hosmer & Lemeshow...
Jestem ciekaw powtarzalnych procedur, które mogą być wykorzystane do odkrywania postaci funkcyjnej funkcji y = f(A, B, C) + error_term, gdzie jest mój tylko wejście jest zbiorem obserwacji ( y, A, Bi C). Należy pamiętać, że funkcjonalna forma fjest nieznana. Rozważ następujący zestaw danych: AA...