Wydaje się, że scikit uczy się przewidywania probabilistycznego zamiast głosowania większością za techniką agregacji modelu bez wyjaśnienia, dlaczego (1.9.2.1. Losowe lasy). Czy istnieje jasne wyjaśnienie, dlaczego? Czy jest też dobry artykuł lub artykuł przeglądowy na temat różnych technik...
Próbuję dowiedzieć się, czy moje rozumienie zagnieżdżonej weryfikacji krzyżowej jest prawidłowe, dlatego napisałem ten zabawkowy przykład, aby sprawdzić, czy mam rację: import operator import numpy as np from sklearn import cross_validation from sklearn import ensemble from sklearn.datasets...
Oto mój kod metody wyboru funkcji w Pythonie: from sklearn.svm import LinearSVC from sklearn.datasets import load_iris iris = load_iris() X, y = iris.data, iris.target X.shape (150, 4) X_new = LinearSVC(C=0.01, penalty="l1", dual=False).fit_transform(X, y) X_new.shape (150, 3) Ale po uzyskaniu...
W moim programie muszę uruchomić N osobnych wątków, każdy z własnym RNG, który służy do próbkowania dużego zestawu danych. Muszę być w stanie zaszczepić cały ten proces jedną wartością, aby móc odtwarzać wyniki. Czy wystarczy po prostu sekwencyjnie zwiększać ziarno dla każdego indeksu? Obecnie...
Postępuję zgodnie z samouczkiem mens Tensorflow ( https://github.com/tensorflow/tensorflow/blob/master/tensorflow/examples/tutorials/mnist/mnist_softmax.py ). Samouczek używa tf.train.Optimizer.minimize(konkretnie tf.train.GradientDescentOptimizer). Nigdzie nie widzę żadnych argumentów do...
Usiłuję ocenić wydajność klastrowania. Czytałem dokumentację skiscit-learn dotyczącą metryk . Nie rozumiem różnicy między ARI a AMI. Wydaje mi się, że robią to samo na dwa różne sposoby. Cytowanie z dokumentacji: Biorąc pod uwagę znajomość podstawowych przypisań do klasy prawdy label_true i...
Mam ramkę danych w pythonie, w której muszę znaleźć wszystkie zmienne jakościowe. Sprawdzanie typu kolumny nie zawsze działa, ponieważ inttyp może być również kategoryczny. Dlatego szukam pomocy w znalezieniu właściwej metody testowania hipotez, aby ustalić, czy kolumna jest kategoryczna, czy nie....
Obecnie badam wizualizację danych wielowymiarowych za pomocą t-SNE. Mam pewne dane z mieszanymi zmiennymi binarnymi i ciągłymi, a dane wydają się zbyt łatwo grupować dane binarne. Oczywiście jest to oczekiwane w przypadku danych skalowanych (od 0 do 1): odległość euklidesowa zawsze będzie...
Zobacz tę stronę w Wikipedii: http://en.wikipedia.org/wiki/Binomial_proportion_confidence_interval#Agresti-Coull_Interval Aby uzyskać przedział Agresti-Coull, należy obliczyć percentyl rozkładu normalnego o nazwie . Jak obliczyć percentyl? Czy jest gotowa funkcja, która robi to w Wolfram...
Sprawdzam obecność odpowiedzi w pomiarach sygnałów komórkowych. Najpierw zastosowałem algorytm wygładzania (Hanning) do szeregów czasowych danych, a następnie wykryłem piki. Dostaję to: Gdybym chciał, aby wykrycie odpowiedzi było nieco bardziej obiektywne niż „tak, widzisz wzrost w ciągłym...
Mam pewne dane szeregów czasowych, w których mierzoną zmienną są dyskretne dodatnie liczby całkowite (liczby). Chcę sprawdzić, czy z czasem (lub nie) występuje trend wzrostowy. Zmienna niezależna (x) jest w zakresie 0-500, a zmienna zależna (y) jest w zakresie 0-8. Myślałem, że odpowiem na to,...
Chciałbym zakodować klastry kmeans w pythonie przy użyciu pand i scikit learning. Aby wybrać dobre k, chciałbym zakodować statystykę luk z Tibshirani i in. 2001 ( pdf ). Chciałbym wiedzieć, czy mogę użyć wyniku bezwładności scikit i dostosować formułę statystyki szczeliny bez konieczności...
Widziałem ten post w Moz, który przedstawiał segmentowy lejek marketingowy: Tego rodzaju rzeczy miałyby w mojej pracy dużą wartość. Nie mam pojęcia, jak wizualizować nieprzetworzone dane, aby pokazać taki segmentowy lejek. Chodzi o to, że potencjalni klienci pochodzą z różnych źródeł (których...
W jakimś celu muszę wygenerować losowe liczby (dane) z rozkładu „nachylonego równomiernie”. „Nachylenie” tego rozkładu może się zmieniać w rozsądnych odstępach czasu, a następnie mój rozkład powinien zmienić się z jednorodnego na trójkątny w zależności od nachylenia. Oto moje...
Jakie są najprostsze testy sezonowości dla szeregów czasowych? Mówiąc bardziej konkretnie, chcę sprawdzić, czy in specific time series the seasonal componentma znaczenie. Jakie są zalecane pakiety w Pythonie /
Weź 20 losowych punktów w przestrzeni 10 000 wymiarów z każdą współrzędną id matematyczną . Podziel je na 10 par („pary”) i dodaj średnią każdej pary („dziecka”) do zestawu danych. Następnie wykonaj PCA na uzyskanych 30 punktach i wykreśl PC1 vs PC2.N(0,1)N(0,1)\mathcal N(0,1) Dzieje się coś...
Mam dane równoważne z: shopper_1 = ['beer', 'eggs', 'water',...] shopper_2 = ['diapers', 'beer',...] ... Chciałbym przeprowadzić analizę tego zestawu danych, aby uzyskać macierz korelacji, która miałaby implikację podobną do: jeśli kupiłeś x, prawdopodobnie kupisz y. Używając Pythona (a może...
Chcę przeprowadzić analizę sentymentu na tekście, przejrzałem kilka artykułów, niektóre z nich używają „Naive Bayes”, a inne to „Recurrent Neural Network (LSTM)” , z drugiej strony widziałem bibliotekę Pythona do analizy sentymentów, która jest nltk. Używa „Naive Bayes”. Czy ktoś może wyjaśnić,...
Rozumiem, jak działa kowariancja, że skorelowane dane powinny mieć nieco wysoką kowariancję. Natknąłem się na sytuację, w której moje dane wyglądają na skorelowane (jak pokazano na wykresie punktowym), ale kowariancja jest bliska zeru. Jak kowariancja danych może wynosić zero, jeśli są one...