Jakie są typowe / najlepsze praktyki obsługi danych dotyczących czasu dla aplikacji uczenia maszynowego? Na przykład jeśli w zestawie danych znajduje się kolumna ze znacznikiem czasu zdarzenia, takim jak „2014-05-05”, w jaki sposób można wyodrębnić przydatne funkcje z tej kolumny, jeśli takie...
czytałem trochę o LSTM i ich zastosowaniu do szeregów czasowych i było to interesujące, ale jednocześnie trudne. Jedną rzeczą, z którą miałem trudności ze zrozumieniem, jest podejście do dodawania dodatkowych funkcji do już istniejącej listy funkcji szeregów czasowych. Zakładając, że masz zestaw...
Często czytam, że w przypadku modeli Deep Learning zwykłą praktyką jest stosowanie mini-partii (zazwyczaj małej, 32/64) w kilku epokach treningowych. Naprawdę nie mogę pojąć przyczyny tego. O ile się nie mylę, wielkość partii to liczba instancji treningowych widocznych przez model podczas iteracji...
Jestem R programistą języka. Należę również do grupy osób, które są uważane za naukowców danych, ale wywodzą się z dyscyplin naukowych innych niż CS. Działa to dobrze w mojej roli naukowca danych, jednak rozpoczynając karierę Ri mając podstawową znajomość innych języków skryptowych /...
Próbuję zrozumieć kluczowe różnice między GBM a XGBOOST. Próbowałem google go, ale nie znalazłem dobrych odpowiedzi wyjaśniających różnice między dwoma algorytmami i dlaczego xgboost prawie zawsze działa lepiej niż GBM. Co sprawia, że XGBOOST jest tak
Mam wiele zestawów danych NFL, które moim zdaniem mogą być dobrym projektem pobocznym, ale jeszcze nic z nimi nie zrobiłem. Po wejściu na tę stronę przypomniałem sobie algorytmy uczenia maszynowego i zastanawiam się, jak dobrze potrafią przewidywać wyniki meczów piłkarskich, a nawet następną...
Czytałem ten post na blogu zatytułowany: Świat finansowy chce otworzyć czarne skrzynki AI , w których autor wielokrotnie określa modele ML jako „czarne skrzynki”. Podobną terminologię zastosowano w kilku miejscach w odniesieniu do modeli ML. Dlaczego tak jest To nie jest tak, że inżynierowie ML...
Niedawno na zajęciach uczenia maszynowego u profesora Oriola Pujola z UPC / Barcelona opisał najczęstsze algorytmy, zasady i koncepcje do wykorzystania w szerokim zakresie zadań związanych z uczeniem maszynowym. Tutaj dzielę się nimi z tobą i pytam: czy istnieją jakieś kompleksowe ramy...
Uruchomiłem model xgboost. Nie wiem dokładnie, jak interpretować wynik xgb.importance. Jakie jest znaczenie wzmocnienia, ochrony i częstotliwości i jak je interpretujemy? Co również oznaczają Split, RealCover i RealCover%? Mam tutaj dodatkowe parametry Czy są jakieś inne parametry, które mogą...
Czytałem gdzieś, że jeśli mamy funkcje, które są zbyt skorelowane, musimy je usunąć, ponieważ może to pogorszyć model. Oczywiste jest, że skorelowane funkcje oznaczają, że przynoszą te same informacje, więc logiczne jest usunięcie jednej z nich. Ale nie rozumiem, dlaczego może to pogorszyć...
Zwyczajowo użytkownicy różnych społeczności cytują zabawne rzeczy na temat swoich dziedzin. Dzielenie się zabawnymi informacjami o uczeniu maszynowym, głębokim uczeniu się, nauce danych i rzeczach, z którymi codziennie się zmagasz, może być
Załóżmy, że zbuduję NN do klasyfikacji. Ostatnia warstwa to gęsta warstwa z aktywacją softmax. Mam pięć różnych klas do sklasyfikowania. Załóżmy, że dla jednego przykładu szkolenia,true label są [1 0 0 0 0]przewidywania [0.1 0.5 0.1 0.1 0.2]. Jak obliczyć utratę entropii krzyżowej dla tego...
Kiedy mówię „dokument”, mam na myśli strony internetowe, takie jak artykuły z Wikipedii i wiadomości. Wolę odpowiedzi podające albo waniliowe leksykalne wskaźniki odległości, albo najnowocześniejsze semantyczne mierniki odległości, z silniejszą preferencją dla tych...
Ja nadal mylić o różnicę między Densei TimeDistributedDensena Keraschociaż istnieją już pewne podobne pytania zadawane tutaj i tutaj . Ludzie dużo dyskutują, ale nie uzgodniono wspólnie wniosków. I chociaż tutaj @fchollet stwierdził, że: TimeDistributedDensestosuje tę samą Dense(w pełni...
Dlaczego warto używać softmax zamiast standardowej normalizacji? W obszarze komentarza górnej odpowiedzi na to pytanie @Kilian Batzner podniósł 2 pytania, które również bardzo mnie dezorientują. Wydaje się, że nikt nie wyjaśnia tego, oprócz korzyści liczbowych. Dostaję powody, dla których...
Mam problem z dużymi danymi z dużym zestawem danych (weźmy na przykład 50 milionów wierszy i 200 kolumn). Zestaw danych składa się z około 100 kolumn numerycznych i 100 kolumn kategorycznych oraz kolumny odpowiedzi reprezentującej problem klasy binarnej. Liczność każdej z kolumn jakościowych jest...
W zadaniach uczenia maszynowego często tasuje się dane i normalizuje je. Cel normalizacji jest jasny (dla tego samego zakresu wartości cech). Ale po wielu zmaganiach nie znalazłem żadnego cennego powodu do przetasowania danych. Przeczytałem tutaj ten post omawiający, kiedy musimy tasować dane, ale...
Wydaje mi się, że funkcja VVV może być łatwo wyrażona przez funkcję QQQ a zatem funkcja VVV wydaje mi się zbędna. Jednak jestem nowy w uczeniu się przez wzmacnianie, więc chyba coś poszło nie tak. Definicje Q- i V-learning są w kontekście procesów decyzyjnych Markowa . MDP jest 5-krotny...
W kontekście uczenia maszynowego widziałem, że termin „ Prawda naziemna” jest często używany. Dużo szukałem i znalazłem następującą definicję w Wikipedii : W uczeniu maszynowym termin „podstawowa prawda” odnosi się do dokładności klasyfikacji zestawu szkoleniowego dla nadzorowanych technik...
Mam problem z klasyfikacją około 1000 pozytywnych i 10000 negatywnych próbek w zestawie treningowym. Tak więc ten zestaw danych jest dość niezrównoważony. Zwykły losowy las próbuje tylko oznaczyć wszystkie próbki testowe jako klasę większości. Oto kilka dobrych odpowiedzi na temat podpróbkowania i...