Inżynieria funkcji to proces wykorzystywania wiedzy domenowej na temat danych do tworzenia funkcji dla modeli uczenia maszynowego. Ten tag jest przeznaczony zarówno do teoretycznych, jak i praktycznych pytań dotyczących inżynierii funkcji, z wyłączeniem pytań o kod, który byłby niezwiązany z tematem w CrossValidated.
Jakie techniki są dostępne do zwijania (lub łączenia) wielu kategorii do kilku, w celu wykorzystania ich jako danych wejściowych (predyktorów) w modelu statystycznym? Rozważ zmienną taką jak kierunek studiów studenckich (dyscyplina wybrana przez studenta). Jest nieuporządkowany i kategoryczny,...
Próbuję lepiej zrozumieć splotowe sieci neuronowe, pisząc kod Pythona, który nie zależy od bibliotek (takich jak Convnet lub TensorFlow), i utknąłem w literaturze na temat wyboru wartości dla macierzy jądra, kiedy przeprowadzanie splotu obrazu. Próbuję zrozumieć szczegóły implementacji na etapie...
Mam 50 000 obrazów takich jak te dwa: Przedstawiają wykresy danych. Chciałem wydobyć funkcje z tych obrazów, więc użyłem kodu autoencodera dostarczonego przez Theano (deeplearning.net). Problem polega na tym, że te autoencodery wydają się nie uczyć żadnych funkcji. Próbowałem RBM i to...
Buduję model i myślę, że położenie geograficzne może być bardzo dobre w przewidywaniu zmiennej docelowej. Mam kod pocztowy każdego z moich użytkowników. Nie jestem jednak całkowicie pewien najlepszego sposobu włączenia kodu pocztowego jako funkcji predykcyjnej w moim modelu. Chociaż kod pocztowy...
Kiedy powinniśmy dyskretyzować / bin niezależne zmienne / cechy, a kiedy nie? Moje próby odpowiedzi na pytanie: Zasadniczo nie powinniśmy binować, ponieważ binowanie spowoduje utratę informacji. Binning faktycznie zwiększa stopień swobody modelu, więc możliwe jest spowodowanie nadmiernego...
Ostatnio dowiedziałem się, że jednym ze sposobów znajdowania lepszych rozwiązań problemów ML jest tworzenie funkcji. Można to zrobić, na przykład sumując dwie funkcje. Na przykład, mamy dwie cechy: „atak” i „obrona” jakiegoś bohatera. Następnie tworzymy dodatkową funkcję o nazwie „total”, która...
Pracując nad problemem regresji, zacząłem myśleć o przedstawieniu funkcji „dzień tygodnia”. Zastanawiam się, które podejście działałoby lepiej: jedna cecha; wartość 1/7 dla poniedziałku; 2/7 na wtorek ... 7 funkcji: (1, 0, 0, 0, 0, 0, 0) na poniedziałek; (0, 1, 0, 0, 0, 0, 0) na wtorek...
Jaka jest definicja „przestrzeni obiektów”? Na przykład czytając o SVM, czytam o „mapowaniu do przestrzeni funkcji”. Czytając o KOSZYKU, czytam o „partycjonowaniu w przestrzeń funkcji”. Rozumiem, co się dzieje, szczególnie w przypadku CART, ale myślę, że brakuje mi definicji. Czy istnieje ogólna...
Jak wiadomo wszystkim, inżynieria cech jest niezwykle ważna w uczeniu maszynowym, jednak znalazłem niewiele materiałów związanych z tym obszarem. Brałem udział w kilku konkursach w Kaggle i wierzę, że dobre cechy mogą być nawet ważniejsze niż dobry klasyfikator w niektórych przypadkach. Czy ktoś...
Więc bawiłem się SVM i zastanawiam się, czy to dobra rzecz: Mam zestaw funkcji ciągłych (od 0 do 1) i zestaw cech kategorycznych, które przekonwertowałem na zmienne obojętne. W tym konkretnym przypadku koduję datę pomiaru w zmiennej zastępczej: Są 3 okresy, z których mam dane i zarezerwowałem dla...
Wykonuję eksploracyjną analizę danych (EDA) na zbiorze danych. Następnie wybiorę niektóre funkcje, aby przewidzieć zmienną zależną. Pytanie brzmi: czy powinienem wykonywać EDA tylko na moim zestawie danych szkoleniowych? A może powinienem dołączyć do zestawu danych szkoleniowych i testowych, a...
Mam dwa zestawy danych (dane źródłowe i docelowe), które mają różny rozkład. Korzystam z MMD - czyli nieparametrycznego rozkładu odległości - aby obliczyć rozkład krańcowy między danymi źródłowym i docelowym. dane źródłowe, Xs dane docelowe, Xt adaptacja Matryca A * Dane prognozowane, Zs = A '*...
Powiedzmy, że chcę utworzyć klasyfikator logistyczny do filmu M. Moje funkcje to coś w rodzaju wieku osoby, płci, zawodu, lokalizacji. Więc zestaw treningowy wyglądałby tak: Wiek Płeć Zawód Lokalizacja Lubię (1) / Nie lubię (0) 23 M Oprogramowanie US 1 24 F Doctor UK 0 i tak dalej .... Teraz...
Mam matrycę terminów dokumentowych , a teraz chciałbym wyodrębnić słowa kluczowe dla każdego dokumentu za pomocą nadzorowanej metody uczenia się (SVM, Naive Bayes, ...). W tym modelu używam już Tf-idf, znacznika Pos, ...M.M.M Ale teraz zastanawiam się nad kolejnymi. Mam macierz z podobieństwami...
Inżynieria cech jest często ważnym elementem uczenia maszynowego (została wykorzystana bardzo często, aby wygrać Puchar KDD w 2010 r .). Uważam jednak, że większość technik inżynierii cech również zniszczyć jakiekolwiek intuicyjne znaczenie podstawowych funkcji lub są bardzo specyficzne dla...
Wikipedia podaje następujący przykład opisujący skrót funkcji ; ale mapowanie nie wydaje się spójne ze zdefiniowanym słownikiem Na przykład tonależy przekonwertować na 3zgodnie ze słownikiem, ale 1zamiast tego jest zakodowany . Czy w opisie jest błąd? Jak działa funkcja mieszania funkcji?...
Mam zestaw elementów które mogę opisać według cech. A zatem:XXXnnn xja: {doi 1,doi 2, ... ,doi n} ∣xja∈ Xxja:{doja1,doja2),…,dojan}∣xja∈Xx_i: \{c_{i1}, c_{i2}, \ldots, c_{in}\} \mid x_i \in X gdzie to (numeryczna) ocena dla elementu zgodnie z cechami . Moje elementy można więc oglądać jako...
Losowe funkcje Fouriera zapewniają przybliżenia funkcji jądra. Są używane do różnych metod jądra, takich jak SVM i procesy Gaussa. Dzisiaj próbowałem użyć implementacji TensorFlow i uzyskałem wartości ujemne dla połowy moich funkcji. Jak rozumiem, to nie powinno się zdarzyć. Wróciłem więc do...
Mam dostęp do bardzo dużego zestawu danych. Dane pochodzą z nagrań MEG osób słuchających fragmentów muzycznych z jednego z czterech gatunków. Dane są następujące: 6 tematów 3 eksperymentalne powtórzenia (epoki) 120 prób na epokę 8 sekund danych na próbę przy 500 Hz (= 4000 próbek) z 275 kanałów...
Moim celem jest analiza dzienników sieciowych (np. Apache, syslog, audyt bezpieczeństwa Active Directory itd.) Przy użyciu wykrywania klastrów / anomalii do celów wykrywania włamań. Z dzienników mam wiele pól tekstowych, takich jak adres IP, nazwa użytkownika, nazwa hosta, port docelowy, port...