Od jakiegoś czasu pracuję w NLTK, używając Pythona. Problem, z którym się zmagam, polega na tym, że nie ma pomocy w szkoleniu NER w NLTK z moimi niestandardowymi danymi. Wykorzystali MaxEnt i wyszkolili go na korpusie ACE. Dużo szukałem w Internecie, ale nie mogłem znaleźć sposobu, który mógłby...
W dzisiejszych czasach coraz częściej używa się terminów takich jak „nauka danych” i „naukowiec danych”. Wiele firm zatrudnia „naukowca danych”. Ale nie sądzę, że to zupełnie nowa praca. Dane istniały w przeszłości i ktoś musiał się nimi zajmować. Wydaje mi się, że termin „naukowiec danych” staje...
Czy ktoś wie, czy można zaimportować duży zestaw danych do Amazon S3 z adresu URL? Zasadniczo chcę uniknąć pobierania dużego pliku, a następnie ponownego ładowania go do S3 za pośrednictwem portalu internetowego. Chcę tylko podać adres URL pobierania do S3 i poczekać, aż ściągną go do swojego...
Chcę zbadać zachowanie linii lotniczych w zakresie ustalania cen - w szczególności sposób, w jaki linie lotnicze reagują na ceny konkurentów. Ponieważ powiedziałbym, że moja wiedza na temat bardziej złożonych analiz jest dość ograniczona, zrobiłem głównie wszystkie podstawowe metody, aby zebrać...
Załóżmy, że mam pięć zestawów, które chciałbym połączyć. Rozumiem, że opisana tutaj technika SimHashing: https://moultano.wordpress.com/2010/01/21/simple-simhashing-3kbzhsxyg4467-6/ może przynieść trzy klastry ( {A}, {B,C,D}i {E}), na przykład, gdy jego wyniki: A -> h01 B -> h02 C ->...
Mam kreślone na importances cechą w lasy losowe z scikit-learn . W jaki sposób mogę wykorzystać informacje o działce do usunięcia funkcji w celu poprawy prognozowania przy użyciu losowych lasów? Tj. Jak na podstawie informacji o działce stwierdzić, czy funkcja jest bezużyteczna, a nawet gorzej...
Korzystałem z tej biblioteki do podstawowej budowy i analizy sieci neuronowych. Nie obsługuje jednak budowania wielowarstwowych sieci neuronowych itp. Chciałbym wiedzieć o bibliotekach do tworzenia zaawansowanych sieci neuronowych i głębokiego uczenia w
Potrzebuję pomocy na temat tego, jaki powinien być mój następny krok w projektowanym algorytmie. Ze względu na NDA nie mogę wiele ujawnić, ale postaram się być ogólny i zrozumiały. Zasadniczo po kilku krokach w algorytmach mam to: Dla każdego mojego klienta i wydarzeń, które robią w ciągu...
Znam kogoś, kto pracuje nad projektem, który obejmuje przyjmowanie plików danych bez względu na kolumny lub typy danych. Zadanie polega na pobraniu pliku z dowolną liczbą kolumn i różnych typów danych oraz wyjściowych statystyk podsumowujących dane liczbowe. Nie ma jednak pewności, jak dynamicznie...
Zastanawiałem się nad możliwością klasyfikacji dźwięku (na przykład dźwięków zwierząt) za pomocą spektrogramów. Chodzi o to, aby użyć głębokich splotowych sieci neuronowych do rozpoznania segmentów w spektrogramie i uzyskania jednej (lub wielu) etykiet klasy. To nie jest nowy pomysł (patrz na...
Mam dwie ramki danych df1 i df2 i chciałbym je połączyć w jedną ramkę danych. To tak, jakby df1 i df2 zostały utworzone przez podzielenie pojedynczej ramki danych pionowo w dół na środku, jak rozerwanie kawałka papieru zawierającego listę na pół, tak aby połowa kolumn była na jednym papierze, a...
tło: w xgboost z ttt próbach iteracji w celu dopasowania do drzewa fatfatf_t w stosunku do wszystkich nnn przykładach minimalizuje obiektywnego: ∑i = 1n[ gjafat( xja) + 12)hjafa2)t( xja) ]∑ja=1n[soljafat(xja)+12)hjafat2)(xja)]\sum_{i=1}^n[g_if_t(x_i) + \frac{1}{2}h_if_t^2(x_i)] gdzie są...
Dla zabawy buduję zdalnie sterowany samochód. Używam Raspberry Pi jako komputera pokładowego; i używam różnych wtyczek, takich jak kamera Raspberry Pi i czujniki odległości, aby uzyskać informacje zwrotne na temat otoczenia samochodu. Używam OpenCV do przekształcania klatek wideo w tensory i używam...
Mam problem z klasyfikacją bardzo niezrównoważonych danych. Przeczytałem, że nadmierne i niepełne próbkowanie, a także zmiana kosztu niedostatecznie reprezentowanych wyników kategorycznych doprowadzą do lepszego dopasowania. Zanim to nastąpi, tensorflow klasyfikuje każde wejście jako grupę...
Rozpoczynam projekt, w którym zadaniem jest identyfikacja typów tenisówek na podstawie zdjęć. Obecnie czytam implementacje TensorFlow i Torch . Moje pytanie brzmi: ile zdjęć na klasę jest wymaganych, aby osiągnąć rozsądną klasyfikację?
Próbuję zaimplementować ten artykuł na zestawie obrazów medycznych. Robię to w Keras. Sieć zasadniczo składa się z 4 warstw konwekcyjnych i maksymalnych pul, po których następuje w pełni połączona warstwa i miękki klasyfikator maksymalny. O ile wiem, postępowałem zgodnie z architekturą wymienioną...
Mam ramkę danych pand z mnóstwem kategorycznych kolumn, które planuję wykorzystać w drzewie decyzyjnym w scikit-learn. Muszę przekonwertować je na wartości liczbowe (nie jeden gorący wektor). Mogę to zrobić za pomocą LabelEncoder z scikit-learn. Problem polega na tym, że jest ich zbyt wiele i nie...
W tej chwili gram z Restricted Boltzmann Machines i skoro już to robię, chciałbym spróbować sklasyfikować za nim ręcznie pisane cyfry. Model, który stworzyłem, jest teraz dość fantazyjnym modelem generatywnym, ale nie wiem, jak dalej z nim iść. W tym artykule autor mówi, że po stworzeniu dobrego...
Rozważ ramkę danych typu pyspark składającą się z elementów „zerowych” i elementów numerycznych. Zasadniczo elementy liczbowe mają różne wartości. Jak można zastąpić wszystkie wartości liczbowe ramki danych stałą wartością liczbową (na przykład wartością 1)? Z góry dziękuję! Przykład ramki danych...
Mam w Keras model splotowy + LSTM, podobny do tego (ref 1), którego używam do konkursu Kaggle. Architektura jest pokazana poniżej. Przeszkoliłem go na moim oznaczonym zestawie 11000 próbek (dwie klasy, początkowa częstość wynosi ~ 9: 1, więc zwiększyłem próbkę 1 do około 1/1) dla 50 epok z 20%...