Pytania oznaczone «hyperparameter»

77

Przykład: regresja LASSO z użyciem glmnet dla wyniku binarnego

Zaczynam bawić sięglmnet za pomocą regresji LASSO, gdzie moje wyniki zainteresowania są dychotomiczne. Poniżej utworzyłem małą próbną ramkę danych: age <- c(4, 8, 7, 12, 6, 9, 10, 14, 7) gender <- c(1, 0, 1, 1, 1, 0, 1, 0, 0) bmi_p <- c(0.86, 0.45, 0.99, 0.84, 0.85, 0.67, 0.91, 0.29,...

r self-study lasso regression interpretation anova statistical-significance survey conditional-probability independence naive-bayes graphical-model r time-series forecasting arima r forecasting exponential-smoothing bootstrap outliers r regression poisson-distribution zero-inflation genetic-algorithms machine-learning feature-selection cart categorical-data interpretation descriptive-statistics variance multivariate-analysis covariance-matrix r data-visualization generalized-linear-model binomial proportion pca matlab svd time-series correlation spss arima chi-squared curve-fitting text-mining zipf probability categorical-data distance group-differences bhattacharyya regression variance mean data-visualization variance clustering r standard-error association-measure somers-d normal-distribution integral numerical-integration bayesian clustering python pymc nonparametric-bayes machine-learning svm kernel-trick hyperparameter poisson-distribution mean continuous-data univariate missing-data dag python likelihood dirichlet-distribution r anova hypothesis-testing statistical-significance p-value rating data-imputation censoring threshold

41

Praktyczna optymalizacja hiperparametrów: wyszukiwanie losowe vs. siatka

Obecnie przechodzę przez Losowe wyszukiwanie Bengio i Bergsta w celu optymalizacji hiperparametrów [1], w którym autorzy twierdzą, że losowe wyszukiwanie jest bardziej wydajne niż wyszukiwanie siatkowe w osiąganiu w przybliżeniu jednakowej wydajności. Moje pytanie brzmi: czy ludzie tutaj zgadzają...

machine-learning hyperparameter optimization

38

Wytyczna wyboru hiperparametrów w głębokim uczeniu się

Szukam artykułu, który mógłby pomóc w wytyczeniu sposobu wyboru hiperparametrów głębokiej architektury, takich jak piętrowe auto-kodery lub sieci głęboko wierzące. Istnieje wiele hiperparametrów i jestem bardzo zdezorientowany, jak je wybrać. Również stosowanie weryfikacji krzyżowej nie jest opcją,...

machine-learning deep-learning deep-belief-networks hyperparameter

24

Jaki jest powód, dla którego Adam Optimizer jest uważany za odporny na wartość swoich hiper parametrów?

Czytałem o optymalizatorze Adama do głębokiego uczenia się i natknąłem się na następujące zdanie w nowej książce Deep Learning autorstwa Bengio, Goodfellow i Courville: Adam jest ogólnie uważany za dość odpornego na wybór hiper parametrów, chociaż szybkość uczenia się czasami trzeba zmienić w...

neural-networks deep-learning optimization hyperparameter adam

21

Naturalna interpretacja hiperparametrów LDA

Czy ktoś może wyjaśnić, jaka jest naturalna interpretacja hiperparametrów LDA? ALPHAi BETAsą parametrami dystrybucji Dirichleta odpowiednio dla (na dokument) tematu i (na temat) dystrybucji słów. Jednak czy ktoś może wyjaśnić, co to znaczy wybrać większe wartości tych hiperparametrów w porównaniu...

interpretation prior topic-models hyperparameter

20

Jak złe jest strojenie hiperparametrów poza walidacją krzyżową?

Wiem, że przeprowadzanie strojenia hiperparametrów poza walidacją krzyżową może prowadzić do stronniczo wysokich oszacowań zewnętrznej ważności, ponieważ zestaw danych używany do mierzenia wydajności jest taki sam, jak użyty do dostrojenia funkcji. Zastanawiam się, jak poważny jest to problem ....

cross-validation validation hyperparameter

19

Co w nazwie: hiperparametry

Zatem w rozkładzie normalnym mamy dwa parametry: średnią i wariancję . W książce Rozpoznawanie wzorców i uczenie maszynowe nagle pojawia się hiperparametr w terminach regularyzacji funkcji błędu.σ 2 λμμ\muσ2σ2\sigma^2λλ\lambda Co to są hiperparametry? Dlaczego są tak nazwani? W jaki sposób...

terminology definition parameterization hyperparameter

19

Czy strojenie hiperparametrów na próbce zestawu danych jest złym pomysłem?

Mam zestaw danych zawierający 140000 przykładów i 30 funkcji, dla których uczę kilku klasyfikatorów do klasyfikacji binarnej (SVM, regresja logistyczna, losowy las itp.) W wielu przypadkach dostrajanie hiperparametrów w całym zbiorze danych przy użyciu wyszukiwania siatkowego lub losowego jest...

machine-learning cross-validation hyperparameter

18

Zalety optymalizacji roju cząstek w porównaniu z optymalizacją Bayesa do strojenia hiperparametrów?

Istnieją znaczące współczesne badania dotyczące optymalizacji bayesowskiej (1) dostrajania hiperparametrów ML. Motywacją do kierowania jest tutaj minimalna liczba punktów danych, aby dokonywać świadomych wyborów, które punkty warto wypróbować (wywołania funkcji celu są drogie, więc zmniejszenie ich...

hyperparameter bayesian-optimization optunity

17

Jak uzyskać hiper parametry w sprawdzaniu poprawności zagnieżdżonej?

Przeczytałem następujące posty dotyczące sprawdzania poprawności krzyżowania zagnieżdżonego i wciąż nie jestem w 100% pewien, co mam zrobić z wyborem modelu za pomocą sprawdzania poprawności krzyżowania zagnieżdżonego: Zagnieżdżone sprawdzanie poprawności wyboru modelu Wybór modelu i walidacja...

cross-validation scikit-learn hyperparameter

17

Jak zbudować ostateczny model i dostroić próg prawdopodobieństwa po zagnieżdżonej weryfikacji krzyżowej?

Po pierwsze, przepraszam za opublikowanie pytania, które zostało już obszernie omówione tutaj , tutaj , tutaj , tutaj , tutaji do odtworzenia starego tematu. Wiem, że @DikranMarsupial pisał na ten temat obszernie w postach i gazetach, ale nadal jestem zdezorientowany i sądząc po liczbie podobnych...

machine-learning cross-validation model-selection glmnet hyperparameter

15

Jak należy zamówić dobór funkcji i optymalizację hiperparametrów w potoku uczenia maszynowego?

Moim celem jest klasyfikacja sygnałów z czujników. Dotychczasowe pojęcie mojego rozwiązania to: i) Funkcje inżynieryjne z surowego sygnału ii) Wybieranie odpowiednich funkcji za pomocą ReliefF i podejścia klastrowego iii) Zastosuj NN, Losowy Las i SVM Jestem jednak uwięziony w dylemacie. W ii) i...

feature-selection hyperparameter optimization

14

Strojenie hiper parametrów: Wyszukiwanie losowe a optymalizacja Bayesa

Wiemy zatem, że wyszukiwanie losowe działa lepiej niż wyszukiwanie siatki, ale nowszym podejściem jest optymalizacja Bayesa (przy użyciu procesów gaussowskich). Sprawdziłem porównanie między nimi i nic nie znalazłem. Wiem, że w cs231n Stanforda wspominają tylko o losowym wyszukiwaniu, ale możliwe...

bayesian hyperparameter

13

Czy próg decyzyjny jest hiperparametrem w regresji logistycznej?

Przewidywane klasy z (binarnej) regresji logistycznej są określane przy użyciu progu prawdopodobieństwa członkostwa w klasie generowanego przez model. Jak rozumiem, domyślnie używa się zwykle 0,5. Ale zmiana progu zmieni przewidywane klasyfikacje. Czy to oznacza, że próg jest hiperparametrem?...

machine-learning logistic scikit-learn hyperparameter

13

Strojenie hiperparametrów w regresji procesu Gaussa

Próbuję dostroić hiperparametry algorytmu regresji procesu gaussowskiego, który zaimplementowałem. Chcę po prostu zmaksymalizować prawdopodobieństwo krańcowe dziennika podane przez formułę gdzie K jest macierzą kowariancji z elementy K_ {ij} = k (x_i, x_j) = b ^ {- 1} \ exp (- \ frac {1} {2}...

regression optimization gaussian-process hyperparameter

13

Wybór odpowiedniego rozmiaru mini-partii dla stochastycznego spadku gradientu (SGD)

Czy jest jakaś literatura, która bada wybór wielkości mini-partii podczas stochastycznego spadku gradientu? Z mojego doświadczenia wynika, że jest to wybór empiryczny, zwykle znajdowany w drodze weryfikacji krzyżowej lub przy użyciu różnych reguł. Czy dobrym pomysłem jest powolne zwiększanie...

machine-learning gradient-descent hyperparameter deep-learning

11

Gęstość hiperpriora dla hierarchicznego modelu Gamma-Poissona

W hierarchicznym modelu danych którym wydaje się typowe w praktyce, aby wybierać wartości ( takie, że średnia i wariancja rozkładu gamma w przybliżeniu odpowiadają średniej i wariancji danych (np. Clayton i Kaldor, 1987 „Empirical Bayes Estimates of Standaryzated Age Relative Risks for Disease...

poisson-distribution gamma-distribution hierarchical-bayesian hyperparameter

11

Dlaczego nie uczymy się hiper parametrów?

Wdrożyłem dość popularny artykuł „ WYJAŚNIANIE I PRZESYŁANIE PRZYKŁADÓW ADVERSARIALNYCH ”, a w artykule trenuje funkcję celu przeciwnika J '' (θ) = αJ (θ) + (1 - α) J '(θ). Traktuje α jako hiperparametr. α może wynosić 0,1, 0,2, 0,3 itd. Niezależnie od tego konkretnego artykułu zastanawiam się,...

machine-learning neural-networks deep-learning hyperparameter

10

Związek między szybkością uczenia się a liczbą ukrytych warstw?

Czy istnieje jakaś reguła praktyczna między głębokością sieci neuronowej a szybkością uczenia się? Zauważyłem, że im głębsza sieć, tym niższa musi być szybkość uczenia się. Jeśli to prawda, dlaczego tak

neural-networks deep-learning hyperparameter rule-of-thumb

10

Zagnieżdżona walidacja krzyżowa - czym różni się od wyboru modelu poprzez CV Kfold na zestawie treningowym?

Często widzę ludzi mówiących o walidacji krzyżowej 5x2 jako szczególnym przypadku walidacji krzyżowej zagnieżdżonej . Zakładam, że pierwsza liczba (tutaj: 5) odnosi się do liczby fałd w wewnętrznej pętli, a druga liczba (tutaj: 2) odnosi się do liczby fałd w zewnętrznej pętli? Czym zatem różni się...

machine-learning cross-validation hyperparameter