Statystyki i duże zbiory danych

21
Jak i dlaczego normalizacja wsadowa wykorzystuje średnie ruchome do śledzenia dokładności modelu podczas treningu?

Czytałem artykuł z normalizacji wsadowej (BN) (1) i nie rozumiałem potrzeby używania średnich ruchomych do śledzenia dokładności modelu, a nawet jeśli zaakceptowałem, że było to właściwe, nie rozumiem co dokładnie robią. W moim rozumieniu (co się mylę) w dokumencie wspomniano, że wykorzystuje on...

21
Czy można wykorzystać algorytmy uczenia maszynowego lub uczenia głębokiego do „usprawnienia” procesu próbkowania techniki MCMC?

Opierając się na małej wiedzy, którą mam na temat metod MCMC (łańcuch Markowa Monte Carlo), rozumiem, że pobieranie próbek jest kluczową częścią wyżej wspomnianej techniki. Najczęściej stosowanymi metodami próbkowania są Hamiltonian i Metropolis. Czy istnieje sposób wykorzystania uczenia...

21
Entropia obrazu

Jaki jest najbardziej poprawny pod względem teoretycznym / informacyjnym sposób obliczenia entropii obrazu? W tej chwili nie dbam o wydajność obliczeniową - chcę, aby teoretycznie była jak najbardziej poprawna. Zacznijmy od obrazu w skali szarości. Jednym intuicyjnym podejściem jest rozważenie...

21
PCA w numpy i sklearn daje różne wyniki

Czy coś nie rozumiem? To jest mój kod za pomocą sklearn import numpy as np import matplotlib.pyplot as plt from mpl_toolkits.mplot3d import Axes3D from sklearn import decomposition from sklearn import datasets from sklearn.preprocessing import StandardScaler pca =

21
Ostrzeżenie „Model nie zbiegło się” w lmer ()

Za pomocą następującego zestawu danych chciałem sprawdzić, czy odpowiedź (efekt) zmienia się w odniesieniu do witryn, sezonu, czasu trwania i ich interakcji. Niektóre internetowe fora poświęcone statystykom sugerowały, żebym kontynuował liniowe modele z efektami mieszanymi, ale problem polega na...

21
Funkcja utraty dla autoencoderów

Eksperymentuję trochę autoencoderów, a dzięki tensorflow stworzyłem model, który próbuje zrekonstruować zestaw danych MNIST. Moja sieć jest bardzo prosta: X, e1, e2, d1, Y, gdzie e1 i e2 są warstwami kodującymi, d2 i Y są warstwami dekodującymi (a Y jest zrekonstruowanym wyjściem). X ma 784...

21
Po co zgłaszać statystyki opisowe?

Właśnie przeprowadziłem analizę moich danych przy użyciu regresji logistycznej, ale w raporcie muszę też mieć opisową część dotyczącą statystyki. Naprawdę nie rozumiem w tym sensu i miałem nadzieję, że ktoś może wyjaśnić, dlaczego jest to konieczne. Na przykład, jeśli wykreślę histogram jednej z...

21
Pokazuje, że 100 pomiarów dla 5 pacjentów dostarcza znacznie mniej informacji niż 5 pomiarów dla 100 pacjentów

Na konferencji usłyszałem następujące oświadczenie: 100 pomiarów dla 5 osób dostarcza znacznie mniej informacji niż 5 pomiarów dla 100 osób. To trochę oczywiste, że to prawda, ale zastanawiałem się, jak można to udowodnić matematycznie ... Myślę, że można zastosować liniowy model mieszany....