Czy konkursy Kaggle są po prostu wygrane przez przypadek?

Zawody Kaggle określają końcowe rankingi na podstawie ustalonego zestawu testów.

Wyciągnięty zestaw testowy jest próbką; może nie być reprezentatywny dla modelowanej populacji. Ponieważ każde zgłoszenie jest jak hipoteza, algorytm, który wygrał konkurencję, może po prostu przypadkiem dopasować zestaw testowy lepiej niż inne. Innymi słowy, gdyby wybrano inny zestaw testów i powtórzono konkurs, czy rankingi pozostaną takie same?

Dla korporacji sponsorującej nie ma to tak naprawdę znaczenia (prawdopodobnie 20 najlepszych zgłoszeń poprawiłoby ich poziom bazowy). Chociaż, jak na ironię, mogą skończyć na modelu o pierwszej pozycji, który jest gorszy niż w pierwszej piątce. Ale dla uczestników konkursu wydaje się, że Kaggle jest ostatecznie grą losową - szczęście nie jest potrzebne, aby natknąć się na właściwe rozwiązanie, należy natknąć się na tę, która pasuje do zestawu testowego!

Czy można zmienić konkurencję, aby zwyciężyły wszystkie najlepsze zespoły, których nie można statystycznie wyróżnić? Czy w tej grupie mógłby wygrać najbardziej oszczędny lub obliczeniowo tani model?

Tak, twoje rozumowanie jest prawidłowe. Gdyby wybrano inny zestaw testowy i zawody się powtórzyły, rankingi rzeczywiście się zmieniły. Rozważ następujący przykład. Wszystkie zgłoszenia do konkursu Kaggle z binarnymi etykietami odgadują losowo (i, powiedzmy, niezależnie), aby przewidzieć ich wyniki. Przez przypadek jeden z nich zgodzi się z powstrzymaniem bardziej niż inni, mimo że nie ma żadnych prognoz.

Chociaż jest to nieco wymyślone, możemy zauważyć, że wariancja w każdym z modeli przedłożenia oznaczałaby, że zastosowanie wielu takich wpisów rzeczywiście pasowałoby do hałasu zestawu wstrzymań. To mówi nam, że (w zależności od wariancji poszczególnych modeli), modele z najwyższej półki prawdopodobnie uogólniają to samo. To jest ogród ścieżek rozwidlenia , tyle że „badacze” nie są tacy sami (ale to nie ma znaczenia).

Czy można zmienić konkurencję, aby zwyciężyły wszystkie zespoły, których nie można statystycznie odróżnić od najlepszych wyników w zestawie testowym?

W rzeczy samej.

• Jednym z podejść (choć jest to niepraktyczne) byłoby jawne wypracowanie wariancji danego modelu w każdym wpisie, co dałoby nam CI na temat ich powstrzymywania.
• Innym podejściem, które może zająć dużo obliczeń, jest bootowanie paska CI pod względem wydajności wstrzymania, poprzez udostępnienie szkoleniowego i testującego interfejsu API wszystkim modelom.

Istnieją inne rodzaje zawodów w Kaggle, które nie mają elementów szansy. Na przykład ten Skradziony Sanie Stanty .

Jest to dyskretny problem optymalizacji, a nawet nie ma prywatnej tablicy wyników. To, co widzisz na publicznej tablicy wyników, to końcowe wyniki.

W porównaniu z nauką nadzorowaną, która dla wielu osób jest łatwa, ten rodzaj konkurencji ma bardziej „trudny” charakter.