Wykorzystanie statystycznego testu istotności do sprawdzenia poprawności wyników analizy skupień

13

Badam wykorzystanie statystycznego testowania istotności (SST) do walidacji wyników analizy skupień. Znalazłem kilka artykułów na ten temat, takich jak

  • „ Statystyczne znaczenie grupowania dla danych o dużych wymiarach i małych próbkach ” Liu, Yufeng i in. (2008)
  • „ O niektórych testach istotności w analizie skupień ”, Bock (1985)

Ale jestem zainteresowany znalezieniem literatury, która dowodzi, że SST NIE jest odpowiedni do sprawdzania poprawności wyników analizy skupień. Jedynym źródłem, które znalazłem, twierdząc, że to jest, jest strona internetowa producenta oprogramowania

W celu wyjaśnienia:

Jestem zainteresowany badaniem, czy w wyniku analizy skupień wykryto znaczącą strukturę skupień, dlatego chciałbym wiedzieć o artykułach potwierdzających lub odrzucających obawy „dotyczące możliwości post-hoc testowania wyników danych eksploracyjnych analiza stosowana do znajdowania klastrów ".

Właśnie znalazłem artykuł z 2003 r. „ Metody grupowania i klasyfikacji ” autorstwa Milligana i Hirtle'a , na przykład, że użycie ANOVA byłoby nieprawidłową analizą, ponieważ dane nie mają losowych przypisań do grup.

hypothesis-testing clustering statistical-significance DPS
źródło
To dobre pytanie, ale warto zauważyć, że jest sformułowane w sposób, który sprawia wrażenie, że istnieje dychotomia: albo możesz przetestować znaczenie grupowania, albo nie. Sytuacja jest jednak inna, ponieważ „analiza skupień” oznacza różne rzeczy. W cytowanych artykułach skupiono się na sprawdzeniu, czy istnieją dowody na tworzenie klastrów. W podręczniku oprogramowania słusznie wyrażono obawy dotyczące możliwości post-hoc testowania wyników analizy danych eksploracyjnych wykorzystywanych do znajdowania klastrów. Tutaj nie ma sprzeczności.
whuber
Dzięki za odpowiedź. Masz rację co do sposobu, w jaki zadałem pytanie. Jestem zainteresowany badaniem, czy w wyniku analizy skupień odkryto znaczącą strukturę skupień, dlatego chciałbym wiedzieć o artykułach potwierdzających lub odrzucających obawy „dotyczące możliwości post-hoc testowania wyników danych eksploracyjnych analiza stosowana do znajdowania klastrów ". Właśnie znalazłem artykuł z 2003 r. „Metody grupowania i klasyfikacji” autorstwa Milligan i Hirtle, w którym powiedziano na przykład, że użycie ANOVA byłoby nieprawidłową analizą, ponieważ dane nie mają losowych przypisań do grup.
DPS
Może pomóc: Oślepiony przez naukę: konsekwencje zarządcze niewłaściwie zwalidowanych rozwiązań analizy skupień, mrs.org.uk/ijmr_article/article/78841
rolando2

Odpowiedzi:

3

Jest dość oczywiste, że nie można (naiwnie) przetestować różnic w rozkładach dla grup, które zostały zdefiniowane przy użyciu tych samych danych. Jest to znane jako „testowanie selektywne”, „podwójne zanurzenie”, „wnioskowanie kołowe” itp.

Przykładem może być test t na wysokościach „wysokich” i „niskich” osób w twoich danych. Wartość null będzie (prawie) zawsze odrzucana.

To powiedziawszy - można rzeczywiście uwzględnić etap grupowania na etapie testowania. Nie znam jednak takiego odniesienia, ale podejrzewam, że należało to zrobić.

JohnRos
źródło
Zgadzam się, że wartość zerowa prawie zawsze będzie odrzucana podczas stosowania testu istotności dla różnych grup klastrów. Chociaż - tak powinno być tylko wtedy, gdy klastrowanie rzeczywiście udało się ładnie oddzielić grupy dla wszystkich zmiennych uwzględnionych w urzędzie certyfikacji? Czy nie można zastosować testu istotności, aby ustalić, czy istnieją zmienne, które nie są dobrze rozdzielone między grupami (co oznacza zastosowanie testu dla każdej zmiennej)? Czy mógłby Pan wyjaśnić powód statystyczny, dlaczego nie jest to zalecane / uzasadnione?
luke
Formalnym argumentem jest to, że wartość błędu każdego pomiaru nie jest wyśrodkowana wokół zera. Pomyśl o moim wysokim / krótkim przykładzie: wszyscy ludzie czerpią z tego samego rozkładu, ale grupa „wysoka” ma błędy z dodatnią średnią i „krótką” średnią ujemną.
JohnRos
0

Zamiast testowania hipotez za pomocą danego testu, zalecałbym sposoby ładowania lub inne podsumowania szacunkowe między klastrami. Na przykład możesz polegać na bootilerze percentyla z co najmniej 1000 próbek. Kluczową kwestią jest zastosowanie klastrowania niezależnie do każdej próbki bootstrap.

Takie podejście byłoby dość solidne, dostarczało dowodów na różnice i wspierało twierdzenie o znacznej różnicy między klastrami. Ponadto można wygenerować inną zmienną (powiedzmy różnicę między klastrami), a szacunki bootstrap takiej zmiennej różnej byłyby podobne do formalnego testu hipotezy.

Joe_74
źródło