Łączenie wykresów kalibracyjnych po wielokrotnej imputacji

15

Chciałbym uzyskać porady dotyczące łączenia wykresów kalibracyjnych / statystyk po wielokrotnym imputacji. W kontekście opracowywania modeli statystycznych w celu przewidywania przyszłego zdarzenia (np. Wykorzystanie danych z rejestrów szpitalnych do przewidywania przeżycia lub zdarzeń po wypisie ze szpitala), można sobie wyobrazić, że brakuje wielu informacji. Wielokrotna imputacja jest sposobem na poradzenie sobie z taką sytuacją, ale powoduje potrzebę połączenia statystyk testów z każdego zestawu danych imputacji, biorąc pod uwagę dodatkową zmienność wynikającą z nieodłącznej niepewności imputacji.

Rozumiem, że istnieje wiele statystyk kalibracji (hosmer-lemeshow, Emax Harrella, szacowany wskaźnik kalibracji itp.), Do których mogą mieć zastosowanie „regularne” reguły Rubina dotyczące łączenia.

Jednak statystyki te często są ogólnymi miarami kalibracji, które nie pokazują konkretnych źle skalibrowanych obszarów modelu. Z tego powodu wolałbym spojrzeć na wykres kalibracji. Niestety nie mam pojęcia, jak „połączyć” wykresy lub leżące za nimi dane (przewidywane prawdopodobieństwa na osobę i obserwowany wynik na osobę) i nie mogę znaleźć wiele w literaturze biomedycznej (dziedziny, którą znam), lub tutaj, na CrossValidated. Oczywiście spojrzenie na wykres kalibracji każdego zestawu danych imputacyjnych może być odpowiedzią, ale może stać się dość uciążliwe (prezentować), gdy powstaje wiele zestawów imputacyjnych.

Chciałbym zatem zapytać, czy istnieją techniki, które skutkowałyby wykresem kalibracyjnym, połączonym po wielokrotnym imputacji (?)

IWS
źródło
Czy można bezpośrednio połączyć próbki z bootstrapiem i ocenić kalibrację tej próbki?
AdamO
@AdamO, co dokładnie masz na myśli przez bezpośrednie łączenie? A do jakich przykładów bootstrap się odwołujesz?
IWS
2
Przepraszam, pozwól mi wykonać kopię zapasową (myślę o MI jako o bootstrapie). Mówię, jeśli twoje n wynosi 1000 i masz 5 zestawów danych MI, dlaczego nie utworzyć pojedynczego wykresu kalibracji z 5000 i porównać zaobserwowane / oczekiwane w jakikolwiek pożądany sposób z tych 5000?
AdamO
@AdamO Brzmi interesująco, wymagałoby to dostosowania funkcji, które również zapewniają przedział ufności. Wszelkie referencje lub teorie potwierdzające ten pomysł?
IWS
2
Bez referencji, niedawno opublikowaliśmy artykuł, w którym stwierdziliśmy bez dowodu, że uzyskaliśmy wniosek o standardowych błędach bootstrap i wielokrotnym przypisywaniu, łącząc je w ten sposób. Myślę, że można stwierdzić, że celem analizy jest testowanie na poziomie 0,05, aby stosunek oczekiwań / obserwacji lub różnica mieści się w normalnym zakresie dystrybucyjnym i że oszacowania kwantylowe są niezmienne w stosunku do wielkości próby, więc testowanie oparte na 95% CI nie ma wpływu na pule.
AdamO

Odpowiedzi:

1

[...] jeśli twoje n wynosi 1000 i masz 5 zestawów danych MI, dlaczego nie utworzyć pojedynczego wykresu kalibracji z 5000 i porównać zaobserwowane / oczekiwane w jakikolwiek pożądany sposób z tych 5000?

Odnośnie referencji:

Bez referencji, niedawno opublikowaliśmy artykuł, w którym stwierdziliśmy bez dowodu, że uzyskaliśmy wniosek o standardowych błędach bootstrap i wielokrotnym przypisywaniu, łącząc je w ten sposób. Myślę, że można stwierdzić, że celem analizy jest testowanie na poziomie 0,05, aby stosunek oczekiwań / obserwacji lub różnica mieści się w normalnym zakresie dystrybucyjnym i że oszacowania kwantylowe są niezmienne w stosunku do wielkości próby, więc testowanie oparte na 95% CI nie ma wpływu na pule.

mkt - Przywróć Monikę
źródło
1
Skopiowałem ten komentarz @AdamO jako odpowiedź wiki społeczności, ponieważ komentarz jest mniej więcej odpowiedzią na to pytanie. Mamy dramatyczną lukę między odpowiedziami a pytaniami. Przynajmniej część problemu polega na tym, że na niektóre pytania odpowiedziano w komentarzach: jeśli komentarze, które odpowiedziały na pytanie, byłyby odpowiedziami, mielibyśmy mniej pytań bez odpowiedzi.
mkt - Przywróć Monikę