Jakie są sposoby wykazania, że ​​dwie metody analityczne są równoważne?

11

Mam dwie różne metody analityczne, które mogą zmierzyć stężenie konkretnej cząsteczki w matrycy (na przykład zmierzyć ilość soli w wodzie)

Dwie metody są różne i każda ma swój własny błąd. Jakie sposoby pokazania tych dwóch metod są równoważne (lub nie).

Myślę, że wykreślenie wyników z wielu próbek zmierzonych obiema metodami na wykresie punktowym jest dobrym pierwszym krokiem, ale czy są jakieś dobre metody statystyczne?

PaulHurleyuk
źródło
Czy możesz podać więcej szczegółów w swoim pytaniu? Nie rozumiem, co to jest „stężenie określonej cząsteczki w matrycy”.
robin girard
2
@robin: „matryca” w tym kontekście jest standardową terminologią chemii analitycznej; odnosi się do medium, na którym można znaleźć analizowane jednostki („anality”). Na przykład, jeśli analizujesz stężenie ołowiu w wodzie z kranu, ołów jest analitem, a woda jest matrycą.
JM nie jest statystykiem

Odpowiedzi:

13

Proste podejście korelacyjne nie jest właściwym sposobem analizowania wyników badań porównawczych metod. Istnieją (przynajmniej) dwie wysoce polecane książki na ten temat, do których odwoływałem się na końcu (1,2). Krótko mówiąc, porównując metody pomiaru, zwykle oczekujemy, że (a) nasze wnioski nie powinny zależeć od konkretnej próbki użytej do porównania oraz (b) należy uwzględnić błąd pomiaru związany z danym instrumentem pomiarowym. Wyklucza to jakąkolwiek metodę opartą na korelacjach, i zwrócimy naszą uwagę na komponenty wariancji lub modele efektów mieszanych, które pozwalają odzwierciedlić systematyczny efekt elementu (tutaj pozycja oznacza osobę lub próbkę, na której gromadzone są dane), która wynika z (za).

W twoim przypadku masz pojedyncze pomiary zebrane przy użyciu dwóch różnych metod (zakładam, że żadnej z nich nie można uznać za złoty standard), a bardzo podstawową rzeczą do zrobienia jest wykreślenie różnic ( ) względem średnich ( ( X 1 + X 2 ) / 2 ); nazywa się to . Pozwoli ci to sprawdzić, czy (1) różnice między dwoma zestawami pomiarów są stałe i (2) wariancja różnicy jest stała w całym zakresie obserwowanych wartości. Zasadniczo jest to tylko obrót o 45 ° prostego wykresu rozrzutu między X 1 a X 2X1-X2)(X1+X2))/2)X1X2), a jego interpretacja jest zbliżona do wykresu wartości dopasowanych do wartości resztkowych zastosowanych w regresji liniowej. Następnie,

  • jeśli różnica jest stała ( stałe odchylenie ), możesz obliczyć granicę zgody (patrz (3))
  • jeśli różnica nie jest stała w całym zakresie pomiaru, można dopasować model regresji liniowej między dwiema metodami (wybierz tę, która ma być predyktorem)
  • jeśli wariancja różnic nie jest stała, spróbuj znaleźć odpowiednią transformację, która sprawi, że relacja będzie liniowa ze stałą wariancją

Inne szczegóły można znaleźć w (2), rozdział 4.

Bibliografia

  1. Dunn, G (2004). Projektowanie i analiza badań niezawodności . Arnold. Zobacz recenzję w International Journal of Epidemiology .
  2. Carstensen, B (2010). Porównanie klinicznych metod pomiarowych . Wiley. Zobacz stronę internetową towarzyszącą , w tym kod R.
  3. Oryginalny artykuł Blanda i Altmana, Metody statystyczne do oceny zgodności między dwiema metodami pomiaru klinicznego .
  4. Carstensen, B (2004). Porównywanie i prognozowanie między kilkoma metodami pomiaru . Biostatistics , 5 (3) , 399–413.
chl
źródło
czy mógłbyś wyjaśnić, co rozumiesz przez „(a) nasze wnioski nie powinny zależeć od konkretnej próbki użytej do porównania”? Mam problem ze względu na niejednoznaczność „próbki” w tym kontekście: czy oznacza to „próbkę statystyczną” (zestaw danych przypuszczalnie reprezentujących proces lub populację) czy „próbkę środowiskową” (trochę wody, gleby, powietrze lub tkanka, zazwyczaj). W obu przypadkach nie mogę do końca wyciągnąć logicznej linii z twojego wniosku, że „wyklucza to jakąkolwiek metodę opartą na korelacjach”.
whuber
@ whuber Mam na myśli zbieranie obserwowanych danych (np. stężenia glukozy), które idealnie powinny być reprezentatywne dla prawdopodobnego zakresu tego, co jest mierzone. Poleganie na korelacji może być mylące, ponieważ zależy od próbobranych jednostek (np. Pacjentów w szpitalu): możemy uzyskać wyższą korelację tylko poprzez uzyskanie jednego lub więcej skrajnych pomiarów w dowolnej skali, chociaż związek między tymi dwiema metodami jest nadal taki sam . Stąd pomysł polega na tym, że rozkład miary zainteresowania nie powinien wpływać na nasze wnioski dotyczące porównywalności metod. (...)
chl.
@ whuber (...) Chcemy ocenić zgodność poza danymi , a nie relację w danych (cytuję Carstensen 2010, s. 8–9).
chl
Dziękuję Ci; to dobrze wyjaśnia twoją pozycję. Jest to w zasadzie ćwiczenie kalibracyjne, z tym wyjątkiem, że nie wydaje się, abyśmy mieli wzorcowy wzorzec porównawczy; zakładamy jedynie, że próbki fizyczne wybrane przez eksperymentatora obejmują pewien zakres prawdziwych stężeń. Tak więc, jak piszesz, korelacja jako taka niekoniecznie jest przydatną miarą zgodności między dwiema metodami. Zwykle jednak, szczególnie w przypadku analiz chemicznych, znane jest prawdziwe stężenie (ponieważ eksperymentator wprowadził znaną ilość substancji do matrycy).
whuber
@ whuber Zgadza się. Wobec braku standardu złota interesuje nas jedynie stopień, w jakim obie metody dają „porównywalne” wyniki, stąd pomysł polegania na tak zwanych granicach porozumienia. Chociaż prawdziwa miara może być znana z góry, każdy przyrząd pomiarowy ma swój własny błąd pomiaru - przynajmniej dla tych, z którymi miałem do czynienia w dziedzinie biomedycznej (np. Stężenie glukozy we krwi) i neuropsychologicznej (np. Poziom depresji).
chl
2

Jeśli nie masz możliwości poznania prawdziwej koncentracji, najprostszym podejściem byłaby korelacja. Krokiem poza tym może być przeprowadzenie prostej regresji przewidującej wynik dla metody 2 przy użyciu metody 1 (lub odwrotnie). Jeśli metody są identyczne, punkt przecięcia powinien wynosić 0; jeśli punkt przecięcia jest większy lub mniejszy od 0, oznaczałoby to odchylenie jednej metody względem drugiej. Niestandardowe nachylenie powinno być bliskie 1, jeśli metody dają przeciętnie identyczne wyniki (po kontrolowaniu odchylenia w górę lub w dół w punkcie przecięcia). Błąd w niestandardowym zboczu może służyć jako wskaźnik stopnia, w jakim obie metody się zgadzają.

Wydaje mi się, że trudność z metodami statystycznymi polega na tym, że próbujesz potwierdzić to, co zwykle przedstawia się jako hipotezę zerową, to znaczy, że nie ma różnic między metodami. To nie jest śmiertelny cios za użycie metod statystycznych, o ile nie potrzebujesz wartości ap i możesz obliczyć, co rozumiesz przez „ekwiwalent” i możesz zdecydować, ile odchyleń mogą mieć dwie metody od siebie, zanim przestaniesz uważają je za równoważne. W podejściu regresyjnym, które szczegółowo opisałem powyżej, można uznać metody za równoważne, jeśli przedział ufności wokół oszacowania nachylenia zawiera 1, a CI wokół przecięcia obejmuje 0.

russellpierce
źródło
W chemometrii odpowiedzi instrumentu są często nieliniowe i heteroscedastyczne. Przynajmniej narzuca to pewną ostrożność podczas przeprowadzania i interpretacji regresji.
whuber
1

Zgadzam się z @drnexus. Ponadto mogę zalecić test Morgana-Pitmana dla równości wariancji tych dwóch metod. Dzięki temu dowiesz się, czy jedna metoda ma więcej wariancji niż druga. To samo w sobie może nie być złe, ponieważ przypuszczalnie dwa testy mają różne kompromisy wariancji odchylenia (na przykład jeden test może zawsze powiedzieć 50% (tendencyjna, ale nie ma wariancji), podczas gdy drugi jest bezstronny, ale bardzo głośny). Pewna wiedza na temat domeny może być pomocna w określeniu, ile kompromisu chcesz zastosować do tej metody. Oczywiście, jak zauważają inni, posiadanie „złotego standardu” byłoby znacznie preferowane.

shabbychef
źródło
1

Całkiem stare pytanie, ale jak się dzisiaj pojawiło:

Ogólnym słowem kluczowym jest „walidacja w chemii analitycznej” i jako taki jest tutaj trochę nie na temat (ale ponieważ nie ma tu strony z chemią (jeszcze: http://area51.stackexchange.com/propozycje/4964/chemistry , I chyba możemy zostawić to tutaj na chwilę)

W tym celu istnieją pewne standardowe procedury w chemii analitycznej.

Książki:

  • Funk et. al: Zapewnienie jakości w chemii analitycznej, Wiley-VCH.

  • Kromidas (Hrsg.): Handbuch Validierung in der Analytik, Wiley-VCH
    (Nie wiem, czy istnieje wersja angielska i jeszcze jej nie mam.

IUPAC ma również coś do powiedzenia na ten temat:

  • Danzer, K. and Currie, LA: Wytyczne dotyczące kalibracji w chemii analitycznej. Część I. Podstawy i kalibracja jednoskładnikowa, chemia czysta i stosowana, IUPAC, 1998, 4, 993-1014

  • Danzer, K. and Otto, M. and Currie, LA: Wytyczne dotyczące kalibracji w chemii analitycznej. Część 2: Kalibracja wieloskładnikowa Pure and Applied Chemistry, 2004, 76, 1215-1225

cbeleites niezadowoleni z SX
źródło
0

Twoje użycie wyrażenia „metody analityczne” jest dla mnie nieco mylące. Zakładam, że przez „metody analityczne” rozumiesz konkretny model / strategię szacowania.

Mówiąc ogólnie, istnieją dwa rodzaje wskaźników, których można użyć do wyboru między estymatorami.

Dane w próbie

  • Wskaźnik wiarygodności / test Wald / test wyniku
  • R 2
  • Wskaźniki trafień w próbie (procent poprawnych prognoz dla danych próbki)
  • (Wiele innych wskaźników w zależności od modelu / kontekstu oszacowania)

Dane pozapróbowe

  • Wskaźniki trafień poza próbą (procent prawidłowych prognoz dla danych poza próbą)

Jeśli szacunki są równoważne, wypadłyby równie dobrze na tych wskaźnikach. Można również sprawdzić, czy szacunki nie różnią się statystycznie od siebie (podobnie jak test dwóch prób równości średnich), ale metodologia tego zależy od modelu i specyfiki metody.


źródło
Przepraszam, miałem na myśli analityczną metodę pomiaru. Przeredagowałem pytanie.
PaulHurleyuk
W takim przypadku myślę, że powinieneś zrobić test na dwóch próbach równości średnich / proporcji.
2
Czy test średnich / proporcji nie dałby ci tylko oszacowania punktowego, czy te dwie metody dały taką samą średnią odpowiedź dla danego zestawu odpowiedzi? Czy takie podejście nie może dać wyniku „równego”, nawet jeśli obie metody byłyby ze sobą skorelowane negatywnie?
russellpierce
To dobra uwaga.