Co się stanie, jeśli zmienne objaśniające i odpowiedzi zostaną posortowane niezależnie przed regresją?

Załóżmy, że mamy zestaw danych z n punktami. Chcemy przeprowadzić regresję liniową, ale najpierw sortujemy wartości X_i i wartości Y_i niezależnie od siebie, tworząc zestaw danych (X_i, Y_j) . Czy jest jakaś sensowna interpretacja regresji w nowym zbiorze danych? Czy to ma imię?$(X_i,Y_i)$X i Y i ( X i , Y j$n$$X_i$$Y_i$$(X_i,Y_j)$

Wyobrażam sobie, że to głupie pytanie, więc przepraszam, nie jestem formalnie wyszkolony w statystyce. Moim zdaniem to całkowicie niszczy nasze dane, a regresja jest bez znaczenia. Ale mój menedżer mówi, że dostaje „lepsze regresje przez większość czasu”, kiedy to robi (tutaj „lepszy” oznacza bardziej przewidywalny). Mam wrażenie, że sam siebie oszukuje.

EDYCJA: Dziękuję za wszystkie twoje miłe i cierpliwe przykłady. Pokazałem mu przykłady @ RUser4512 i @gung, a on pozostaje wierny. Staje się poirytowany, a ja się wyczerpuję. Czuję się załamany. Prawdopodobnie wkrótce zacznę szukać innych ofert pracy.

Nie jestem pewien, co twój szef uważa za „bardziej przewidywalny”. Wiele osób błędnie uważa, że ​​niższe wartości oznaczają lepszy / bardziej przewidywalny model. To niekoniecznie jest prawdą (jest to przypadek). Jednak wcześniejsze samodzielne sortowanie obu zmiennych zagwarantuje niższą wartość . Z drugiej strony możemy ocenić dokładność predykcyjną modelu, porównując jego prognozy z nowymi danymi wygenerowanymi przez ten sam proces. Robię to poniżej w prostym przykładzie (zakodowanym ). $p$$p$R

options(digits=3)                       # for cleaner output
set.seed(9149)                          # this makes the example exactly reproducible

B1 = .3
N  = 50                                 # 50 data
x  = rnorm(N, mean=0, sd=1)             # standard normal X
y  = 0 + B1*x + rnorm(N, mean=0, sd=1)  # cor(x, y) = .31
sx = sort(x)                            # sorted independently
sy = sort(y)
cor(x,y)    # [1] 0.309
cor(sx,sy)  # [1] 0.993

model.u = lm(y~x)
model.s = lm(sy~sx)
summary(model.u)$coefficients
#             Estimate Std. Error t value Pr(>|t|)
# (Intercept)    0.021      0.139   0.151    0.881
# x              0.340      0.151   2.251    0.029  # significant
summary(model.s)$coefficients
#             Estimate Std. Error t value Pr(>|t|)
# (Intercept)    0.162     0.0168    9.68 7.37e-13
# sx             1.094     0.0183   59.86 9.31e-47  # wildly significant

u.error = vector(length=N)              # these will hold the output
s.error = vector(length=N)
for(i in 1:N){
  new.x      = rnorm(1, mean=0, sd=1)   # data generated in exactly the same way
  new.y      = 0 + B1*x + rnorm(N, mean=0, sd=1)
  pred.u     = predict(model.u, newdata=data.frame(x=new.x))
  pred.s     = predict(model.s, newdata=data.frame(x=new.x))
  u.error[i] = abs(pred.u-new.y)        # these are the absolute values of
  s.error[i] = abs(pred.s-new.y)        #  the predictive errors
};  rm(i, new.x, new.y, pred.u, pred.s)
u.s = u.error-s.error                   # negative values means the original
                                        # yielded more accurate predictions
mean(u.error)  # [1] 1.1
mean(s.error)  # [1] 1.98
mean(u.s<0)    # [1] 0.68


windows()
  layout(matrix(1:4, nrow=2, byrow=TRUE))
  plot(x, y,   main="Original data")
  abline(model.u, col="blue")
  plot(sx, sy, main="Sorted data")
  abline(model.s, col="red")
  h.u = hist(u.error, breaks=10, plot=FALSE)
  h.s = hist(s.error, breaks=9,  plot=FALSE)
  plot(h.u, xlim=c(0,5), ylim=c(0,11), main="Histogram of prediction errors",
       xlab="Magnitude of prediction error", col=rgb(0,0,1,1/2))
  plot(h.s, col=rgb(1,0,0,1/4), add=TRUE)
  legend("topright", legend=c("original","sorted"), pch=15, 
         col=c(rgb(0,0,1,1/2),rgb(1,0,0,1/4)))
  dotchart(u.s, color=ifelse(u.s<0, "blue", "red"), lcolor="white",
           main="Difference between predictive errors")
  abline(v=0, col="gray")
  legend("topright", legend=c("u better", "s better"), pch=1, col=c("blue","red"))

Górny lewy wykres pokazuje oryginalne dane. Istnieje pewna zależność między i (viz., Korelacja wynosi około ). W prawym górnym fabuła pokazuje, co dane wyglądać po niezależnie sortowania obu zmiennych. Łatwo można zauważyć, że siła korelacji znacznie wzrosła (obecnie wynosi około ). Jednak na niższych wykresach widzimy, że rozkład błędów predykcyjnych jest znacznie bliższy dla modelu wyuczonego na oryginalnych (nieposortowanych) danych. Średni bezwzględny błąd predykcyjny dla modelu wykorzystującego oryginalne dane wynosi , podczas gdy średni bezwzględny błąd predykcyjny dla modelu wyuczonego na posortowanych danych wynosiY 0,31 0,99 0 1,1 1,98 R 68 $x$$y$$.31$$.99$$0$$1.1$$1.98$- prawie dwa razy większy. Oznacza to, że prognozy posortowanego modelu danych są znacznie dalej od prawidłowych wartości. Wykres w prawym dolnym kwadrancie jest wykresem kropkowym. Wyświetla różnice między błędem predykcyjnym w przypadku danych oryginalnych i danych posortowanych. Umożliwia to porównanie dwóch odpowiednich prognoz dla każdej nowej symulowanej obserwacji. Niebieskie kropki po lewej to czasy, w których oryginalne dane były bliższe nowej wartości , a czerwone kropki po prawej to czasy, w których posortowane dane dały lepsze prognozy. Dokładniejsze prognozy z modelu przeszkolonego na oryginalnych danych czasu. $y$$68\%$

Stopień, w jakim sortowanie spowoduje te problemy, jest funkcją zależności liniowej istniejącej w danych. Jeżeli zależność między a był już nie sortowanie nie ma to znaczenia, a więc są szkodliwe. Z drugiej strony, gdyby korelacja wynosiłay 1,0 - $x$$y$$1.0$$-1.0$, sortowanie całkowicie odwróciłoby związek, czyniąc model tak niedokładnym, jak to możliwe. Gdyby dane były pierwotnie całkowicie nieskorelowane, sortowanie miałoby pośredni, ale wciąż dość duży, szkodliwy wpływ na dokładność predykcyjną wynikowego modelu. Ponieważ wspominasz, że Twoje dane są zwykle skorelowane, podejrzewam, że zapewniło pewną ochronę przed szkodami nieodłącznie związanymi z tą procedurą. Niemniej jednak sortowanie jako pierwsze jest zdecydowanie szkodliwe. Aby zbadać te możliwości, możemy po prostu ponownie uruchomić powyższy kod z różnymi wartościami dla B1(używając tego samego materiału źródłowego dla odtwarzalności) i zbadać dane wyjściowe:

1. B1 = -5:

   cor(x,y)                            # [1] -0.978
   summary(model.u)$coefficients[2,4]  # [1]  1.6e-34  # (i.e., the p-value)
   summary(model.s)$coefficients[2,4]  # [1]  1.82e-42
   mean(u.error)                       # [1]  7.27
   mean(s.error)                       # [1] 15.4
   mean(u.s<0)                         # [1]  0.98
   

2. B1 = 0:

   cor(x,y)                            # [1] 0.0385
   summary(model.u)$coefficients[2,4]  # [1] 0.791
   summary(model.s)$coefficients[2,4]  # [1] 4.42e-36
   mean(u.error)                       # [1] 0.908
   mean(s.error)                       # [1] 2.12
   mean(u.s<0)                         # [1] 0.82
   

3. B1 = 5:

   cor(x,y)                            # [1] 0.979
   summary(model.u)$coefficients[2,4]  # [1] 7.62e-35
   summary(model.s)$coefficients[2,4]  # [1] 3e-49
   mean(u.error)                       # [1] 7.55
   mean(s.error)                       # [1] 6.33
   mean(u.s<0)                         # [1] 0.44
   

Jeśli chcesz przekonać swojego szefa, możesz pokazać, co się dzieje z symulowanymi, losowymi, niezależnymi danymi . Z R:$x,y$

n <- 1000

y<- runif(n)
x <- runif(n)

linearModel <- lm(y ~ x)


x_sorted <- sort(x)
y_sorted <- sort(y)

linearModel_sorted <- lm(y_sorted ~ x_sorted)

par(mfrow = c(2,1))
plot(x,y, main = "Random data")
abline(linearModel,col = "red")


plot(x_sorted,y_sorted, main = "Random, sorted data")
abline(linearModel_sorted,col = "red")

Oczywiście posortowane wyniki oferują znacznie ładniejszą regresję. Biorąc jednak pod uwagę proces generowania danych (dwie niezależne próbki), absolutnie nie ma szans, że jednej można użyć do przewidzenia drugiej.

Twoja intuicja jest prawidłowa: niezależnie posortowane dane nie mają wiarygodnego znaczenia, ponieważ dane wejściowe i wyjściowe są losowo odwzorowywane względem siebie, a nie jak zaobserwowano związek.

Istnieje (dobra) szansa, że ​​regresja posortowanych danych będzie wyglądać ładnie, ale w kontekście jest bez znaczenia.

Intuicyjny przykład: Załóżmy, że zestaw danych dla pewnej populacji. Wykres niefałszowanych danych prawdopodobnie wyglądałby raczej jak funkcja logarytmiczna lub potęgowa: szybsze tempo wzrostu u dzieci, które spowalnia u późniejszych nastolatków i „asymptotycznie” zbliża się do maksymalnej wysokości dla młodych dorosłych i starszych.$(X = age, Y = height)$

Jeśli posortujemy w porządku rosnącym, wykres prawdopodobnie będzie prawie liniowy. Zatem funkcja przewidywania polega na tym, że ludzie stają się wyżsi przez całe życie. Nie postawiłbym pieniędzy na ten algorytm przewidywania. $x, y$

Zróbmy to naprawdę oczywiste i proste. Załóżmy, że przeprowadzam eksperyment, w którym odmierzam 1 litr wody w znormalizowanym pojemniku i patrzę na ilość wody pozostałej w pojemniku w funkcji czasu , utraty wody z powodu parowania:$V_i$$t_i$

Załóżmy teraz, że otrzymuję następujące pomiary w godzinach i litrach: Są to oczywiście doskonale skorelowane (i hipotetyczne) dane. Ale gdybym posortował pomiary czasu i objętości, Wniosek z tego posortowanego zestawu danych jest taki, że wraz ze wzrostem czasu wzrasta objętość wody, a ponadto, począwszy od 1 litra wody, można uzyskać po 5 godzinach oczekiwania, więcej niż 1 litr wody. Czy to nie jest niezwykłe? Wniosek jest nie tylko odwrotny do tego, co mówią oryginalne dane, ale także sugeruje, że odkryliśmy nową fizykę! $(t_i, V_i)$

Jest to prawdziwa sztuka i wymaga prawdziwego zrozumienia psychologii, aby przekonać niektórych ludzi o błędach ich postępowania. Poza wszystkimi powyższymi doskonałymi przykładami, użyteczną strategią jest czasem wykazanie, że wiara danej osoby prowadzi do niespójności z nią samą. Lub spróbuj tego podejścia. Dowiedz się, o czym tak mocno wierzy szef, na przykład o tym, jak osoby wykonują zadanie Y, nie ma związku z ilością posiadanego atrybutu X. Pokaż, jak podejście własnego szefa doprowadziłoby do zakończenia silnego związku między X i Y. Wykorzystaj przekonania polityczne / rasowe / religijne.

Nieważność twarzy powinna wystarczyć. Co za uparty szef. W międzyczasie szukaj lepszej pracy. Powodzenia.

Jeszcze jeden przykład. Wyobraź sobie, że masz dwie zmienne, jedną związaną z jedzeniem czekolady i drugą związaną z ogólnym samopoczuciem. Masz próbkę dwóch, a Twoje dane wyglądają jak poniżej:

Jaki jest stosunek czekolady do szczęścia na podstawie Twojej próbki? A teraz zmień kolejność jednej z kolumn - jaka jest relacja po tej operacji?

Do tego samego problemu można podejść inaczej. Powiedz, że masz większą próbkę, z pewną liczbą przypadków i mierzysz dwie zmienne ciągłe: zużycie czekolady dziennie (w gramach) i szczęście (wyobraź sobie, że masz jakiś sposób, aby ją zmierzyć). Jeśli jesteś zainteresowany, czy są one ze sobą powiązane, możesz zmierzyć korelację lub zastosować model regresji liniowej, ale czasami w takich przypadkach ludzie po prostu dzielą jedną zmienną na dychotomię i używają jej jako czynnika grupującego z testem ( nie jest to najlepszy i nie$t$zalecane podejście, ale pozwól mi użyć go jako przykładu). Dzielisz więc próbkę na dwie grupy: o wysokim zużyciu czekolady i niskim zużyciu czekolady. Następnie porównujesz średnie szczęście w obu grupach. Teraz wyobraź sobie, co by się stało, gdybyś posortował zmienną szczęścia niezależnie od zmiennej grupującej: wszystkie przypadki z wysokim szczęściem przejdą do grupy o wysokim zużyciu czekolady, a wszystkie przypadki o niskim poziomie szczęścia trafią do grupy o niskim zużyciu czekolady - czy taki test hipotez miałby jakiś sens? Można to łatwo ekstrapolować na regresję, jeśli wyobrażasz sobie, że zamiast dwóch grup spożywających czekoladę masz takich grup, po jednej dla każdego uczestnika (zauważ, że test jest związany z regresją).$N$$t$

W regresji lub korelacji dwuwymiarowej interesują nas parami relacje między każdą wartością i wartością , zmiana kolejności obserwacji niszczy tę zależność. Jeśli posortujesz obie zmienne, to zawsze spowoduje, że będą one bardziej pozytywnie skorelowane ze sobą, ponieważ zawsze będzie tak, że jeśli jedna ze zmiennych wzrośnie, druga również się zwiększy (ponieważ są one posortowane!).$i$$X$$i$$Y$

Zauważ, że czasami faktycznie jesteśmy zainteresowani zmianą kolejności spraw, robimy to w metodach ponownego próbkowania . Na przykład możemy celowo przetasować obserwacje wiele razy, aby dowiedzieć się czegoś o zerowym rozkładzie naszych danych (jak wyglądałyby nasze dane, gdyby nie istniały relacje parami), a następnie możemy porównać, czy nasze rzeczywiste dane są lepsze niż losowo przetasowane. To, co robi twój menedżer, jest dokładnie odwrotne - celowo zmusza obserwacje do posiadania sztucznej struktury, w której nie było żadnej struktury, co prowadzi do fałszywych korelacji.

Prosty przykład, który być może twój kierownik może zrozumieć:

Załóżmy, że masz Monetę Y i Monetę X, i odwracasz każdą z nich 100 razy. Następnie chcesz przewidzieć, czy zdobycie głów za pomocą Monety X (IV) może zwiększyć szansę na zdobycie głów za pomocą Monety Y (DV).

Bez sortowania związek nie będzie żadnego, ponieważ wynik Monety X nie powinien wpływać na wynik Monety Y. Dzięki sortowaniu relacja będzie prawie idealna.

Jak sensowne jest stwierdzenie, że masz dużą szansę na trafienie monetą w monetę, jeśli właśnie rzuciłeś monetą inną monetą?

Ta technika jest naprawdę niesamowita. Znajduję wszelkiego rodzaju związki, których nigdy nie podejrzewałem. Na przykład nie podejrzewałbym, że liczby, które pojawiają się w loterii Powerball, która jest ROSZCZONA, są losowe, w rzeczywistości są bardzo skorelowane z ceną otwarcia akcji Apple tego samego dnia! Ludzie, myślę, że wkrótce zarobimy. :)

> powerball_last_number = scan()
1: 69 66 64 53 65 68 63 64 57 69 40 68
13: 
Read 12 items
> #Nov. 18, 14, 11, 7, 4
> #Oct. 31, 28, 24, 21, 17, 14, 10
> #These are powerball dates.  Stock opening prices 
> #are on same or preceding day.
> 
> appl_stock_open = scan()
1: 115.76  115.20 116.26  121.11  123.13 
6: 120.99  116.93  116.70  114.00  111.78
11: 111.29  110.00
13: 
Read 12 items
> hold = lm(appl_stock_open ~ powerball_last_number)
> summary(hold)


Coefficients:
                       Estimate Std. Error t value Pr(>|t|)    
(Intercept)           112.08555    9.45628  11.853 3.28e-07 ***
powerball_last_number   0.06451    0.15083   0.428    0.678    
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Residual standard error: 4.249 on 10 degrees of freedom
Multiple R-squared:  0.01796,   Adjusted R-squared:  -0.08024 
F-statistic: 0.1829 on 1 and 10 DF,  p-value: 0.6779

Hmm, wydaje się, że nie ma znaczącego związku. ALE przy użyciu nowej, ulepszonej techniki:

> 
> vastly_improved_regression = lm(sort(appl_stock_open)~sort(powerball_last_number))
> summary(vastly_improved_regression)

Coefficients:
                            Estimate Std. Error t value Pr(>|t|)    
(Intercept)                 91.34418    5.36136  17.038 1.02e-08 ***
sort(powerball_last_number)  0.39815    0.08551   4.656    9e-04 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Residual standard error: 2.409 on 10 degrees of freedom
Multiple R-squared:  0.6843,    Adjusted R-squared:  0.6528 
F-statistic: 21.68 on 1 and 10 DF,  p-value: 0.0008998

UWAGA: To nie jest poważna analiza. Po prostu pokaż swojemu menedżerowi, że mogą powiązać WSZYSTKIE dwie zmienne istotnie powiązane, jeśli posortujesz je obie.

Wiele dobrych przykładów liczników tutaj. Pozwólcie, że dodam akapit o istocie problemu.

Szukasz korelacji między a . Oznacza to, że zarówno i wydają się być duże dla tego samego i małe dla tego samego . Tak więc korelacja jest właściwością połączoną z , połączoną z i tak dalej. Sortując niezależnie i (w większości przypadków) tracisz parowanie. nie będzie już sparowany z . Zatem korelacja posortowanych wartości nie mierzy połączenia między i$X_i$$Y_i$$X$$Y$$i$$i$$X_1$$Y_1$$X_2$$Y_2$$X$$Y$$X_1$$Y_1$$X_1$$Y_1$ którego szukasz.

Właściwie dodam akapit o tym, dlaczego to „działa”.

Kiedy sortujesz obie listy, nazwijmy nową posortowaną listę , i tak dalej, będzie najmniejszą wartością , a będzie najmniejszą wartością Y. będzie największym i będzie największym . Następnie sprawdzasz nowe listy, jeśli występują małe i duże wartości. Oznacza to, że pytasz, czy jest małe, gdy jest małe. Czy duże, gdy jest duże? Oczywiście odpowiedź brzmi „tak” i oczywiście uzyskamy prawie idealną korelację. Czy to coś mówi oX b X a X Y a X z$X_a$$X_b$$X_a$$X$$Y_a$$X_z$$X$$Y_z$$Y$$X_a$$Y_a$$X_z$$Y_z$$X_1$związek z ? Nie.$Y_1$

W rzeczywistości opisany test (tj. Sortuj wartości X i wartości Y niezależnie i regresuj jedną względem drugiej) CZY testuje coś, zakładając, że próbki (X, Y) są próbkowane jako niezależne pary z rozkładu dwuwymiarowego. To po prostu nie jest test tego, co twój menedżer chce przetestować. W zasadzie sprawdza liniowość wykresu QQ, porównując rozkład brzeżny Xs z rozkładem brzeżnym Ys. W szczególności „dane” spadną blisko linii prostej, jeśli gęstość Xs (f (x)) jest powiązana z gęstością Ys (g (y)) w ten sposób:

$f(x) = g((y-a)/b)$ dla niektórych stałych i . To stawia ich w rodzinie o skali lokalizacji. Niestety nie jest to metoda uzyskiwania prognoz ...$a$$b>0$

Dziwne, że najbardziej oczywisty kontrprzykład nadal nie występuje wśród odpowiedzi w najprostszej formie.

Niech .$Y = -X$

Jeśli sortujesz zmienne osobno i dopasowujesz model regresji do takich danych, powinieneś uzyskać coś w rodzaju (ponieważ podczas sortowania zmiennych, większe wartości jednej muszą odpowiadać większym wartościom drugiej).$\hat Y \approx X$

Jest to swego rodzaju „bezpośrednia odwrotność” wzoru, który być może zechcesz tutaj znaleźć.

Masz rację. Twój menedżer znalazłby „dobre” wyniki! Ale są bez znaczenia. Kiedy sortujesz je niezależnie, zyskujesz, że oba zwiększają się lub zmniejszają podobnie, co daje pozór dobrego modelu. Ale dwie zmienne zostały pozbawione ich rzeczywistej relacji i model jest niepoprawny.

To fabuła QQ, prawda? Użyłbyś go do porównania rozkładu x vs. y. Jeśli narysujesz posortowane wyniki relacji takie jak , wykres byłby krzywy, co wskazuje, że i dla niektórych próbek mają różne rozkłady.$x \sim x^2$$x$$x^2$$x$

Regresja liniowa jest zwykle mniej rozsądna (istnieją wyjątki, zobacz inne odpowiedzi); ale geometria ogonów i rozkład błędów pokazuje, jak daleko od podobnych rozkładów są.

Mam prostą intuicję, dlaczego tak naprawdę jest to dobry pomysł, jeśli funkcja jest monotonna :

Wyobraź sobie, że znasz dane wejściowe i są one uszeregowane, tj. i zakładamy, że jest nieznaną funkcją, którą chcemy oszacować. Możesz zdefiniować losowy model gdzie są niezależnie próbkowane w następujący sposób: gdzie jest równomiernie próbkowany z dyskretnego ustaw . Tutaj kontroluje wariancję. Na przykład nie powoduje hałasu, a daje niezależne wejścia i wyjścia.$x_1, x_2,\cdots, x_n$$x_i<x_{i+1}$$f:\Re\mapsto\Re$$y_i = f(x_i) + \varepsilon_i$$\varepsilon_i$

Mając na uwadze ten model, proponowana metoda „sortowania” twojego szefa ma doskonały sens: jeśli uszeregujesz dane, w jakiś sposób zmniejszysz ten rodzaj hałasu, a oszacowanie powinno być lepsze przy łagodnych założeniach.$f$

W rzeczywistości bardziej zaawansowany model zakłada, że są zależne, więc nie możemy obserwować 2 razy tego samego wyniku. W takim przypadku metoda sortowania może być nawet optymalna. Może to mieć silny związek z losowymi modelami rankingowymi, takimi jak losowe permutacje Mallow.$\varepsilon_i$

PS: Wydaje mi się niesamowite, jak pozornie proste pytanie może prowadzić do interesujących nowych sposobów ponownego przemyślenia modelu standardów. Proszę, dziękuję szefie!

Załóżmy, że masz te punkty na okręgu o promieniu 5. Obliczasz korelację:

import pandas as pd
s1 = [(-5, 0), (-4, -3), (-4, 3), (-3, -4), (-3, 4), (0, 5), (0, -5), (3, -4), (3, 4), (4, -3), (4, 3), (5, 0)]
df1 = pd.DataFrame(s1, columns=["x", "y"])
print(df1.corr())

   x  y
x  1  0
y  0  1

Następnie posortuj wartości x i y i ponownie wykonaj korelację:

s2 = [(-5, -5), (-4, -4), (-4, -4), (-3, -3), (-3, -3), (0, 0), (0, 0), (3, 3), (3, 3), (4, 4), (4, 4), (5, 5)]
df2 = pd.DataFrame(s2, columns=["x", "y"])
print(df2.corr())

   x  y
x  1  1
y  1  1

Dzięki tej manipulacji zmieniasz zestaw danych z korelacją 0,0 na jeden z korelacją 1,0. To jest problem.

Pozwól mi zagrać tutaj w Adwokata diabła. Sądzę, że wiele odpowiedzi przekonywało, że procedura szefa jest zasadniczo błędna. Jednocześnie proponuję kontrprzykład, który pokazuje, że szef mógł rzeczywiście zaobserwować poprawę wyników przy tej błędnej transformacji.

Myślę, że uznanie, że ta procedura mogła „zadziałać” dla szefa, może rozpocząć bardziej przekonujący argument: Jasne, zadziałało, ale tylko w tych szczęśliwych okolicznościach, które zwykle nie są w stanie wytrzymać. Następnie możemy pokazać - jak w doskonale przyjętej odpowiedzi - jak źle może być, gdy nie mamy szczęścia. Który jest przez większość czasu. W izolacji, pokazując szefa jak źle może być nie może przekonać go, ponieważ może on widziałem przypadek, gdy to robi poprawić rzeczy, a postać, że nasza wyobraźnia argument musi mieć wadę gdzieś.

Znalazłem te dane w Internecie i na pewno wydaje się, że regresja jest poprawiona przez niezależne sortowanie X i Y, ponieważ: a) dane są bardzo pozytywnie skorelowane, i b) OLS naprawdę nie radzi sobie z ekstremalnymi (wysokie -średnie) wartości odstające. Wysokość i waga mają korelację 0,19 z zawartą wartością odstającą, 0,77 z wyłączeniem wartości odstającej i 0,78 z X i Y niezależnie posortowanymi.

x <- read.csv ("https://vincentarelbundock.github.io/Rdatasets/csv/car/Davis.csv", header=TRUE)

plot (weight ~ height, data=x)

lm1 <- lm (weight ~ height, data=x)

xx <- x
xx$weight <- sort (xx$weight)
xx$height <- sort (xx$height)

plot (weight ~ height, data=xx)

lm2 <- lm (weight ~ height, data=xx)

plot (weight ~ height, data=x)
abline (lm1)
abline (lm2, col="red")

plot (x$height, x$weight)
points (xx$height, xx$weight, col="red")

Wydaje mi się więc, że model regresji w tym zestawie danych został ulepszony przez niezależne sortowanie (czarna kontra czerwona linia na pierwszym wykresie) i istnieje widoczna zależność (czarna kontra czerwona na drugim wykresie), ze względu na szczególny zestaw danych wysoce (pozytywnie) skorelowane i posiadające odpowiedni rodzaj wartości odstających, które szkodzą regresji bardziej niż tasowanie, które występuje, gdy niezależnie sortujesz x i y.

Ponownie, nie powiedzenie samodzielnego sortowania nie ma w ogóle nic sensownego, ani że jest to poprawna odpowiedź tutaj. Tylko że szef mógł zobaczyć coś takiego, co zdarzyło się działać w odpowiednich okolicznościach.

Jeśli wstępnie wybrał zmienne monotoniczne, to w rzeczywistości jest dość solidny. „Niewłaściwe modele liniowe” Google i „Robin Dawes” lub „Howard Wainer”. Dawes i Wainer rozmawiają o alternatywnych sposobach wyboru współczynników. John Cook ma krótką kolumnę ( http://www.johndcook.com/blog/2013/03/05/robustness-of-equal-weights/ ) na ten temat.

Pomyślałem o tym i pomyślałem, że jest tu jakaś struktura oparta na statystykach zamówień. Sprawdziłem i wydaje mi się, że menadżer nie jest tak szalony, jak się wydaje

Zamów współczynnik korelacji statystyki jako nowatorski pomiar skojarzenia z aplikacjami do analizy Biosignal

http://www.researchgate.net/profile/Weichao_Xu/publication/3320558_Order_Statistics_Correlation_Coefficient_as_a_Novel_Association_Measurement_With_Applications_to_Biosignal_Analysis/links/0912f507ed6f94a3c60000

Proponujemy nowy współczynnik korelacji oparty na statystykach zamówień i nierównościach w przestawianiu. Proponowany współczynnik stanowi kompromis między współczynnikiem liniowym Pearsona a dwoma współczynnikami opartymi na rangach, mianowicie rho Spearmana i tau Kendalla. Pochodne teoretyczne pokazują, że nasz współczynnik ma te same podstawowe właściwości, co trzy klasyczne współczynniki. Badania eksperymentalne oparte na czterech modelach i sześciu sygnałach biologicznych pokazują, że nasz współczynnik działa lepiej niż dwa współczynniki oparte na rangach przy pomiarze asocjacji liniowych; podczas gdy dobrze wykrywa monotoniczne nieliniowe skojarzenia, takie jak dwa współczynniki oparte na rangach. Obszerne analizy statystyczne sugerują również, że nasz nowy współczynnik ma doskonałą odporność na hałas, małą tendencyjność,