Próbujesz obliczyć indeks Gini w dystrybucji reputacji StackOverflow?

11

Próbuję obliczyć indeks Gini dla dystrybucji reputacji SO za pomocą SO Data Explorer. Równanie, które próbuję zaimplementować, jest następujące: Gdzie:= liczba użytkowników w witrynie; = identyfikator seryjny użytkownika (1 - 1 225 000); = reputacja użytkownika.

sol (S.) = \frac{1}{n - 1} (n + 1 - 2) (\frac{\sum_{ja = 1}^{n} (n + 1 - ja) y_{ja}}{\sum_{ja = 1}^{n} y_{ja}}))

$G(S)=\frac{1}{n-1}\left(n+1-2\left(\frac{\sum^n_{i=1}(n+1-i)y_i}{\sum^n_{i=1}y_i}\right)\right)$

n

$n$

i

$i$

y_{i}

$y_i$

i

$i$

Oto jak to zaimplementowałem (skopiowałem stąd ):

DECLARE @numUsers int
SELECT @numUsers = COUNT(*) FROM Users
DECLARE @totalRep float
SELECT @totalRep = SUM(Users.Reputation) FROM Users
DECLARE @giniNominator float
SELECT @giniNominator = SUM( (@numUsers + 1 - CAST(Users.Id as Float)) * 
                              CAST(Users.Reputation as Float)) FROM Users
DECLARE @giniCalc float
SELECT @giniCalc = (@numUsers + 1 - 2*(@giniNominator / @totalRep)) / @numUsers
SELECT @giniCalc

Mój wynik wynosi (obecnie) -0,53, ale nie ma sensu: nawet nie jestem pewien, jak mógłby stać się ujemny, a nawet w wartości abs, spodziewałbym się, że nierówność będzie znacznie bliższa 1, biorąc pod uwagę, jak reputacja rośnie, tym więcej masz.

Czy nieświadomie ignoruję pewne założenia dotyczące rozpowszechniania reputacji / użytkowników?

Co robię źle?

gini yossale
źródło

Masz rację, ale nie jestem pewien, czy rozumiem, dlaczego powinno to wpłynąć na obliczenia?

yossale,

3

Zgaduję, że twoje pytanie dotyczy natury i obliczeń indeksu Gini, a nie tego, jak zaimplementować to w SQL (popraw mnie, jeśli się mylę). Jeśli to drugie, powinniśmy migrować to do SO. Kontynuując moje założenie, skopiowałem twój kod z witryny z danymi SE, ale może to pomóc, jeśli możesz przepisać go w pseudokodzie dla tych, którzy mogą nie czytać dobrze SQL.

gung - Przywróć Monikę

@ dziękuję - pytam o obliczenia, a nie implementację SQL. Napiszę go pseudo kodem

yossale

1

Oto jak możesz to obliczyć za pomocą SQL:

with balances as (
    select '2018-01-01' as date, balance
    from unnest([1,2,3,4,5]) as balance -- Gini coef: 0.2666666666666667
    union all
    select '2018-01-02' as date, balance
    from unnest([3,3,3,3]) as balance -- Gini coef: 0.0
    union all
    select '2018-01-03' as date, balance
    from unnest([4,5,1,8,6,45,67,1,4,11]) as balance -- Gini coef: 0.625
),
ranked_balances as (
    select date, balance, row_number() over (partition by date order by balance desc) as rank
    from balances
)
SELECT date, 
    -- (1 − 2B) https://en.wikipedia.org/wiki/Gini_coefficient
    1 - 2 * sum((balance * (rank - 1) + balance / 2)) / count(*) / sum(balance) AS gini
FROM ranked_balances
GROUP BY date
ORDER BY date ASC
-- verify here http://shlegeris.com/gini

Wyjaśnienie znajduje się tutaj https://medium.com/@medvedev1088/calculating-gini-coefficient-in-bigquery-3bc162c82168

medvedev1088
źródło

12

Nie mogę SQLbardzo łatwo odczytać kodu, ale jeśli to pomoże, gdybym miał obliczyć współczynnik Giniego, zrobiłbym to (po prostu po angielsku).

$n$ $x$
$x$
$x$
$n$ $x$ $n \times \sum$
$1-(1/n)$
Voila!

Te kroki zacząłem od niezwykle prostego kodu w Rfunkcji (w pakiecie ineq ) do obliczenia współczynnika Giniego. Dla przypomnienia, oto ten kod:

> ineq::Gini
function (x) 
{
    n <- length(x)
    x <- sort(x)
    G <- sum(x * 1:n)
    G <- 2 * G/(n * sum(x))
    G - 1 - (1/n)
}
<environment: namespace:ineq>

Wygląda nieco podobnie do twojego SQLkodu, ale tak jak powiedziałem, tak naprawdę nie mogę tak łatwo odczytać!

smillig
źródło

Dziękuję bardzo ! Brakowało mi części sortowania! to wiele wyjaśnia ...

yossale

Wspaniały. Chciałbym wiedzieć, jaka jest wartość, więc może zostaw komentarz, kiedy dokonasz obliczeń!

smillig

Cóż, kiedy sumuję wartości (tj. Jeśli jest 10 osób, z 1,3 lub 5 punktami, to mam tylko 3 stopnie: 1: 3,2: 5,3: 10) i pomnożę (ile z tym wynikiem) * wynik * (ranga wyniku) Dostałem -0,98, co miałoby sens, gdyby nie zły znak. Ale nie jestem pewien, jak mój mały skrót wpływa na skalę gini

yossale

3 \times 2

$3 \times 2$

4 \times 3.5

$4 \times 3.5$

4

sol = \frac{2)}{μ n (n - 1)} \sum_{ja \neq jot} | x_{ja} - x_{jot} |

$G = \frac 2{\mu n(n-1)}\sum_{i\neq j} |x_i - x_j|$

μ

$\mu$

x

$x$

StasK
źródło

1

Dodanie do odpowiedzi @smillig na podstawie podanego równania:

SELECT something AS x into #t FROM sometable
SELECT *,ROW_NUMBER() OVER(ORDER BY x) AS i INTO #tt FROM #t
SELECT 2.0*SUM(x*i)/(COUNT(x)*SUM(x))-1.0-(1.0/COUNT(x)) AS gini FROM #tt

Dałem mi na moim zestawie testowym:

0,45503253636587840

Który jest taki sam jak ineq bibliotek R Gini (x)

Chris
źródło

; Z t AS (WYBIERZ CAST (dochód AS FLOAT) AS x FROM #data), tt AS (SELECT *, ROW_NUMBER () OVER (ORDER BY x) AS i FROM t) SELECT 2.0 * SUM (x * i) / ( COUNT (x) * SUMA (x)) - 1,0 - (1,0 / COUNT (x)) JAKO gini FROM tt

Chris

Próbujesz obliczyć indeks Gini w dystrybucji reputacji StackOverflow?

Odpowiedzi: