Kiedy traktujemy względną, znormalizowaną funkcję użyteczności jako pmf, jaka jest interpretacja entropii Shannona lub informacji Shannona?

10

Załóżmy, że $\Omega$ jest zbiorem wzajemnie wykluczających się wyników dyskretnej zmiennej losowej, a $f$ to funkcja użyteczności, w której $0 < f(\omega) \leq 1$ , $\sum_\Omega f(\omega) = 1$ itd.

Gdy $f$ jest równomiernie rozłożone $\Omega$ i $f$ jest funkcją masy prawdopodobieństwa , Shannon entropii $H(\Omega) = \sum_{\Omega}f(\omega)log\frac{1}{f(\omega)}$ jest zmaksymalizowane ( $=log|\Omega|)$ , a gdy jeden element w $\Omega$ ma całąmasę $f$ , entropia Shannona jest zminimalizowana (w rzeczywistości $0$ ). Odpowiada to intuicji na tematsurprisalu(lubzmniejszenia niepewności) oraz wyników iniepewności(lubspodziewanego surprisalu) i zmiennych losowych:

Kiedy $f$ jest równomiernie rozmieszczone, niepewność jest zmaksymalizowana, a im więcej wyników dla równomiernego rozkładu masy, tym bardziej jesteśmy niepewni.
Kiedy $f$ skupia całą swoją masę w jednym wyniku, nie mamy niepewności.
Kiedy przypisujemy wynikowi prawdopodobieństwo $1$ , nie otrzymujemy żadnych informacji („jesteśmy zaskoczeni”), kiedy faktycznie je obserwujemy.
Kiedy przypisujemy wynikowi prawdopodobieństwo coraz bliższe $0$ , obserwacja jego faktycznego występowania staje się coraz bardziej pouczająca („zaskakująca”).

(To wszystko nie mówi nic o znacznie bardziej konkretnej - ale mniej epistemicznej - kodującej interpretacji informacji / entropii Shannona.)

Jednakże, gdy $f$ ma interpretację funkcji użytkowych , istnieje sensical interpretacja lub $log\frac{1}{f(\omega)}$ ? Wydaje mi się, że mogą istnieć: $\sum f(\omega)log\frac{1}{f(\omega)}$

jeśli jako PMF reprezentuje równomierny rozkład na , to jako funkcja użyteczności odpowiada obojętności na wyniki, która nie może być większa * $f$ $\Omega$ $f$
funkcja użyteczności, w której jeden wynik ma całą użyteczność, a reszta nie ma żadnej (tak wypaczonej użyteczności, jak to możliwe), odpowiada bardzo silnym preferencjom względnym - brakowi obojętności.

Czy rozwija się odniesienie do tego? Czy coś przeoczyłem na temat ograniczeń porównywania funkcji masy prawdopodobieństwa i znormalizowanych narzędzi względnych względem dyskretnych zmiennych losowych?

* Zdaję sobie sprawę z krzywych obojętności i nie widzę, w jaki sposób mogą one być odpowiednie dla mojego pytania z różnych powodów, poczynając od skupienia się na kategorycznej przestrzeni próbki i na tym, że nie jestem zainteresowany „obojętnością” per se, ale raczej jak interpretować narzędzia jako prawdopodobieństwa i jak interpretować funkcjonały na prawdopodobieństwach, gdy (dyskretny) „rozkład prawdopodobieństwa”, o którym mowa, faktycznie lub (dodatkowo) ma interpretację funkcji użyteczności.

utility decision-theory preferences probability EM23
źródło

Nie mam odpowiedzi, ale twoje pytanie sprawia, że myślę o użyciu entropii w problemie uczciwego cięcia ciasta: en.wikipedia.org/wiki/Fair_cake-cutting Standardowy model polega na tym, że ciasto jest przedziałem [0, 1], i istnieje

agentów o różnych znormalizowanych miarach wartości w tym przedziale. Przyjmuje się, że miary są nieatomowe, ale nie ma dalszych założeń dotyczących ich „entropii”. Zastanawiające może być to, co możemy powiedzieć o problemach z wycinaniem ciast, w których funkcje użyteczności ograniczyły entropię.

n

$n$

Erel Segal-Halevi

3

Przed dyskusją Entropia Shannona należy omówić jeszcze jedną kwestię: wydaje się, że masz na myśli raczej kardynalną użyteczność niż porządek .

W obu przypadkach można oczywiście wyprowadzić „znormalizowane” funkcje narzędziowe. Ale pojęcie „względnej preferencji” można zdefiniować i zmierzyć tylko w kontekście kardynalnej użyteczności.

Problem nie pojawia się w dwóch skrajnościach, które opisujesz, ale we wszystkich możliwych przypadkach pośrednich.

Prosty przykład: załóżmy, że istnieją trzy „wyniki”, (powiedzmy, poziomy konsumpcji lub trzy różne towary w określonej ilości). Twoja funkcja narzędziowa przypisała im wartości $A, B, C$

V (A) = 1, V (B) = 9, V (C) = 90

$V(A) = 1, \;\;V(B) = 9,\;\; V(C) = 90$

W zwykłej użyteczności to nam tylko to mówi

A <_{p r} B <_{p r} C

$A <_{pr} B <_{pr} C$

Z pewnością możemy je znormalizować dzieląc przez aby uzyskać $100$

a ranking trzech wyników zostaje zachowany

U_{V} (A) = 0.01, U_{V} (B) = 0.09, U_{V} (C) = 0.9

$U_V(A)=0.01, \;\; U_V(B) = 0.09,\;\; U_V(C) =0.9$

Ale pod zwykłą użytecznością moglibyśmy równie dobrze użyć innej funkcji użytecznej, która by to przypisała

W (A) = 31, W (B) = 32, W (C) = 37

$W(A) = 31, \;\;W(B) = 32,\;\; W(C) = 37$

i uzyskaj

U_{W} (A) = 0.31, U_{W} (B) = 0.32, U_{W} (C) = 0.37

$U_W(A)=0.31, \;\; U_W(B) = 0.32,\;\; U_W(C) =0.37$

$V$ $W$

$W$ $V$

Czy znasz problemy związane z użytecznością kardynalną?

Alecos Papadopoulos
źródło

V

$V$

U

$U$

3

Po wymianie z OP w mojej drugiej odpowiedzi, popracujmy trochę z jego podejściem.

$X$ $X = \{x_1,...,x_k\}$ $\Pr(X=x_i)=p_i, i=1,...,k$

$X$ $u(x_i) > 0\; \forall i$

\begin{matrix} (1) & w (X) : w (x_{i}) = \frac{u (x_{i})}{\sum_{i = 1}^{k} u (x_{i})}, i = 1, . . ., k \end{matrix}

$w(X): w(x_i) = \frac {u(x_i)}{\sum_{i=1}^ku(x_i)},\;\;i=1,...,k \tag{1}$

i powiedziano nam to

\begin{matrix} (2) & w (x_{i}) = p_{i} \end{matrix}

$w(x_i) = p_i \tag{2}$

$w(x_i)$ $w(x_i)$

$w(x_i)$

\begin{matrix} (3) & E [w (X)] = \sum_{i = 1}^{k} p_{i} w (x_{i}) = \sum_{i = 1}^{k} p_{i}^{2} \end{matrix}

$E[w(X)] = \sum_{i=1}^kp_iw(x_i) = \sum_{i=1}^kp_i^2 \tag{3}$

$p_i$ $\sum_{i=1}^kp_i=1$

\begin{matrix} (4) & argmin E [w (X)] = p^{*} : p_{1} = p_{2} = . . . = p_{k} = 1 / k \end{matrix}

$\text{argmin} E[w(X)] = \mathbf p^*: p_1=p_2=...=p_k=1/k \tag {4}$

i uzyskaliśmy ogólny wynik:

$X$

$w(X)$ $E[w(X)]=1/k$

$w(X)$

Mam jednak wrażenie, że OP nie ma na myśli tego. Przeciwnie, traktuje Entropię Shannona jako metrykę, która ma pewne pożądane właściwości algebraiczne i być może może zmierzyć zwięźle w znaczący sposób coś interesującego.

Dokonano tego wcześniej w dziedzinie ekonomii, szczególnie w organizacji przemysłowej, gdzie zbudowano wskaźniki koncentracji rynku („stopień konkurencji / monopolistyczna struktura rynku”). Zwracam uwagę na dwa, które wydają się tutaj szczególnie istotne.

$n$ $s_i$

H = \sum_{i = 1}^{n} s_{i}^{2}

$H = \sum_{i=1}^n s_i^2$

$w(X)$

R_{e} = - \sum_{i = 1}^{n} s_{i} \ln s_{i}

$R_e = -\sum_{i=1}^n s_i\ln s_i$

Encaoua, D., i Jacquemin, A. (1980). Stopień monopolu, wskaźniki koncentracji i zagrożenie wejścia. Międzynarodowy przegląd ekonomiczny, 87–105. , zapewniają aksjomatyczne wyprowadzenie „dopuszczalnych” wskaźników stężenia, tj. określają właściwości, które taki wskaźnik musi posiadać. Ponieważ ich podejście jest abstrakcyjne, uważam, że przydatne może być to, do czego PO chce zbadać i nadać znaczenie.

Alecos Papadopoulos
źródło

1

$v=v*2-0.5$

W związku z tym należy najpierw podać znaczącą skalę stosunku do użyteczności. Jednym ze sposobów na to jest interpretacja naturalnego poziomu użyteczności 0. Bez tej specyfikacji entropia nie ma znaczenia.

HRSE
źródło

Kiedy traktujemy względną, znormalizowaną funkcję użyteczności jako pmf, jaka jest interpretacja entropii Shannona lub informacji Shannona?

Odpowiedzi: