Naives Entscheidungsmodell

Problem

Wie kann OSEG entscheiden ein Projekt zu unterstützen oder nicht?

Die Antwort ist doch klar: wir nutzen unser gesamtes Wissen – wir machen eine Umfrage. Nun sind nicht alle Menschen Experten in Allem. Wie machen wir diese Umfrage so geschickt, dass die Antwort möglichst richtig ist? Diese Frage möchten wir hier beantworten.

Unswer Hauptwerkzeug ist mathematische Modellierung mit sehr einfachen Modellen. Auch wenn die Realität sehr komplex ist, können wir aus einfachen Beispielen viel lernen.

Hintergrund

Diese Aufgabe entstand während des Hackathons 2019. Eine Gruppe von OSEG soll entscheiden ob OSEG ein Projekt mit offiziell unterstüzt. Moe hat ein Verfahren vorgeschlagen: Umfrage von OSEG nicht Experten, OSEG Experten und speizeillen OSEG Leuten damit alles rechtlich korrekt ist.

Ich werde hier mein naives mathematisches Modell dazu erstellen. Es ist naiv, weil ich kein Experte auf diesem Gebiet bin – welch eine Ironie 😬. Ich werde hier zuerst meine Fragen und Annahmen sammeln und dann gucken, was Profis dazu sagen.

Mathematisches Modell

Unser Problem soll möglichst einfach sein. Wir gehen von $n$ Menschen aus. Alle diese Menschen haben unterschiedlichen Wissenstand. Sie müssen eine Frage mit "ja" oder "nein" beantworten. Diese Antwort kann objektiv korrekt oder falsch sein. Wir müssen diese Antworten so schlau kombinieren, dass unser Ergebnis so korrekt wie möglich ist.

Mensch

Wir modellieren jeden Menschen durch eine Zufallsvariable $X_{i}$, $i\in =\{1,,\ldots ,n\}$. Jeder Mensch beantwortet eine Frage mit "ja" oder "nein". Das bedeutet $X_{i}\in \{ja,nein\}$. Wir nehmen an, dass die Menschen, die Fragen unabhänging von einenader beantworten.

Wirklichkeit

Wir modellieren die Wirklichkeit, als eine Zufallsvariable $W\in \{ja,nein\}$. Sie repräsentiert die richtige Antwort "ja" oder "nein". Bevor wir Menschen fragen, haben wir überhaupt keine Ahnung, was die richtige Antwort ist, daher gilt für die Wahrscheinlichkeit $P(W=ja)=P(W=nein)=1/2$.

Wissen

Jeder Mensch hat unterschiedliches Wissen. Das drücken wir durch unterschiedliche Wahrscheinlichkeiten, die richtige Antwort zu erraten

$$p_{i}:=P(X_{i}=ja|W=ja):=P(X_{i}=nein|W=nein).$$

Hier haben wir gleichzeitig angenommen, dass der Mensch gleich gut eine "nein"- und eine "ja"-Antwort erraten kann.

Weil die Menschen unabhängig von einenader die Frage beantworten, gilt für jede Untermenge $I\subset \{1,\ldots ,n\}$

$${\begin{aligned}P{\big (}\bigcap _{i\in I}X_{i}=ja|W=ja{\big )}&=\prod _{i\in I}P(X_{i}=ja|W=ja)\\P{\big (}\bigcap _{i\in I}X_{i}=ja|W=nein{\big )}&=\prod _{i\in I}P(X_{i}=ja|W=nein).\end{aligned}}$$

Entscheidung basierend auf einer Umfrage

Unsere Entscheidung ist eine Funktion $f(p_{1},\ldots ,p_{n},x_{1},\ldots ,x_{n},m)$.

• Parametren $(p_{1},\ldots ,p_{n})$
• Sie hängt von den Menschen Entscheidungen (x_1,\ldots,x_n) "ja" oder "nein".
• Einem Münzenwurf $m\in \{ja,nein\}$, wenn sie unentschieden ist.

$${\begin{array}{rrcl}f&:[0,1]^{n}\times {\{ja,nein}\}^{(n+1)}&\longrightarrow &\{ja,nein\}\\&(p_{1},\ldots ,p_{n},x_{1},\ldots ,x_{n},m)&\mapsto &f(p_{1},\ldots ,p_{n},x_{1},\ldots ,x_{n},m)\end{array}}$$

Die Entscheidungen aller Menschen können wir mit einer Menge $J\subset \{1,\ldots ,n\}$ ausdrücken. Diese Menge enthält alle Indizes, die die Frage mit "ja" beantwortet haben. Das Komplement dieser Menge $J^{c}$ in $\{1,\ldots ,n\}$ representiert die "nein"-Entscheidungen.

Mathematische Lösung

Nachdem alle Menschen ihre Antworten gegeben haben, können wir berechnen mit welcher Wahrscheinlichkeit die Reailtät auch mit "ja" antwortet:

$$P({\text{richtige Antwort ja}})=P{\big (}W=ja|\bigcap _{i\in J}X_{i}=ja,\bigcap _{i\in J^{c}}X_{i}=nein{\big )}.$$

Mit Bayes Formula gilt

$$P{\big (}W=ja|\bigcap _{i\in J}X_{i}=ja,\bigcap _{i\in J^{c}}X_{i}=nein{\big )}={\frac {P(\bigcap _{i\in J}X_{i}=ja,\bigcap _{i\in J^{c}}X_{i}=nein|W=ja)\cdot P(W=ja)}{P(\bigcap _{i\in J}X_{i}=ja,\bigcap _{i\in J^{c}}X_{i}=nein|W=ja)\cdot P(W=ja)+P(\bigcap _{i\in J}X_{i}=ja,\bigcap _{i\in J^{c}}X_{i}=nein|W=nein)\cdot P(W=nein)}}.$$

Wir kürzen überall $P(W=nein)=P(W=nein)=1/2$, dann gilt

$$P(W=ja|\bigcap _{i\in J}X_{i}=ja,\bigcap _{i\in J^{c}}X_{i}=nein)={\frac {P(\bigcap _{i\in J}X_{i}=ja,\bigcap _{i\in J^{c}}X_{i}=nein|W=ja)}{P(\bigcap _{i\in J}X_{i}=ja,\bigcap _{i\in J^{c}}X_{i}=nein|W=ja)+P(\bigcap _{i\in J}X_{i}=ja,\bigcap _{i\in J^{c}}X_{i}=nein|W=nein)}}.$$

Dadurch, dass die Menschen unabhängign von einander die Etscheidungen treffen, gilt:

$$P(W=ja|\bigcap _{i\in J}X_{i}=ja,\bigcap _{i\in J^{c}}X_{i}=nein)={\frac {\prod _{i\in J}P(X_{i}=ja|W=ja)\prod _{i\in J^{c}}P(X_{i}=nein|W=ja)}{\prod _{i\in J}P(X_{i}=ja|W=ja)\prod _{i\in J^{c}}P(X_{i}=nein|W=ja)+\prod _{i\in J}P(X_{i}=ja|W=nein)\prod _{i\in J^{c}}P(X_{i}=nein|W=nein)}}.$$

Jetzt setzen wird die definierten Wahrscheinlichkeiten für richtige Antworten $P(X_{i}=ja|W=ja)=P(X_{i}=nein|W=nein)=p_{i}$ und damit Wahrscheinlichkeiten für falsche Antworten $P(X_{i}=nein|W=ja)=P(X_{i}=ja|W=nein)=1-p_{i}$ ein und erhalten

$$P(W=ja|\bigcap _{i\in J}X_{i}=ja,\bigcap _{i\in J^{c}}X_{i}=nein)={\frac {\prod _{i\in J}p_{i}\prod _{i\in J^{c}}(1-p_{i})}{\prod _{i\in J}p_{i}\prod _{i\in J^{c}}(1-p_{i})+\prod _{i\in J}(1-p_{i})\prod _{i\in J^{c}}p_{i}}}.$$

Uns interessiert, ob diese Wahrscheinlichkeit größer ist als die Wahrscheinlichkeit für eine falsche Antwort. Das ist

$$P({\text{richtige Antwort ja}})>P({\text{falsche Antwort ja}})\Leftrightarrow P({\text{richtige Antwort ja}})>1-P({\text{richtige Antwort ja}})\Leftrightarrow P({\text{richtige Antwort ja}})>1/2.$$

Also wenn gilt

$${\begin{array}{rrl}&{\frac {\prod _{i\in J}p_{i}\prod _{i\in J^{c}}(1-p_{i})}{\prod _{i\in J}p_{i}\prod _{i\in J^{c}}(1-p_{i})+\prod _{i\in J}(1-p_{i})\prod _{i\in J^{c}}p_{i}}}&>1/2\\\Longleftrightarrow &\prod _{i\in J}p_{i}\prod _{i\in J^{c}}(1-p_{i})&>\prod _{i\in J}(1-p_{i})\prod _{i\in J^{c}}p_{i}.\end{array}}$$

Unsere Entscheidungsfunktion ist somit:

$$f:(p_{1},\ldots ,p_{n},x_{1},\ldots ,x_{n},m)={\begin{cases}ja&{\text{wenn }}\prod _{i\in J}p_{i}\prod _{i\in J^{c}}(1-p_{i})>\prod _{i\in J}(1-p_{i})\prod _{i\in J^{c}}p_{i}\\nein&{\text{wenn }}\prod _{i\in J}p_{i}\prod _{i\in J^{c}}(1-p_{i})<\prod _{i\in J}(1-p_{i})\prod _{i\in J^{c}}p_{i}\\m{\text{(ein Münzenwurf)}}&{\text{sonst}}.\end{cases}}$$

Interpretation der Lösung

Intuitive Ergebnisse

Viele Ergebnisse aus dem Modell sind intuitiv. Das ist schön - sie zeigen, dass das Model plausibel ist. Doch vorsichtig! Vetraue nie deiner Intuition bei der Lösung der stochastischen Problemen. Stochastik ist kontraintuitiv, desswegen muss man alle Ergebnisse formal begründen. Hier sind diese Ergebnisse:

"Wenn man nur begrenze Anzahl der Personen befragen kann, frag die schlauesten Menschen."

Begründung "$h$ (TODO: noch zu definierien) ist maximal wenn $p_{i}$ maximal sind." (für alle $p_{i}\geq 1/2$)

"Frag soviele Menschen wie möglich".

TODO: Formale Begründung aufschreiben.

Wenig intuitive Ergebnisse

"Wer häufig daneben liegt, ist ein Experte! Fragt ihn/sie und tu das Gegenteil."

Begründung $p_{i}/(1-p_{i})$ ist genau dann maximal wenn $(1-p_{i})/p_{i}$ minimal ist.

"Manchmal eine Person mit viel Erfahrung weiß **weniger** als zwei Personen mit wenig Erfahrung."

"Manchmal eine Person mit viel Erfahrung weiß **mehr** als zwei Persone nmit wenig Erfahrung."

Wir nummerieren die Mensche mit 1 für viel Erfahrung und 2, 3 mit wenig Erfahrung. Wir befragen sie. Wenn 1 sagt "Ja" aber 2 und 3 sagen "nein", wir wählen "ja" nur wenn

$$p_{1}\cdot (1-p_{2})\cdot (1-p_{3})>(1-p_{1})\cdot p_{2}\cdot p_{3}.$$

Wenn zwei weniger Erfahrene haben gleiche Erfolgrswahrscheinlichkeiten $p_{1}=p_{2}$ wir wählen "Ja" nur wenn gilt:

$${\begin{array}{rrl}&p_{1}\cdot (1-p_{2})^{2}&>(1-p_{1})\cdot p_{2}^{2}\\\Longleftrightarrow &p_{1}((1-p_{2})^{2}+p_{2}^{2})&>\cdot p_{2}^{2}\\\Longleftrightarrow &p_{1}&>{\frac {p_{2}^{2}}{(1-p_{2})^{2}+p_{2}^{2}}}.\end{array}}$$

Der Graph unten zeigt, wenn die Meinung "ja" der ersten Person, ist "gleich wichtig" als die Meinungen "nein" der anderen beiden Personen. Das sind alle Punkten unterhalb der Linie.

Referenzen

Youtube Kanal von Nikolai Osipov (Николай Николаевич Осипов), über kollektive Intelligenz. https://www.youtube.com/channel/UCuH_xeNX7KKIYHeZXaPO_OA

Notizen

"ja" und "nein" vs "richtig" und "falsch"

Mein erstes Modell war nicht mit "ja" und "nein" sondern mit "richtig" und "falsch". Dieses Modell verleiht dazu, eine Entscheidungsfunktion zu konstruieren die immer "richtig" ist, ohne die Antworten von Experten zu berücksichtigen. Das ist zu unrealistisch. Ich werde später mir dieses Modell nochmal ansehen und Zusammenhang zu dem "ja"-"nein"-Modell analysieren.