Hallo Anna,
auch wenn deine Prüfung schon gelaufen ist, schreibe ich mal die Antwort, falls noch andere das gleiche Problem haben sollten…
von vorn: angenommen wir haben eine endliche Menge an Daten
a = (n_1, n_2,\ldots, n_N) \in \mathbb N^N
von denen wir glauben, dass sie Poisson-verteilt sind. Den wahren Parameter mu kennen wir zwar nicht, aber wir wissen, dass die (bedingte) Wahrscheinlichkeit, genau diese Daten zu erheben/messen
P_\mu(a) = P_\mu(n_1 | n_2 | \ldots |n_N) = \prod_{i=1}^N P_\mu (n_i)
beträgt, da wir annehmen, dass die einzelnen Datenpunkte stochastisch unabhängig sind. Wir möchten nun den wahrscheinlichsten Wert von mu berechnen. Dazu fassen wir mu als Variable auf, leiten ab, bestimmen so das Maximum, und erhalten
\mu_{ML}(a) = \frac{1}{N} \sum_{i=1}^N n_i = \bar a
Fein, so weit so gut. Nun stellen wir uns vor, mu sei der wahre Parameter, nach dem die Daten Poisson-verteilt sind. Wie wahrscheinlich ist es einen womöglich anderen Wert mu_ML zu berechnen?
Dazu addieren wir die Wahrscheinlichkeiten von allen N elementigen Datensätzen, deren Mittelwert mu_ML ist (welche uns das Kronecker-Delta herauspickt), aber deren tatsächliche Wahrscheinlichkeit durch mu bestimmt wird:
P_N(\mu_{ML}|\mu) = \sum_{a \in \mathbb N^N} \delta_{\mu_{ML}, \bar a}\ P_\mu(a)
An dieser Stelle machen wir uns kurz klar, dass der Parameter mu der Poissonverteilung zwar kontinuierlich ist, der ML-Schätzer, also sein wahrscheinlichster Wert bei gegebenen Daten, nur diskrete Werte annimmt:
\mu_{ML}(a) = \frac{1}{N} \sum_{i=1}^N n_i \Rightarrow N \mu_{ML} \in \mathbb N
Die Wahrscheinlichkeitsverteilung von mu_ML ist also diskret. (beispielsweise wird man für N=2 bei keinem Datensaz mu_ML=5/3 erhalten)
Eine Möglichkeit wäre mu_ML weiterhin als kontinuierlich zu betrachten, dann wechselt man zur Wahrscheinlichkeitsdichte indem man das Kronecker-Delta gegen gewichtete Delta-Distribution tauscht, oder man bleibt bei diskreten mu_ML:
Die N-tupel mit gleichem Mittelwert bilden im R^N eine (N-1)-dimensionale Hyperebene, zur Veranschaulichung ein kleines Bild mit N=2 und mu=mu_ML=8, auf der x bzw. y Achse sind n_1 bzw. n_2 aufgetragen, die Datenpunkte zeigen p(n_1)*p(n_2) für (n_1+n_2 )/2 = 8. Die Gitterpunkte mit gleichem mu liegen also auf parallelen Geraden (bei zwei-elementigen Datensätzen).
Somit können wir alle möglichen Werte von mu_ML durchnumerieren
\mu_i = \frac{i}{N}
für den Erwartungswert erhalten wir dann:
E(\mu_{ML}|\mu)_N = \sum_{i=0}^\infty \mu_i P_N(\mu_i | \mu) = \sum_{i=0}^\infty \mu_i \sum_{a \in \mathbb N^N} \delta_{\mu_i, \bar a} \ P_{\mu}(a)
= \sum_{a \in \mathbb N^N} \sum_{i=0}^\infty \delta_{\mu_i, \bar a} \ \mu_i P_{\mu}(a) = \sum_{a \in \mathbb N^N} \bar a P_{\mu}(a)
Um weiter zu vereinfachen nutzen wir eine Eigenschaft der Poisson-Verteilung, ihre Reproduktivität:
\sum_{i=0}^s P_{\mu_1}(s) P_{\mu_2}(s-i) = P_{\mu_1 + \mu_2}(s)
und dass der Erwartungswert einer Poisson-verteilten Zufallsvariable
E(n) = \sum_{i=0}^\infty i P_\mu(i) = \mu
ist.
Betrachten wir zuerst den Fall N=2:
E(\mu_{ML} | \mu)_2 = \sum_{n_1 = 0}^\infty \sum_{n_2 = 0}^\infty \frac{n_1 +n_2}{2} P_{\mu}(n_1)P_{\mu}(n_2)
Denken wir an das Bild sehen wir, dass die Summen-Indizes entlang der x und y Achse verlaufen. Der Trick ist nun, das Gitter so zu durchlaufen, dass man die Reproduktivität nutzen kann: ein Index s steht für die diagonalen Geraden, wie die fett markierte, und ein Index i durchläuft die s Punkte auf einer solchen Geraden:
n_1 = i, \quad n_2 = s-i \Rightarrow n_1 + n_2 = s
E(\mu_{ML} | \mu)_2 = \sum_{s=0}^\infty \sum_{i=0}^s \frac{s}{2} P_{\mu}(i) P_{\mu}(s-i) = \frac{1}{2} \sum_{s=0}^\infty s P_{2 \mu}(s) = \frac{1}{2} E(s) = \mu
Dieses Ergebnis besagt, dass der ML-Schätzer erwartungstreu ist, das heißt, sein Erwartungswert ist gleich dem wahren Parameter, nach dem die Daten verteilt sind. Zu guter letzt noch zum allgemeinen Fall:
E(\mu_{ML} | \mu)_N = \sum_{n_1 = 0}^\infty \ldots \sum_{n_N = 0}^\infty \frac{1}{N}(\sum_{k=1}^N n_k)\prod_{k=1}^N P_\mu(n_k)
Genau wie im zweidimensionalen Fall nehmen wir einen Indexwechsel vor:
n_1 = i_1, \qquad n_k = i_k - i_{k-1} \Rightarrow \sum_{k=1}^N n_k = i_N
und erhalten:
E(\mu_{ML} | \mu)_N = \sum_{i_N = 0}^\infty \ldots \sum_{i_2 = 0}^{i_3} \sum_{i_1 = 0}^{i_2} \frac{i_N}{N} P_\mu(i_1)\prod_{k=2}^N P_\mu(i_k-i_{k-1})=
\frac{1}{N} \sum_{i_N = 0}^\infty i_N \sum_{i_{N-1} = 0}^{i_N} P_\mu(i_N - i_{N-1}) \ldots \sum_{i_2 = 0}^{i_3} P_\mu(i_3 - i_2) \sum_{i_1 = 0}^{i_2} P_\mu(i_2 - i_1) P_\mu(i_1) =
\frac{1}{N} \sum_{i_N = 0}^\infty i_N \sum_{i_{N-1} = 0}^{i_N} P_\mu(i_N - i_{N-1}) \ldots \sum_{i_2 = 0}^{i_3} P_\mu(i_3 - i_2) P_{2 \mu}(i_2) =
\frac{1}{N} \sum_{i_N = 0}^\infty i_N \sum_{i_{N-1} = 0}^{i_N} P_\mu(i_N - i_{N-1}) \ldots P_{3 \mu}(i_3) = \frac{1}{N} \sum_{i_N = 0}^\infty i_N P_{N \mu}(i_N) = \frac{1}{N} N \mu = \mu
Die Erwartungstrue gilt also für Datensätze mit beliebig vielen Elementen.
Viele Grüße 