Ein Wahrscheinlichkeitsmaß dient dazu, den Begriff der Wahrscheinlichkeit zu quantifizieren und Ereignissen, die durch Mengen modelliert werden, eine Zahl im Intervall zuzuordnen. Diese Zahl repräsentiert dann die Wahrscheinlichkeit, mit der das durch die Menge Beschriebene eintritt. Man verwendet typischerweise die Notation , um dem Ereignis die Wahrscheinlichkeit zuzuordnen.
Ein einfaches Beispiel ist das Werfen eines fairen Würfels : Dem Ereignis , dass die Augenzahl 2 geworfen wird, wird die Wahrscheinlichkeit zugeordnet.
Das Bildmaß eines Wahrscheinlichkeitsmaßes unter einer Zufallsvariable nennt man Wahrscheinlichkeitsverteilung, Zufallsverteilung, Verteilung oder Wahrscheinlichkeitsgesetz.
Im Rahmen der Maßtheorie entsprechen die Wahrscheinlichkeitsmaße speziellen endlichen Maßen, die sich durch ihre Normiertheit auszeichnen.
Insbesondere in der Physik werden manche Wahrscheinlichkeitsverteilungen auch als Statistiken bezeichnet. Beispiel hierfür sind die Boltzmann-Statistik und die Bose-Einstein-Statistik.
Definition Gegeben sei eine Menge , der sogenannte Ergebnisraum, eine σ-Algebra auf dieser Menge, das Ereignissystem.
Dann heißt eine Abbildung
mit den Eigenschaften Normiertheit: Es ist σ-Additivität: Für jede abzählbare Folge von paarweise disjunkten Mengen aus gilt
ein Wahrscheinlichkeitsmaß oder eine Wahrscheinlichkeitsverteilung.
Die drei Forderungen Normiertheit, σ-Additivität und Werte im Intervall zwischen 0 und 1 werden auch die Kolmogorow-Axiome genannt.
Elementares Beispiel Ein elementares Beispiel für ein Wahrscheinlichkeitsmaß ist durch den Wurf eines fairen Würfels gegeben. Der Ergebnisraum ist gegeben durch
und enthält alle möglichen Ausgänge des Würfelns. Das Ereignissystem enthält alle Teilmengen des Ergebnisraumes, denen man eine Wahrscheinlichkeit zuordnen will. In diesem Fall will man jeder Teilmenge des Ergebnisraumes eine Wahrscheinlichkeit zuordnen, daher wählt man als Ereignissystem die Potenzmenge, also die Menge aller Teilmengen von .
Das Wahrscheinlichkeitsmaß lässt sich nun definieren als für alle ,
da man von einem fairen Würfel ausgeht. Jede Augenzahl ist demnach gleich wahrscheinlich. Interessiert man sich nun für die Frage, wie groß die Wahrscheinlichkeit ist, eine gerade Zahl zu würfeln, folgt aus der σ-Additivität
Wichtig ist hier, dass Wahrscheinlichkeitsmaße keine Zahlen, sondern nur Mengen als Argumente nehmen. Daher sind Schreibweisen wie streng genommen falsch und müssten korrekterweise lauten.
Wahrscheinlichkeitsverteilungen einer Zufallsvariable Eine Wahrscheinlichkeitsverteilung (oder kurz Verteilung) ist eine Funktion, welche Ereignissen ihre Wahrscheinlichkeiten zuordnet. Wir können auf zwei Arten über Wahrscheinlichkeitsverteilungen sprechen: als einzelnes Objekt ohne Zufallsvariable, als Verteilung einer Zufallsvariable.
Da wir uns aber immer eine nicht näher bestimmte Zufallsvariable im Hintergrund vorstellen können, fallen die Begriffe schlussendlich zusammen.
Wahrscheinlichkeitsverteilung ohne Zufallsvariable Hier betrachtet man eine Menge , welche in der Regel die reellen Zahlen , eine diskrete Menge oder ist. Auf dieser Menge können wir nun die Wahrscheinlichkeitsverteilung durch ihre Wahrscheinlichkeitsdichte respektive Wahrscheinlichkeitsfunktion ihre Verteilungsfunktion beschreiben. In manchen Fällen existiert die Dichte allerdings nicht. Da man für die formelle Definition der Verteilung die Maßtheorie benötigt, werden wir uns als Erstes auf einen wichtigen Spezialfall auf beschränken. Wir nehmen nämlich an, dass die Verteilung den Intervallen der Form für ihre Wahrscheinlichkeiten zuordnen kann.
Hat man dann eine Dichte, so erfüllt die Verteilung die Beziehung
Hat man eine Verteilungsfunktion, so erfüllt die Verteilung die Beziehung
Ob die Verteilung die Intervalle der Form quantifizieren kann, hängt von der gewählten σ-Algebra ab. In der Regel wählt man für die reellen Zahlen die borelsche σ-Algebra .
Formell handelt es sich bei einer Verteilung um ein Wahrscheinlichkeitsmaß auf einem messbaren Raum und man sollte die Menge durch eine abstrakte Menge ersetzen. Das heißt, es gilt dann bei einer Dichte
Bei einer diskreten Wahrscheinlichkeitsverteilung mit Wahrscheinlichkeitsfunktion ersetzt man das Integral durch eine Summe
Wahrscheinlichkeitsverteilung einer Zufallsvariable Hat man ein Wahrscheinlichkeitsmaß und eine Zufallsvariable auf einem Wahrscheinlichkeitsraum , so kann man die Wahrscheinlichkeitsverteilung der Zufallsvariable definieren.
Die Zufallsvariable ist eine Abbildung der Form
die Wahrscheinlichkeitsverteilung wird nun das Bildmaß von auf , dadurch betrachten wir eine Abbildung der Form
Die Wahrscheinlichkeitsverteilung ist dann definiert als
für alle .
Reelle Verteilungen Da sich demnach abstrakte und komplizierte Wahrscheinlichkeitsmaße durch Zufallsexperimente als konkrete Verteilungen von Zufallsvariablen auffassen lassen, ergeben sich die üblichen Notationen
für die Verteilungsfunktion von . Diese entspricht also offensichtlich der Verteilung eingeschränkt auf das System der Halbstrahlen – ein konkreter schnittstabiler Erzeuger der Borelschen -Algebra. Über den Maßeindeutigkeitssatz ergibt sich unmittelbar, dass durch die Verteilungsfunktion einer Zufallsvariablen immer auch die Verteilung in eindeutiger Weise bestimmt wird.
Eigenschaften als Maß Die folgenden Eigenschaften folgen aus der Definition. Es ist . Dies folgt aus der σ-Additivität und der Tatsache, dass die leere Menge disjunkt zu sich selbst ist. Subtraktivität: Für mit gilt . Monotonie: Ein Wahrscheinlichkeitsmaß ist eine monotone Abbildung von nach , das heißt, für gilt . Endliche Additivität: Aus der σ-Additivität folgt direkt, dass für paarweise disjunkte Mengen gilt:
σ-Subadditivität: Für eine beliebige Folge von Mengen aus gilt . σ-Stetigkeit von unten: Ist eine monoton gegen wachsende Mengenfolge in , also , so ist . σ-Stetigkeit von oben: Ist eine monoton gegen fallende Mengenfolge in , also , so ist . Prinzip von Inklusion und Exklusion: Es gilt
sowie .
Im einfachsten Fall entspricht dies
Konstruktion von Wahrscheinlichkeitsmaßen Verfahren bei Wahrscheinlichkeitsmaßen auf den ganzen oder reellen Zahlen Wahrscheinlichkeitsfunktionen Auf einer endlichen oder abzählbar unendlichen Grundmenge , versehen mit der Potenzmenge als σ-Algebra, also lassen sich Wahrscheinlichkeitsmaße durch Wahrscheinlichkeitsfunktionen definieren. Dies sind Abbildungen .
Die zweite Forderung liefert die Normiertheit des Wahrscheinlichkeitsmaßes. Dieses wird dann definiert durch .
Beispielsweise wäre im Falle eines fairen Würfels die Wahrscheinlichkeitsfunktion definiert durch .
Ein Beispiel für eine Wahrscheinlichkeitsfunktion auf einer abzählbar unendlichen Menge liefert die geometrische Verteilung, eine ihrer Varianten besitzt die Wahrscheinlichkeitsfunktion
wobei und . Die Normiertheit folgt hier mittels der geometrischen Reihe. Aus formaler Sicht ist wichtig, dass Wahrscheinlichkeitsfunktionen nicht wie Wahrscheinlichkeitsmaße Mengen als Argumente nehmen, sondern Elemente der Grundmenge . Daher wäre die Schreibweise falsch, korrekterweise heißt es .
Aus maßtheoretischer Sicht lassen sich Wahrscheinlichkeitsfunktionen auch als Wahrscheinlichkeitsdichten auffassen. Sie sind dann die Wahrscheinlichkeitsdichten bezüglich des Zählmaßes. Daher werden Wahrscheinlichkeitsfunktionen auch als Zähldichten bezeichnet. Trotz dieser Gemeinsamkeit wird streng zwischen den Wahrscheinlichkeitsfunktionen (auf diskreten Grundräumen) und den Wahrscheinlichkeitsdichten (auf stetigen Grundräumen) unterschieden.
Wahrscheinlichkeitsdichtefunktionen Auf den reellen Zahlen , versehen mit der Borelschen σ-Algebra lassen sich Wahrscheinlichkeitsmaße über Wahrscheinlichkeitsdichtefunktionen definieren. Dies sind integrierbare Funktionen , für die gilt: Positivität: Normiertheit:
Das Wahrscheinlichkeitsmaß wird dann für durch
definiert.
Das Integral ist hier ein Lebesgue-Integral. In vielen Fällen ist jedoch ein Riemann-Integral ausreichend, man schreibt dann anstelle von . Typisches Beispiel eines Wahrscheinlichkeitsmaßes, das auf diese Art definiert wird, ist die Exponentialverteilung. Sie besitzt die Wahrscheinlichkeitsdichtefunktion
Es ist dann beispielsweise
für einen Parameter . Das Konzept von Wahrscheinlichkeitsdichtefunktionen kann auch auf den ausgeweitet werden. Es lassen sich aber nicht alle Wahrscheinlichkeitsmaße durch eine Wahrscheinlichkeitsdichte darstellen, sondern nur diejenigen, die absolutstetig bezüglich des Lebesgue-Maßes sind.
Verteilungsfunktionen Auf den reellen Zahlen , versehen mit der Borelschen σ-Algebra lassen sich Wahrscheinlichkeitsmaße auch mit Verteilungsfunktionen definieren. Eine Verteilungsfunktion ist eine Funktion
mit den Eigenschaften ist monoton wachsend. ist rechtsseitig stetig: Für alle gilt .
Für jede Verteilungsfunktion gibt es ein eindeutig bestimmtes Wahrscheinlichkeitsmaß mit .
Umgekehrt kann mittels der obigen Identität jedem Wahrscheinlichkeitsmaß eine Verteilungsfunktion zugeordnet werden. Die Zuordnung von Wahrscheinlichkeitsmaß und Verteilungsfunktion ist somit nach dem Korrespondenzsatz bijektiv. Die Wahrscheinlichkeiten eines Intervalles enthält man dann über .
Insbesondere lässt sich auch jedem Wahrscheinlichkeitsmaß auf oder eine Verteilungsfunktion zuordnen. So ist die Bernoulli-Verteilung auf der Grundmenge definiert durch für einen reellen Parameter . Aufgefasst als Wahrscheinlichkeitsmaß auf den reellen Zahlen besitzt sie die Verteilungsfunktion .
Verteilungsfunktionen können auch für den definiert werden, man spricht dann von multivariaten Verteilungsfunktionen.
Allgemeine Verfahren Verteilungen Mittels der Verteilung einer Zufallsvariablen kann ein Wahrscheinlichkeitsmaß über eine Zufallsvariable in einen zweiten Messraum übertragen werden und erzeugt dort wieder eine entsprechend der Zufallsvariablen transformierte Wahrscheinlichkeitsverteilung. Dieses Vorgehen entspricht der Konstruktion eines Bildmaßes in der Maßtheorie und liefert viele wichtige Verteilungen wie beispielsweise die Binomialverteilung.
Normierung Jedes endliche Maß, welches nicht das Null-Maß ist, kann durch Normierung in ein Wahrscheinlichkeitsmaß umgewandelt werden. Ebenso kann man ein σ-endliches Maß in ein Wahrscheinlichkeitsmaß transformieren, dies ist aber nicht eindeutig. Ist eine Zerlegung des Grundraumes in Mengen endlichen Maßes wie in der Definition des σ-endlichen Maßes gefordert, so liefert beispielsweise
das Geforderte.
Produktmaße Eine wichtige Möglichkeit, Wahrscheinlichkeitsmaße auf großen Räumen zu definieren, sind die Produktmaße. Dabei bildet man das kartesische Produkt zweier Grundmengen und fordert, dass das Wahrscheinlichkeitsmaß auf dieser größeren Menge (auf gewissen Mengen) genau dem Produkt der Wahrscheinlichkeitsmaße auf den kleineren Mengen entspricht. Insbesondere unendliche Produktmaße sind wichtig für die Existenz stochastischer Prozesse.
Eindeutigkeit der Konstruktionen Bei der Konstruktion von Wahrscheinlichkeitsmaßen werden diese häufig nur durch ihre Werte auf wenigen, besonders einfach zu handhabenden Mengen definiert. Beispiel hierfür ist die Konstruktion mittels einer Verteilungsfunktion, die nur die Wahrscheinlichkeiten der Intervalle vorgibt. Die Borelsche σ-Algebra enthält aber weitaus komplexere Mengen als diese Intervalle. Um die Eindeutigkeit der Definitionen zu garantieren, muss man zeigen, dass kein zweites Wahrscheinlichkeitsmaß existiert, das auf den Intervallen die geforderten Werte annimmt, sich aber auf einer weiteren, möglicherweise sehr komplexen Menge der Borelschen σ-Algebra von dem ersten Wahrscheinlichkeitsmaß unterscheidet. Dies leistet der folgende Maßeindeutigkeitssatz aus der Maßtheorie: