Verallgemeinerte Inverse Beispiel Essay


Next:Schätzbare Funktionen Up:Schätzung der Modellparameter Previous:Schätzung der Modellparameter   Contents


Methode der kleinsten Quadrate; verallgemeinerte Inverse

  • Um einen MKQ-Schätzer für den Parametervektor zu konstruieren, bestimmen wir ähnlich wie in Abschnitt 3.1.2 einen Vektor , so daß der mittlere quadratische Fehler
    (17)

    für minimal wird.
  • Aus (17) folgt, daß jedes solche Extremum der Vektorgleichung
    (18)

    genügen muß.
  • Die Berechnung der partiellen Ableitungen in (18) ergibt somit, daß jeder Vektor , für den der in (17) gegebene mittlere quadratische Fehler minimal ist, eine Lösung des folgenden Gleichungssystems sein muß:
  • Mit anderen Worten: Jedes solche Extremum genügt den sogenannten Normalengleichungen
    (19)

Beachte
 
Definition
Eine Matrix heißt verallgemeinerte Inverse der Matrix , falls
(20)

Um zu zeigen, daß es immer eine Lösung der Definitionsgleichung (20) gibt, benutzen wir die folgende allgemeine Matrix-Darstellungsformel, die wir hier ohne Beweis angeben.

Mit Hilfe von Lemma 4.1 kann man nun zeigen, wie man zu Lösungen von (20) gelangen kann.

Beweis
 

Außerdem sind die folgenden Eigenschaften der verallgemeinerten Inversen nützlich.

Beweis
 
  • Definitionsgemäß gilt für die verallgemeinerte Inverse, daß
  • Hieraus und aus der Symmetrie der Matrix ergibt sich, daß

    d.h. die transponierte Matrix ist ebenfalls eine verallgemeinerte Inverse von .
  • Um die zweite Teilaussage (23) zu beweisen, betrachten wir die Matrix
  • Dann gilt

  • Hieraus folgt, daß .


In der Theorie linearer algebraischer Gleichungssysteme wird gezeigt, daß die Lösungsmenge der Normalengleichungen (19) die folgende Gestalt besitzt.

Theorem 4.3   Die allgemeine Lösung der Normalengleichungen hat die Form
(24)

wobei eine beliebige Lösung der Gleichung
(25)

und ein beliebiger -dimensionaler Vektor ist.
Beweis
 
  • Durch Einsetzen von (24) in die linke Seite der Normalengleichungen (19) erkennt man mühelos, daß durch (24) eine Lösung von (19) gegeben ist, denn es gilt

    wobei sich die letzte Gleichheit aus Lemma 4.3 ergibt.
  • Der Beweis, daß durch den Ansatz (24) sämtliche Lösungen von (19) gegeben sind, wird in den Übungen diskutiert, vgl. Übungsaufgabe 10.3.

Beachte
 
Beispiel
(einfaktorielle Varianzanalyse)
  • Zur Erinnerung: Im reparametrisierten Modell der einfaktoriellen Varianzanalyse (vgl. Fall des in Abschnitt 4.1.1 betrachteten Beispiels) ist die Designmatrix gegeben durch die Matrix
    (26)

    und der Parametervektor ist gegeben durch .
  • Man kann sich leicht überlegen (vgl. Übungsaufgabe 11.1), daß
    (27)

    und daß eine verallgemeinerte Inverse von gegeben ist durch
    (28)

  • Die Normalengleichungen (19), d.h. , besitzen somit die folgende Gestalt:

  • Wenn wir die Lösungen dieses Gleichungssystems lediglich in dem eingeschränkten Parameterraum suchen, wobei
    (29)

    dann ergibt sich die (eindeutig bestimmte) Lösung mit
    (30)

  • Man kann sich leicht überlegen (vgl. Übungsaufgabe 11.1), daß die in (30) gegebene Lösung der Normalengleichungen
  • Ohne die in (29) betrachtete Nebenbedingung gibt es jedoch keinen MKQ-Schätzer für , der gleichzeitig erwartungstreu ist, vgl. die Diskussion am Ende von Abschnitt 4.2.1.


Für das in (1) - (3) gegebene lineare Modell mit allgemeiner Designmatrix betrachten wir nun eine beliebige verallgemeinerte Inverse der Matrix und konstruieren eine Klasse von MKQ-Schätzern für den Parametervektor .

Beweis
 
  • Für jeden -dimensionalen Vektor gilt

    weil
    und
    wobei sich die letzte Gleichheit aus Lemma 4.3 ergibt.


Aus den Modellannahmen (3) über die Störgrößen und aus den allgemeinen Rechenregeln für den Erwartungswert bzw. die Kovarianz von reellwertigen Zufallsvariablen (vgl. die Abschnitte WR-4.1.3 bzw. WR-4.3.2) ergibt sich, daß Erwartungswertvektor und Kovarianzmatrix des MKQ-Schätzers die folgende Form haben.

Beweis
 
  • Aus und ergibt sich, daß
  • Außerdem gilt für beliebige


     
     


Beachte
 
  • Aus (32) ergibt sich insbesondere, daß der in (31) gegebene MKQ-Schätzer für nicht erwartungstreu ist.
  • Um dies zu zeigen, ist die folgende Eigenschaft des Ranges von Matrixprodukten nützlich, die wir hier ohne Beweis erwähnen.
Lemma 4.4   Seien beliebige natürliche Zahlen, und seien beliebige bzw. Matrizen. Dann gilt
(34)


Wir zeigen nun, daß es keinen MKQ-Schätzer für gibt, der gleichzeitig erwartungstreu ist. Insbesondere ist der in (31) gegebene MKQ-Schätzer für nicht erwartungstreu.

  • Weil wir voraussetzen, daß , ergibt sich aus Lemma 4.4, daß auch bzw.
  • Es gibt also ein mit .
  • Mit anderen Worten: Die Gleichung gilt nicht für jedes , d.h., der in (31) gegebene MKQ-Schätzer für ist nicht erwartungstreu.
  • Hieraus folgt, daß auch für jedes beliebige, jedoch fest vorgegebene die Gleichung
    nicht für jedes gilt.
  • Wegen Theorem 4.3 bedeutet dies, daß es keinen MKQ-Schätzer für gibt, der gleichzeitig erwartungstreu ist.


Next:Schätzbare Funktionen Up:Schätzung der Modellparameter Previous:Schätzung der Modellparameter   Contents Ursa Pantle 2003-03-10

Die (verallgemeinerte) inverse Verteilungsfunktion,[1] auch Quantil-Transformation[2] oder Quantil-Funktion[3] genannt, ist eine spezielle reelle Funktion in der Stochastik, einem Teilgebiet der Mathematik. Jeder Verteilungsfunktion kann eine verallgemeinerte inverse Verteilungsfunktion zugeordnet werden, die unter gewissen Bedingungen die inverse Funktion der Verteilungsfunktion ist. Die verallgemeinerte inverse Verteilungsfunktion ordnet jeder Zahl zwischen null und eins den kleinsten Wert zu, an dem die Verteilungsfunktion diese Zahl überschreitet.

Beschreibt beispielsweise eine Wahrscheinlichkeitsverteilung die Schuhgrößen der Europäer und ist die entsprechende Verteilungsfunktion gegeben, so gibt die zugehörige verallgemeinerte inverse Verteilungsfunktion an der Stelle diejenige Schuhgröße an, so dass mehr als 90 % der Europäer eine Schuhgröße kleiner als tragen.

Die verallgemeinerte inverse Verteilungsfunktion wird unter anderem zur Bestimmung von Quantilen herangezogen. Ebenso liefert sie einen Ansatz zur Konstruktion von Zufallsvariablen mit vorgegebenen Verteilungen. Derselben zugrunde liegenden Idee folgend dient sie bei der Inversionsmethode zur Erzeugung von Zufallszahlen mit vorgegebener Verteilung aus Standardzufallszahlen.

Definition[Bearbeiten | Quelltext bearbeiten]

Sei

eine Verteilungsfunktion in dem Sinne, dass sie monoton wachsend und rechtsseitig stetig ist sowie das Grenzwertverhalten und besitzt.

Dann heißt die Funktion

definiert durch

die verallgemeinerte inverse Verteilungsfunktion von .[1]

Bemerkungen zur Definition[Bearbeiten | Quelltext bearbeiten]

Zu beachten ist, dass die Verteilungsfunktion, zu der die verallgemeinerte inverse Verteilungsfunktion definiert wird, nicht notwendigerweise zu einer Wahrscheinlichkeitsverteilung gehören muss. Sie muss lediglich die vier oben genannten Eigenschaften (Monotonie, Rechtsstetigkeit und die zwei Grenzwerteigenschaften) erfüllen. Dies beruht darauf, dass die verallgemeinerte inverse Verteilungsfunktion zur Konstruktion von Wahrscheinlichkeitsverteilungen mit Verteilungsfunktion verwendet wird. Die Existenz solch einer Wahrscheinlichkeitsverteilung in der Definition zu fordern wäre damit zirkulär.

Die Notation der verallgemeinerten inversen Verteilungsfunktion als ist suggestiv zu verstehen, da die Verteilungsfunktion nicht immer invertierbar sein muss. Dies tritt zum Beispiel dann auf, wenn sie auf einem Intervall konstant ist. Ist jedoch invertierbar, so stimmen die Inverse der Verteilungsfunktion und die verallgemeinerte inverse Verteilungsfunktion überein. Da die verallgemeinerte inverse Verteilungsfunktion im Gegensatz zur Inversen immer existiert rechtfertigt dies die Benennung als "verallgemeinert".

Erläuterung[Bearbeiten | Quelltext bearbeiten]

Nach der Definition ist der Funktionswert der verallgemeinerten inversen Verteilungsfunktion an der Stelle die kleinste Zahl, an der die Verteilungsfunktion den Funktionswert überschreitet.

Ist die Verteilungsfunktion stetig, so erhält man diesen Wert anschaulich auf die folgende Art und Weise: Man zeichnet eine zur x-achse parallele Gerade, welche um den Wert nach oben verschoben ist. Diese schneidet die Verteilungsfunktion in einem Punkt oder einem Intervall. Schneidet sie die Verteilungsfunktion in einem Punkt , so ist der Funktionswert der verallgemeinerten inversen Verteilungsfunktion an der Stelle . Schneidet die Gerade die Verteilungsfunktion in einem Intervall, so wählt man denjenigen Punkt aus dem Intervall aus, der die kleinste -Koordinate besitzt.

Beispiel[Bearbeiten | Quelltext bearbeiten]

Betrachte als Beispiel die Verteilungsfunktion der Exponentialverteilung. Sie ist gegeben durch

wobei ein echt positiver reeller Parameter ist. Sie ist auf streng monoton wachsend und bildet dieses Intervall bijektiv auf ab. Somit existiert eine eindeutige Umkehrfunktion , welche sich durch Auflösen von

nach ergibt. Dies liefert die verallgemeinerte inverse Verteilungsfunktion

.

Im Allgemeinen ist es selten möglich, die verallgemeinerte inverse Verteilungsfunktion wie hier direkt zu berechnen. So sind die wenigsten Verteilungsfunktionen invertierbar, da sie häufig konstante Bereiche aufweisen. Beispiel hierfür sind die Verteilungsfunktionen von diskreten Verteilungen. Ebenso muss selbst bei Invertierbarkeit keine geschlossene Darstellung der Verteilungsfunktion existieren, auf die man zurückgreifen könnte. So muss die Verteilungsfunktion der Normalverteilung stets numerisch berechnet werden.

Eigenschaften[Bearbeiten | Quelltext bearbeiten]

Die verallgemeinerte inverse Verteilungsfunktion ist monoton wachsend, linksseitig stetig und damit eine Zufallsvariable bzw. messbar von nach . Versieht man den Messraum mit der stetigen Gleichverteilung oder äquivalent dem Lebesgue-Maß, so gilt:

Die Verteilung von unter ist das Wahrscheinlichkeitsmaß auf , welches die Verteilungsfunktion besitzt.

Jedes Wahrscheinlichkeitsmaß auf mit Verteilungsfunktion kann damit als Verteilung der Zufallsvariable

aufgefasst werden.

Verwendung[Bearbeiten | Quelltext bearbeiten]

Konstruktion von Zufallsvariablen vorgegebener Verteilung[Bearbeiten | Quelltext bearbeiten]

Zufallsvariablen werden als messbare Abbildungen zwischen Messräumen eingeführt. Ist auf dem Grundraum noch ein Wahrscheinlichkeitsmaß definiert, so kann ihre Verteilung definiert werden. Im Laufe der weiteren Abstraktion werden aber der Grundraum und zugehörige Wahrscheinlichketismaß immer unwichtiger im Gegensatz zur Verteilung der Zufallsvariable. Effektiv lässt sich zeigen, dass zu jeder Zufallsvariable mit einer vorgegebenen Verteilung ein passender Grundraum mit Wahrscheinlichkeitsmaß ergänzen lässt. Die verallgemeinerte inverse Verteilungsfunktion liefert für reelle Verteilungen solch ein Argument: Jede reellwertige Zufallsvariable mit vorgegebener Verteilung kann als Zufallsvariable auf dem Intervall von null bis eins, versehen mit der stetigen Gleichverteilung, aufgefasst werden.[4] Somit kann die Untersuchung von Zufallsvariablen und ihren Verteilungen von dem zugrunde liegenden Wahrscheinlichkeitsraum losgelöst werden.

Konstruktion stochastisch unabhängiger Zufallsvariablen[Bearbeiten | Quelltext bearbeiten]

Die obige Konstruktion wird teils auch verwendet, um die Existenz reellwertiger unabhängiger Zufallsvariablen zu zeigen. Dabei wird zuerst über ein Approximationsargument die Existenz von stochastisch unabhängigen, auf dem Intervall unabhängigen Zufallsvariablen gezeigt. Die Verkettung dieser Zufallsvariablen mit vorgegebenen verallgemeinerten inversen Verteilungsfunktionen sind dann reellwertige Zufallsvariablen mit vorgegebener Verteilung und wieder stochastisch unabhängig.[5]

Bestimmung von Quantilen[Bearbeiten | Quelltext bearbeiten]

Ist eine Wahrscheinlichkeitsverteilung (oder eine Zufallsvariable mit Verteilung ) gegeben, so liefert die zugehörige verallgemeinerte inverse Verteilungsfunktion , ausgewertet an der Stelle , stets ein -Quantil. Dies folgt direkt aus der Definition.

Literatur[Bearbeiten | Quelltext bearbeiten]

Einzelnachweise[Bearbeiten | Quelltext bearbeiten]

  1. ab Kusolitsch: Maß- und Wahrscheinlichkeitstheorie. 2014, S. 113.
  2. ↑ Georgii: Stochastik. 2009, S. 23.
  3. ↑Eric W. Weisstein: Quantile Function. In: MathWorld (englisch).
  4. ↑Achim Klenke: Wahrscheinlichkeitstheorie. 3. Auflage. Springer-Verlag, Berlin Heidelberg 2013, ISBN 978-3-642-36017-6, S. 43, doi:10.1007/978-3-642-36018-3. 
  5. ↑ Georgii: Stochastik. 2009, S. 72–73.

0 thoughts on “Verallgemeinerte Inverse Beispiel Essay”

    -->

Leave a Comment

Your email address will not be published. Required fields are marked *