Chi²-Anpassungstest - Teststärke

Wissenschaft Naturwissenschaften allgemein
#1

Hallo allerseits. Ich schlage mich jetzt seit ein paar Tagen mit statistischen Grundlagen herum.
Folgende Situation:

Für meine Diplomarbeit habe ich einen Datensatz ausgewertet. Um die Ergebnisse abzusichern, möchte ich untersuchen, ob einige ausgewählte Merkmale in ihrer Verteilung mit denen einer Bundesstatistik übereinstimmen.
Dazu wollte ich einen Chi²-Anpassungstest verwenden.
Nullhypothese ist also die Häufigkeitsverteilung der Klassen in der Bundesstatistik und H1 meine eigene Verteilung, richtig?

Nun habe ich ja das Problem, dass es wichtiger wäre, nachzuweisen, dass die Statistiken mit einer geringen Irrtumswahrscheinlichkeit ÜBEREINSTIMMEN (beta-Fehler klein). Ich kann sehr gut zeigen, dass man die Nullhypothese mit einem alpha-Fehler von kleiner 5% nicht verwerfen kann. Aber durch die gegebene Stichprobengröße (ca. 850) und die geringe Effektgröße (gerade wegen der guten übereinstimmung), geht mein beta-Fehler auf 80%. Also kann ich das Wichtige garnicht zeigen.

Ist es legitim einen höheren alpha-Wert zu nehmen? Wenn die Nullhypothese bsp. trotz einem alpha von 30% nicht verworfen werden kann, ist das ja nicht schlimm, oder? Und wo finde ich entsprechende Tabellen für größere alphas?

Vielen Dank für die Aufmerksamkeit.

#2

Auch hallo.

mit statistischen Grundlagen herum.

Welcher Fachbereich ? Aber das ist eigentlich egal: htt://www.reiter1.com

Dazu wollte ich einen Chi²-Anpassungstest verwenden.
Nullhypothese ist also die Häufigkeitsverteilung der Klassen
in der Bundesstatistik und H1 meine eigene Verteilung,
richtig?

Ja.

Nun habe ich ja das Problem, dass es wichtiger wäre,
nachzuweisen, dass die Statistiken mit einer geringen
Irrtumswahrscheinlichkeit ÜBEREINSTIMMEN (beta-Fehler klein).

Anschauliche Erklärung des BETA-Fehlers: der beta-Fehler ist die Fläche der Alternativhypothese im Bereich der Annahme der Nullhypothese.

Ich kann sehr gut zeigen, dass man die Nullhypothese mit einem
alpha-Fehler von kleiner 5% nicht verwerfen kann. Aber durch
die gegebene Stichprobengröße (ca. 850) und die geringe
Effektgröße (gerade wegen der guten übereinstimmung), geht
mein beta-Fehler auf 80%. Also kann ich das Wichtige garnicht
zeigen.

Siehe oben: je näher sich die Verteilungen kommen, desto höher wird der BETA-Fehlere…

Ist es legitim einen höheren alpha-Wert zu nehmen?

Ja

Wenn die
Nullhypothese bsp. trotz einem alpha von 30% nicht verworfen
werden kann, ist das ja nicht schlimm, oder?

Bei Anpassungstests nicht.

Und wo finde ich
entsprechende Tabellen für größere alphas?

http://www.reiter1.com/Glossar/Glossar.htm @ Chi Quadrat Verteilung
http://www.faes.de/Basis/Basis-Statistik/Basis-Stati…

HTH
mfg M.L.

#3

Danke für die schnelle Antwort.
Der Fachbereich ist Maschinenbau :smile:
Es geht um Verkehrsunfälle.

Ich habe die Zauberfunktion Compromise im Freeware-Tool GPower entdeckt. Demnach habe ich mit einem alpha von 0.347 nur noch (naja, 35% sind ja immernoch ein stolzer Wert) einen beta-Fehler von 0.347 und bleibe noch geradeso unter dem kritischen Chi²-Wert.
Fragt sich nur, wie ich das in der Diplomarbeit verkaufe („wenn man ein alpha von 35% ansetzt, kann man die Nullhypothese nicht ablehnen, der Fehler zweiter Ordnung beträgt dann auch 35%…“. Da muss ich mir mal überlegen, ob ich das sinnvollerweise nicht einfach weglassen.

Erik

#4

Huhu,

genau: GPower hätte ich dir empfohlen.

Aber dennoch liegt dein Kernproblem woanders:

Du mußt festlegen, welchen Effekt du mit welcher Sicherheit sehen willst (= Power = 1 - Beta-Fehler), und wie hoch dein alpha-Fehler (= Falsch-Positiven-Rate) sein darf. Dann kannst du ausrechnen, wie groß der Stichprobenumfang sein muß.

Eine post-hoc-Analyse der Power bringt nicht viel, weil die empirische Power - genau wie die anderen Größen auch alle - eine Zufallsvariable ist. Du kannst total daneben liegen. Das bringt also sehr wenig.

Wenn du OHNE A-PRIORI-Poweranalyse keine signifikanten Ergebnisse bekommst, kannst du das Ergebnis schlicht nicht interpretierbar. Mehr ist da nicht zu machen.

Ich habe die Zauberfunktion Compromise im Freeware-Tool GPower
entdeckt. Demnach habe ich mit einem alpha von 0.347 nur noch
(naja, 35% sind ja immernoch ein stolzer Wert) einen

Könntest Du akzeptieren, dass jede dritte Studie in der Art, wie du sie gemacht hast, falschen Alarm schlägt? Kannst Du Deine Kritiker davon überzeugen?

beta-Fehler von 0.347 und bleibe noch geradeso unter dem
kritischen Chi²-Wert.

Selbst dann wäre der Effekt auch nur in jeder dritten Studie nachzuweisen. Wer bitte soll sowas wiederholen wollen? Warum wiederholen, könntest Du jetzt fragen. Nun, wenn die Erkenntnisse wirklich neu sind und/oder nachhaltige Änderungen in Modellen oder im Verhalten (zB. in der Firmenstrategie, der Politik oder oder) nahelegen, dann ist man gut beraten, das nochmal abzuchecken. Dann aber werden schonmal viele die Ergebnisse anzweifeln, und dann bringt deine Studie nicht hinreichend Evidenz, da trotzdem nochmal nachzusehen. Wenn die Ergebnisse nix wirklich Neues bringen, wozu dann die Publikation?

Ohne bessere Daten kannst du eben nichts sagen. Du kannst die Daten aber als Pilotstudie gebrauchen, um Varianzen und Effekte zu schätzen, die du dann zur Power-Analyse nutzt. DU kannst sagen, dass die Pilotstudie gewisse Tendenzen erkennen läßt und dass man aus den Daten herleiten kann, dass eine Folgestudie so-und-so organisiert sein muss und so-und-so viele Daten braucht, um die geschätzen Effekte mit der-und-der Sicherheit zu finden. Das könnte ein Ergebnis deiner Arbeit sein.

LG
Jochen

1 Like
#5

Du mußt festlegen, welchen Effekt du mit welcher Sicherheit
sehen willst (= Power = 1 - Beta-Fehler), und wie hoch dein
alpha-Fehler (= Falsch-Positiven-Rate) sein darf. Dann kannst
du ausrechnen, wie groß der Stichprobenumfang sein muß.

Die Sache ist die, dass meine Stichprobengröße schon feststeht, weil ich bereits gesammeltes Datenmaterial für meine Studie verwende.
Ich könnte allenfalls die Stichprobengröße verringern, was mir aber den beta-Fehler erhöht.
Daher bleibt mir nicht viel anderes übrig als Post-Hoc Analysen oder die Aussage, dass der Umfang zu klein für Signifikanztests ist. Zum Vergleichen beliebiger Verteilungen habe ich auch nicht viele Alternativen zum Chi²-Test.

Könntest Du akzeptieren, dass jede dritte Studie in der Art,
wie du sie gemacht hast, falschen Alarm schlägt? Kannst Du
Deine Kritiker davon überzeugen?

Nein, das ist klar und deswegen werde ich auch den Chi-Quadrat Test für dieses Merkmal nicht benutzen, bzw. angeben dass der Test hier keine Aussage ermöglicht. Bei anderen Merkmalen erhalte ich eine Power von über 80% bei alpha von 0,01. Aber selbst das ist mir nicht aussagekräftig genug. Immerhin wäre der Fehler zweiter Art noch fast 20%.

Ohne bessere Daten kannst du eben nichts sagen. Du kannst die
Daten aber als Pilotstudie gebrauchen, um Varianzen und
Effekte zu schätzen, die du dann zur Power-Analyse nutzt. DU
kannst sagen, dass die Pilotstudie gewisse Tendenzen erkennen
läßt und dass man aus den Daten herleiten kann, dass eine
Folgestudie so-und-so organisiert sein muss und so-und-so
viele Daten braucht, um die geschätzen Effekte mit der-und-der
Sicherheit zu finden. Das könnte ein Ergebnis deiner Arbeit
sein.

So werde ich es wohl machen. Danke! Es MÜSSEN ja keine relevanten Ergebnisse bei einer Diplomarbeit rumkommen, man muss nur begründen können warum. :wink:

#6

Die Sache ist die, dass meine Stichprobengröße schon
feststeht, weil ich bereits gesammeltes Datenmaterial für
meine Studie verwende.
Ich könnte allenfalls die Stichprobengröße verringern, was mir
aber den beta-Fehler erhöht.

Das wäre ja Dummsinnig.

Daher bleibt mir nicht viel anderes übrig als Post-Hoc
Analysen oder die Aussage, dass der Umfang zu klein für
Signifikanztests ist. Zum Vergleichen beliebiger Verteilungen
habe ich auch nicht viele Alternativen zum Chi²-Test.

Vielleicht der Klomogorov-Smirnov-Test?

So werde ich es wohl machen. Danke! Es MÜSSEN ja keine
relevanten Ergebnisse bei einer Diplomarbeit rumkommen, man
muss nur begründen können warum. :wink:

Jup. Der Weg ist das Ziel!

LG
Jochen

#7

Anmerkung

Vielleicht der Klomogorov-Smirnov-Test?

-> Kolmogorov-Smirnov-Test
Mit WC hat das nämlich weniger zu tun :wink:

mfg M.L.

#8

Vielleicht der Klomogorov-Smirnov-Test?

-> Kolmogorov-Smirnov-Test
Mit WC hat das nämlich weniger zu tun :wink:

mfg M.L.

???

WC? Was meinst Du?

LG
jochen

#9

Vielleicht der Klo mogorov-Smirnov-Test?

WC? Was meinst Du?

Den Teil in fett. Man weiss ja nie, wer das falsch verstehen könnte und sich dann totgooglet :wink:

mfg M.L.

#10

Re^3: :smile:
ja, ja, wer lesen kann ist klar im Vorteil!

Ich werd’s in mein Stilblüten-Büchlein übernehmen.

Vielleicht der Klo mogorov-Smirnov-Test?

WC? Was meinst Du?

Den Teil in fett. Man weiss ja nie, wer das falsch verstehen
könnte und sich dann totgooglet :wink:

Richtig. Falls ich den Fragesteller (oder andere) mit meiner miserablen Orthographie aber Schwierigkeiten gestürzt haben sollte, hier nochmal die Korrektur:

Es muss natürlich Kolmogorov-Smirnov heißen (wird manchmal aber auch Kolmogoroff-Smirnoff oder Kolmogorow-Smirnow geschrieben!). Kurzform: KS-Test.

Links:

http://de.wikipedia.org/wiki/Kolmogorov-Smirnov-Test
http://www.faes.de/Basis/Basis-Statistik/Basis-Stati…
http://www.statistik.tuwien.ac.at/public/dutt/vorles…
http://www.physics.csbsju.edu/stats/KS-test.html

Ach ja, und natürlich:

http://www.reiter1.com/Glossar/KSO_KSA_Lilliefors.htm

:wink:

Oh, und hier es gibt für bis zu 1024 Werten je Gruppe auch noch ein online-KS-Tester:

http://www.physics.csbsju.edu/stats/KS-test.n.plot_f…

LG
Jochen

#11

Vielleicht der Klomogorov-Smirnov-Test?

Den Kolmogorov-Smirnov-Test kann ich nicht anwenden, da meine Werte nominalskaliert sind (Unfalltypen, Bundesländer etc.). Da ist mit Verteilungsfunktionen nicht viel zu holen. Trotzdem danke.