Hallo,
ich habe folgende Frage zur Alpha-Fehler-Korrektur. Ich möchte 4 t-Tests für abhängige Stichproben machen, d.h. ich möchte für 4 versch. Bedingungen zwei Werte vergleichen. Alle 8 Mittelwerte kommen aus der gleichen Stichprobe.
Der einfachste Weg wäre es, eine Bonferroni-Korrektur zu nehmen. Die ist aber sehr konservativ und berücksichtigt auch nicht (glaub ich), dass es abhängige Daten sind.
Was wären angemessene Wege der Alpha-Fehler-Kumulation?
Vielen Dank und beste Grüße,
Jan
Hallo,
Was genau meinst du damit:
Alle 8
Mittelwerte kommen aus der gleichen Stichprobe.
Eine Stichprobe hat eine Mittelwert. Wie kann ich mehrere unterschiedliche Mittelwerte aus ein und der selben Stichprobe berechnen?
Der einfachste Weg wäre es, eine Bonferroni-Korrektur zu
nehmen. Die ist aber sehr konservativ und berücksichtigt auch
nicht (glaub ich), dass es abhängige Daten sind.
Das mit der Abhängigkeit habe ich noch nicht verstanden (s.o.). Abgesehen davon kann man statt der Bonferroni- auch die Holm-Korrektur (manchmal auch Bonferroni-Holm genannt) anwenden. Das ist eine „step-down“-Prozedur, die auf der Bonferroni-Methode aufbaut. Im Ggs. zur B-Methode berücksichtigt die H-Methode, dass sich bereits *abgelehnte* Nullhypothesen nicht mehr auf den kumulativen Fehler von noch zu testenden Hypothesen auswirken können. Die H-Methode bringt also die n p-Werte erstmal in eine Reihenfolge (von klein nach groß) und testet dann sequentiell. Der erste Test ist einer aus n Tests, und der wird Bonferroni-Korrigiert (also sig. wenn p*n 1 sind nicht sinnvoll).
Wenn man *sehr* viele Tests hat, kann man auch die Rate der falsch-positiven Ergebnisse kontrollieren (statt die famuily-wise error-rate, wie es die B- und H-Methoden tun). Die Kontrolle der sog. false-discovery rate erfolgt meist nach einem Verfahren von Benjamini und Hochberg. Das geht hier aber über’s Ziel. Wenn dich das weiter interessiert: http://www.math.tau.ac.il/~ybenja/MyPapers/benjamini…
VG
Jochen
Hi,
es gibt verschiedene Arten von Abhängigkeiten, i.e. zwischen Stichproben, zwischen Hypothesen und zwischen subjects.
Letztere sollte man auf jeden Fall vermeiden, denn alle Tests basieren auf der Annahme, dass die untersuchte Einheit unabhängig ist von der anderen. Das hängt dann eng mit abh. Stichproben zusammen - hier wird i.a. die abh. durch Differenzbildung aufgelöst oder mit Berücksichtigung der Kovarabzstruktur.
Bsp: 5 Leute geben an zwei terminen je eine Probe ab. die untersuchungseinheit ist die Probe, über die Zeit gesehen sind die abh. (Vor / Nach-Messung), über die Personen hinweg aber unabhängig. Durch diff = nach - vor hat man nur noch einen Wert pro Person, die dann unabh. sind.
abh. zwischen Hypothesen müssen nicht unbedingt etwas mit abh. zwischen den Untersuchungseinheiten zu tun haben.Massgeblich sind hier vor allem die Bedingungen, die erfüllt sein müssen, um die endaussage treffen zu können.
Bsp: die Proben von sind Blutproben von denen man die weißen Blutkörperchen, Hämatocrit, Hämoglobin und Macrophagen analysieren will.
Der Claim, den man nach der Analyse machen will ist, dass es in keiner Subgruppe eine erhöhung gibt. dazu müssen alle Hypothesen abgelhent werden, man hat also eine UND-verknüpfung und musst auf alle Hypothesen adjustieren. anders wäre der Fall, wenn Hämcrit der wichtigste, Hämglobin der 2. und die Zellzahlen an 3. und 4. Stelle wären und man eigentlich nur an der ersten interssiert ist ud der Rest ist nice to have. Dann kann man die Hypothesen in einer Reihenfolge bringen und solange zu 5% testen, bis man es nicht mehr schafft (sequential testing). Nun gibt es noch weit mehr Konstallationen, wie man die Hypothesen untereinander in abh. bringen kann und ebensoviele Vefahren, wie man das berücksichtigen kann (gatekeeping, alpha-spending, intersection-union, optimal subsets, …).
die „klassischen“ Verfahren wie Bonferroni, Holm, sidak, … gehen davon aus, dass alle Hypothesen simultan getestet werden und alle erfüllt sein müssen.
wenn du aber eine explorative Studie machst, dann kannst du das alles vergessen, hinschreiben, dass du explorativ arbeitest und zu 5% testen.
HTH, viele Grüße,
JPL
Hallo und danke für die ausführliche Antwort!
In deinem Beispiel mit den Blutwerten wäre meine Hypothese, dass sich einer der Werte erhöhen sollte, man aber noch nicht weiß, welcher. Eine genauere Hypothese wäre aufgrund der momentanen Befundlage nicht sinnvoll. Das würde dann doch für eine explorative Studie sprechen, oder? Mit welcher Begründung muss man bei einer explorativen Studie keine alpha-Fehler-Kumulation vornehmen?
Danke und Gruß,
Jan
Hi Jan,
die (stat.) Hypothesen waren nur Bsphaft und müssten natürlich genauer formuliert werden. Wenn man erhöhungen testen will, würde man superiority testen, d.h. x > y auf 2.5%.
Ob und wann es sich um eine explorative Studie handelt ist im Vorfeld zu definieren. Als „Regel“ könnte man sagen, dass man eigentlich noch keine ahnung hat, welcher er vielen parameter sich wie entwickeln wird und dass man keine Fallzahlplanung gemacht hat (richtg, die allermeisten Studien im Uni-Umfeld wären daher eher explorativ 
).
die Begründung bei einer explorer-Studie kein adjustment vorzunehmen ist, dass man diese Studie nutzt um dann wenige Parameter zu finden, mit denen man dann eine ordentlich geplante und gepowerte Studie durchführt um valide Aussagen treffen zu können. Diese muss dann auch das Thema multiplicity bearbeiten. das kann aber durchaus bedeuten, dass man das nur diskutiert, warum man es nicht macht. Denn bei safety studien würde eine adjustierung zwar nur stat. relevante Effekte detektieren, aber bei Sicherheit kann man eigentlich nicht konservativ genug sein und würde daher lieber zuviele (falsche) signifikanzen erzeugen als eine zuwenig - ein worst case approach ist das dann.
Du merkst, dass das ein gar nicht so leichtes Thema ist, allerdings hast du jetzt auch einen abris durch alle Facetten abbekommen, meistens reicht adjustierung für simultane Testes (also Holm, etc).
Viele grüße,
JPL