Hilfe! Statistikprobleme

Stief · 10. November 2019 um 06:53

Hallo zusammen,

ich glaub ich seh vor lauter Bäumen den Wald nicht mehr…

Hab eine sehr kleine Stichprobe (N=10). Hab eine Intervention durchgeführt und Messungen zu folgenden Messzeitpunkten:
vor Intervention(t1)
unmittelbar nach Intervention(t2)
6 Monate nach Intervention (t3)

zum Test, ob Unterschiede zwischen t1 und t2 bestehen, hab ich den t-Test für gepaarte Stichproben verwendet (Voraussetzung auf NV der Differenzen mit Kolmogoroff-Smirnov). Zur Prüfung auf Nachhaltigkeit hab ich den gleichen Test für die Zeitpunkte t1 und t3 verwendet.

Nun bin ich über das Thema Varianzanalyse mit Messwiederholung gestolpert und bin mir absolut nicht mehr sicher, was nun richtig oder falsch ist und wie ich vorgehen soll.

zu 4 aufeinanderfolgenden Zeitpunkten fand eine Zusammenhangsfragestellung bei der gleichen Stichprobe statt (ich hab also 4 Vier-Felder-Tafeln erhalten).
Darf ich 1 Vierfeldertafel aus den 4 Messungen bilden und mit McNemar auf Signifikanz testen?

Für Hilfe wäre ich überaus dankbar…

aiwendil · 10. November 2019 um 06:54

Hallo,

zum Test, ob Unterschiede zwischen t1 und t2 bestehen, hab ich
den t-Test für gepaarte Stichproben verwendet (Voraussetzung
auf NV der Differenzen mit Kolmogoroff-Smirnov). Zur Prüfung
auf Nachhaltigkeit hab ich den gleichen Test für die
Zeitpunkte t1 und t3 verwendet.

ja, kann man machen, wenn man an die paarweise bivariate Normalverteiltheit der Variablen zu den drei Zeitpunkten glaubt. Dann ist eine wichtige Voraussetzung des t-Tests gegeben. Die Prüfung der Einzelvariablen auf Normalverteiltheit ist nicht ausreichend. Darüber hinaus habe ich Zweifel, ob der K-S-Test bei diesem kleinen Stichprobenumfang zur Prüfung der Einzelvariablen geeignet ist. Die Power des Tests dürfte ziemlich klein sein. Dies ist in diesem Fall sehr wichtig, da man ja die Nullhypothese (Variable ist normalverteilt) beibehalten möchte und deshalb den beta-Fehler minmieren sollte, was bei kleiner Power (1-beta) nicht gegeben ist.

Nun bin ich über das Thema Varianzanalyse mit Messwiederholung
gestolpert

Im Prinzip kann man auch die ANOVA mit Meßwiederholung anwenden. Ihre Voraussetzungen sind allerdings noch schärfer als die des t-Tests. Wenn man an die Gültigkeit der Voraussetzungen glaubt, ist die ANOVA vorzuziehen, da sie eine größere Power als der t-Test hat. Bei den beiden t-Tests von oben würdest Du entweder das Alpha-Niveau adjustieren (2 Tests; Alpha=0.05 für beide Tests --> Alpha = 0.025 pro Test) oder den doppelten Alpha-Fehler in Kauf nehmen. Das mußt Du bei der ANOVA nicht, da sie simultan alle möglichen Kontraste testet und insgesamt ein Alpha-Fehler des gesetzten Niveaus „anfällt“.

und bin mir absolut nicht mehr sicher, was nun
richtig oder falsch ist und wie ich vorgehen soll.

Bei N = 10 würde ich an Deiner Stelle überlegen, ob ein nichtparametrischer Test vorzuziehen wäre, z.B. der Friedman-Test oder zwei Wilcoxon-Tests mit Alpha-Adjustierung.

zu 4 aufeinanderfolgenden Zeitpunkten fand eine
Zusammenhangsfragestellung bei der gleichen Stichprobe statt
(ich hab also 4 Vier-Felder-Tafeln erhalten).
Darf ich 1 Vierfeldertafel aus den 4 Messungen bilden und mit
McNemar auf Signifikanz testen?

Hast Du eine Fragestellung, die auf den Zusammenhang über alle 4 Meßzeitpunkte hinweg abzielt, oder interessieren Dich die Zusammenhänge pro Meßzeitpunkt?

Beste Grüße

Stief · 10. November 2019 um 06:54

Vielen Dank schon mal für die Antwort!
Bei der Zusammenhangsfrage geht es um folgendes:

Frage 1:
fühlten Sie sich nach dem Training entspannt? ja / nein

Frage 2:
Wie beurteilen Sie Ihre Schlafqualität nach dem Training? gut / schlecht

Beide Fragen wurden an 4 aufeinanderfolgenden Tagen erhoben.
Nun möchte ich herausfinden, ob zwischen Entspannung und gutem Schlaf ein Zusammenhang besteht.

Danke und liebe Grüße.

[Bei dieser Antwort wurde das Vollzitat nachträglich automatisiert entfernt]

aiwendil · 10. November 2019 um 06:55

Hallo,

Beide Fragen wurden an 4 aufeinanderfolgenden Tagen erhoben.
Nun möchte ich herausfinden, ob zwischen Entspannung und gutem
Schlaf ein Zusammenhang besteht.

wenn Du die Vierfeldertafeln kombinierst, dann sind die Meßwertpaare der gleichen Person nicht unabhängig voneinander. Die Unabhängigkeit der Beobachtungen ist jedoch eine der wichtigsten Voraussetzungen für den Test.

Noch eine Korrektur zu meinem ersten Posting: Beim t-Test für abhängige Stichproben muß nur die Verteilung der Differenzen normal sein.

Beste Grüße

Stief · 10. November 2019 um 06:55

Hallo,

leuchtet mir ein. Ich hab die Häufigkeitsverteilungen einzeln für Entspannung und für Schlaf berechnet, jeweils mit dem Q-Test von Cochran. Die Suche nach einem passenden Zusammenhangsmaß lief jedoch bisher erfolglos. Es scheint keins zu geben.
Hab überlegt, ob ich die einzelnen Vierfledertafeln, z.B. von Tag 1 und Tag 4 miteinander vergleiche. Allerdings müsste ich ein exaktes Verfahren verwenden, da ich beim McNemar-Test gegen die Auflage verstoße, dass die erwarteten Werte in a und d > 5 sein müssen.

Danke und viele Grüße

[Bei dieser Antwort wurde das Vollzitat nachträglich automatisiert entfernt]

JPL · 10. November 2019 um 06:57

Hallo

leuchtet mir ein. Ich hab die Häufigkeitsverteilungen einzeln
für Entspannung und für Schlaf berechnet, jeweils mit dem
Q-Test von Cochran. Die Suche nach einem passenden
Zusammenhangsmaß lief jedoch bisher erfolglos. Es scheint
keins zu geben.
Hab überlegt, ob ich die einzelnen Vierfledertafeln, z.B. von
Tag 1 und Tag 4 miteinander vergleiche. Allerdings müsste ich
ein exaktes Verfahren verwenden, da ich beim McNemar-Test
gegen die Auflage verstoße, dass die erwarteten Werte in a und
d > 5 sein müssen.

die >5 kommen nur daher, dass eine Approximation mit der Chi²-Verteilung versucht wird. McNemar ist zwar Chi²-verteilt, aber bei kleinen Fallzahlen passt es eben doch nicht so gut. Gute Statistikpakete bieten ohnehin auch einen exakten NcNem an.
Von den parametrischen Verfahren würde ich die Finger lassen, dazu ist deine Stichprobe zu klein.

Grüße,
JPL

Stief · 10. November 2019 um 06:57

OK. Ich hab den Sachverhalt jetzt mal so gelöst:
Nach Bortz (1998) ist der KSA-Test für kleine Stichproben geeignet zur Prüfung auf Normalverteilung. Weiters gilt lt. Bortz der t-Test als robust ggüber Verletzungen dieser Art. Er empfiehlt allerdings bei kleinen StPr auch die Verwendung nichtparametrischer Tests.

Aus diesem Grund hab ich, mit Angabe dieser Gründe, zur Absicherung zusätzlich den Wilcoxon-Test hergenommen. Das Signifikanzniveau hab ich nach Bonferoni korrigiert auf 0,025.

wäre das eine akzeptable Lösung?
die Zusammenhangsfragestellung bereitet mir weiter Kopfzerbrechen. Hat jemand eine „elegante“ Lösung parad?

Vielen Dank.

[Bei dieser Antwort wurde das Vollzitat nachträglich automatisiert entfernt]

JPL · 10. November 2019 um 06:57

OK. Ich hab den Sachverhalt jetzt mal so gelöst:
Nach Bortz (1998) ist der KSA-Test für kleine Stichproben
geeignet zur Prüfung auf Normalverteilung. Weiters gilt lt.
Bortz der t-Test als robust ggüber Verletzungen dieser Art. Er
empfiehlt allerdings bei kleinen StPr auch die Verwendung
nichtparametrischer Tests.

Aus diesem Grund hab ich, mit Angabe dieser Gründe, zur
Absicherung zusätzlich den Wilcoxon-Test hergenommen. Das
Signifikanzniveau hab ich nach Bonferoni korrigiert auf 0,025.

wäre das eine akzeptable Lösung?

die Zusammenhangsfragestellung bereitet mir weiter
Kopfzerbrechen. Hat jemand eine „elegante“ Lösung parad?

Vielen Dank.

*Hüstel* Bortz ist nett, ich hab ihn auch, aber ehrlich gesagt taugt er nicht zu mehr als eine Idee zu bekommen. er ist halt schon ein wenig älter… (also das Buch )
Nichtparametrisch ist auf jeden Fall gut, mit Adjustierung schon fortgeschritten.
Zwei Tests für dieselbe Sache taugen aber nichts, denn dann müstest du wieder adjusteren! Ausserdem hast du ein persönliches Entscheidungsproblem, wenn die beiden was anderes herausbekommen. Deswegen sollte man sich immer vorher für einen Test entscheiden und dann rechnen. Sonst besteht die Gefahr, dass im der Test mit dem günstigeren Ausgang herangezogen wird - und das ist sicher nicht legitim.

aber ganz klar ist das noch nicht: Du hast 4 2x2 Tafeln und willst jetzt WAS wissen? Ob pro Tafel ein Zusammenhang zwischen A und B besteht? Oder ob die Aussagen über die 4 Tafeln konsistent sind?

Grüße,
JPL

Stief · 10. November 2019 um 06:57

dass im Zweifelsfall der verteilungsfreie Test ausschlaggebend ist, würde ich vorher festlegen. Ich versteh nur nicht, wieso ich hier nochmals alpha adjustieren müsste.
genau, ich hab an 4 Tagen nacheinander die 2x2 Tafeln erhalten.
(Entspannung: ja / nein; Schlaf: gut / schlecht). Insgesamt möchte ich herausfinden, ob ein Zusammenhang zwischen Entspannung und Schlaf in diesem Fall besteht. Daher wollte ich alle Ereignisse in eine 2x2 Tafel zusammenfassen. Aber wie gesagt, ein anderer Weg wärr mir lieber, wenn´s ihn gibt…

[Bei dieser Antwort wurde das Vollzitat nachträglich automatisiert entfernt]

JPL · 10. November 2019 um 06:58

dass im Zweifelsfall der verteilungsfreie Test
ausschlaggebend ist, würde ich vorher festlegen. Ich versteh
nur nicht, wieso ich hier nochmals alpha adjustieren müsste.

Naja, vorher ist ja nun nicht mehr, du hast die Daten ja schon vor dir. Ich würde einfach ausschließlich den nicht-parametrischen betrachten.
Adjustieren ist ein langamtige und immer wieder diskutierte Problematik. Kurz zusammengefasst sollte man immer dann adjustieren, wenn mann Daten mehrmals verwendet.
Es gibt noch Abschwächungen dazu, die aber nur greifen, wenn man sich eine Prozedur (z.B. hirarchisches Testen) überlegt bevor man die erste Date erhoben hat. I.a. trifft das aber auf eure Versuche nicht zu.

genau, ich hab an 4 Tagen nacheinander die 2x2 Tafeln
erhalten.
(Entspannung: ja / nein; Schlaf: gut / schlecht). Insgesamt
möchte ich herausfinden, ob ein Zusammenhang zwischen
Entspannung und Schlaf in diesem Fall besteht. Daher wollte
ich alle Ereignisse in eine 2x2 Tafel zusammenfassen. Aber wie
gesagt, ein anderer Weg wärr mir lieber, wenn´s ihn gibt…

Aha. Darf ich fragen, warum du die Untersuchung wiederholt hast?
Grüße,
JPL

Stief · 10. November 2019 um 06:59

die wiederholung fand statt, weil wir sehen wollten ob / wie sich das schlafverhalten infolge der trainingseinheiten (–> entspannung) ändert. deshalb die täglichen datenerhebungen.
danke für deine hinweise, haben bis jetzt schon sehr weiter geholfen.

[Bei dieser Antwort wurde das Vollzitat nachträglich automatisiert entfernt]

JPL · 10. November 2019 um 06:59

die wiederholung fand statt, weil wir sehen wollten ob / wie
sich das schlafverhalten infolge der trainingseinheiten
(–> entspannung) ändert. deshalb die täglichen
datenerhebungen.
danke für deine hinweise, haben bis jetzt schon sehr weiter
geholfen.

Zum Helfen ist das Forum da.
Ansonsten: Für jede 2x2 Tafel kannst du die odds ratio berechnen und anhand des Konfidenzintervals sehen, ob der Wert von 1 verschieden ist (entspricht einer Wahrscheinlichkeit von 50%, dass jemand der gut geschlafen hat vorher trainiert hatte).
Wenn du das für alle vier macht, kannst du das eingfach plotten und dir so ganz deskriptiv anschauen, ob es eine Tendenz gibt. Das wäre ein erste Ansatz, der allerdings noch nicht die Abhängigkeiten berücksichtigt.
Grüße,
JPL