Hallo,
ich habe eine Umfrage mit 70 Leuten gemacht. Diese habe ich in 2 Gruppen eingeteilt, die ungefähr gleich groß sind.
Bei meiner Umfrage gibt es Fragen mit 5 Antwortmöglichkeiten.
Wie hoch muss ich da das Signifikanzniveau legen???
Wäre dankbar, wenn mir jemand helfen könnte.
Hallo!
Es gibt keine allgemeine Vorschrift, wie hoch das Signifikanzniveau zu wählen ist.
Bei der Überprüfung einer Alternativ-Hypothese kommt es hier vor allem auf die Folgen einer falschen Entscheidung an: Medikamententests brauchen u. U. eine niedrigere Irrtumswahrscheinlichkeit als 5%. In sozialwissenschaftlichen Fragestellungen ist eine Festsetzung von 5% absolut üblich.
Interessant ist aber auch die Teststärke abzubilden (wenn nicht apriori bereits geschehen), d.h. die Wahrscheinlichkeit für einen Fehler der 2.ten Art. Hier kann eine Poweranalyse durchgeführt werden.
Ansonsten kann auch die Bestimmung von Konfidenzintervallen hilfreich sein (Erstezt meinem Gefühl nach z.B. in der Medizin zunehmend den Signifikanztest, obwohl es eigentlich dasselbe ist).
Lieben Gruß
Patrick
[Bei dieser Antwort wurde das Vollzitat nachträglich automatisiert entfernt]
Hallo!
Es gibt keine allgemeine Vorschrift, wie hoch das
Signifikanzniveau zu wählen ist.
Stimmt. „Eingenbürgert“ haben sich aber die 5% - so sehr, dass man kaum davon weg kommt.
Bei der Überprüfung einer Alternativ-Hypothese kommt es hier
vor allem auf die Folgen einer falschen Entscheidung an:
Medikamententests brauchen u. U. eine niedrigere
Irrtumswahrscheinlichkeit als 5%. In sozialwissenschaftlichen
Fragestellungen ist eine Festsetzung von 5% absolut üblich.
Das ist die relevante Frage! Andererseits ist es schwer zu argumetieren, wieso man sein alpha ändert, wenn man wirklich firm in den Sachen ist.
Interessant ist aber auch die Teststärke abzubilden (wenn
nicht apriori bereits geschehen), d.h. die Wahrscheinlichkeit
für einen Fehler der 2.ten Art. Hier kann eine Poweranalyse
durchgeführt werden.
Post-hoc Power-Analysen haben allerings keinen Sinn, da sie nur den Signifikanztest in anderer Art widerspiegeln.
Ansonsten kann auch die Bestimmung von Konfidenzintervallen
hilfreich sein (Erstezt meinem Gefühl nach z.B. in der Medizin
zunehmend den Signifikanztest, obwohl es eigentlich dasselbe
ist).
Es ist dasselbe und du hast recht, dass zunehmend CI’s berechnet werden: Zum Glück! Man sollte immer Punktschätzer, CI und P-Wert angeben um ein möglichst genaues Bild zu präsentieren.
Grüße,
JPL
Hallo!
Es gibt keine allgemeine Vorschrift, wie hoch das
Signifikanzniveau zu wählen ist.Stimmt. „Eingenbürgert“ haben sich aber die 5% - so sehr, dass
man kaum davon weg kommt.
Es scheint fast so.
Bei der Überprüfung einer Alternativ-Hypothese kommt es hier
vor allem auf die Folgen einer falschen Entscheidung an:
Medikamententests brauchen u. U. eine niedrigere
Irrtumswahrscheinlichkeit als 5%. In sozialwissenschaftlichen
Fragestellungen ist eine Festsetzung von 5% absolut üblich.Das ist die relevante Frage! Andererseits ist es schwer zu
argumetieren, wieso man sein alpha ändert, wenn man wirklich
firm in den Sachen ist.
Wieso?
Wenn man 5% einfach zu hoch als Unsicherheitsfaktor findet, darf man seine Sicherheit doch ändern wie man möchte?
Dazu ist doch das Alphafehlerniveau eigentlich gedacht.
In Publikationen ist es nur deswegen schwer abzuändern, weil man in Versuchung geraten könnte, posthoc (z.B. bei einem Z-Wert von 3 im Signifikanztest) zu sagen, man hätte ein wesentlich niedrigeres Niveau gewählt. Das Problem ist also nicht, dass die 5% unbedingt sinnvoll sind, sondern dass es Mißbrauch geben könnte bei Wahlmöglichkeit ohne die Konvention zu beachten. Im Übrigen genau dasselbe Argument, warum ich EInseitige Hypothesen (wenn/dann) genausogut abschaffen würde - denn immerhin könnte ein „Fuscher“ so sein Signifikanzniveau u.U. zu Unrecht um den Faktor 2 günstiger aussehen lassen. Posthoc ist eben schwer nachzuvollziehen, was apriori gelaufen ist.
Aber in einer klinischen Studie ist dies nicht so, wenn z.B. bei unabhängigen Instituten ein Monitoring läuft. Hier hat man (apriori) die freie Wahl. Bei der Diplomarbeit auch, wenn man sich mind. 2x mit seinem Betreuer trifft…
Interessant ist aber auch die Teststärke abzubilden (wenn
nicht apriori bereits geschehen), d.h. die Wahrscheinlichkeit
für einen Fehler der 2.ten Art. Hier kann eine Poweranalyse
durchgeführt werden.Post-hoc Power-Analysen haben allerings keinen Sinn, da sie
nur den Signifikanztest in anderer Art widerspiegeln.
Oder um das sogenannte „Null-Ritual“ durchzuführen und die Annahme der Nullhypothese abzusichern.
Ansonsten kann auch die Bestimmung von Konfidenzintervallen
hilfreich sein (Erstezt meinem Gefühl nach z.B. in der Medizin
zunehmend den Signifikanztest, obwohl es eigentlich dasselbe
ist).Es ist dasselbe und du hast recht, dass zunehmend CI’s
berechnet werden: Zum Glück! Man sollte immer Punktschätzer,
CI und P-Wert angeben um ein möglichst genaues Bild zu
präsentieren.
Ich finde es im Prinzip auch gut, aber würde die Abbildung z.B. zusätzlich zu einem T-Test statt anstatt eines T-Tests präferieren.
Wenn unabhängige Gruppenmittelwerte nebeneinander abgebildet werden, ist die Darstellung dann etwas unsauber (für mein Gefühl), wenn sich z.B. Probleme ungleicher Varianzen ergeben (Behrens-Fisher-Problem). Da ist mir ein solider Welch-Test lieber, als auf gut Glück zwei Konfidenzintervalle nebeneinander abzubilden.
Lieben Gruß
Patrick
Wieso?
Wenn man 5% einfach zu hoch als Unsicherheitsfaktor findet,
darf man seine Sicherheit doch ändern wie man möchte?
Dazu muss man natürlich wissen, wohin man das Alpha ändern muss um seine Sicherheit zu erhöhen. Und dazu, was „Sicherheit“ in dem Kontext der Hyothese eigentlich bedeutet.
Dazu ist doch das Alphafehlerniveau eigentlich gedacht.
In Publikationen ist es nur deswegen schwer abzuändern, weil
man in Versuchung geraten könnte, posthoc (z.B. bei einem
Z-Wert von 3 im Signifikanztest) zu sagen, man hätte ein
wesentlich niedrigeres Niveau gewählt. Das Problem ist also
nicht, dass die 5% unbedingt sinnvoll sind, sondern dass es
Mißbrauch geben könnte bei Wahlmöglichkeit ohne die Konvention
zu beachten. Im Übrigen genau dasselbe Argument, warum ich
einseitige Hypothesen (wenn/dann) genausogut abschaffen würde
- denn immerhin könnte ein „Fuscher“ so sein Signifikanzniveau
u.U. zu Unrecht um den Faktor 2 günstiger aussehen lassen.
Posthoc ist eben schwer nachzuvollziehen, was apriori gelaufen
ist.
Aber in einer klinischen Studie ist dies nicht so, wenn z.B.
bei unabhängigen Instituten ein Monitoring läuft. Hier hat
man (apriori) die freie Wahl. Bei der Diplomarbeit auch, wenn
man sich mind. 2x mit seinem Betreuer trifft…
Genau, wer sich vroher festlegt hat mehr Möglichkeiten. Wir wissen aber wohl beide, dass in den meisten Studien dies eben nicht Fall nicht ist.
Post-hoc Power-Analysen haben allerings keinen Sinn, da sie
nur den Signifikanztest in anderer Art widerspiegeln.Oder um das sogenannte „Null-Ritual“ durchzuführen und die
Annahme der Nullhypothese abzusichern.
Was aber ein Irrglaube ist. Die Post-Hoc-Power eines Tests ist invers zum gefundenen P-Wert und bietet damit keine weitere Erkenntnis über die Sicherheit der geprüften Hypothese.
Es ist dasselbe und du hast recht, dass zunehmend CI’s
berechnet werden: Zum Glück! Man sollte immer Punktschätzer,
CI und P-Wert angeben um ein möglichst genaues Bild zu
präsentieren.Ich finde es im Prinzip auch gut, aber würde die Abbildung
z.B. zusätzlich zu einem T-Test statt anstatt eines T-Tests
präferieren.
Wenn unabhängige Gruppenmittelwerte nebeneinander abgebildet
werden, ist die Darstellung dann etwas unsauber (für mein
Gefühl), wenn sich z.B. Probleme ungleicher Varianzen ergeben
(Behrens-Fisher-Problem). Da ist mir ein solider Welch-Test
lieber, als auf gut Glück zwei Konfidenzintervalle
nebeneinander abzubilden.
Da hab ich mich wohl unsauber ausgedrückt. Zwei Konfis zu zeigen und daraus (graphisch) einen Unterschied zu zeigen ist natürlich Unsinn. Einen vergleichenden Test braucht man auf jeden Fall - und das Ergebnis soll dann durch P-wert, Konfi und Punktschätzer (und wer noch möchte Teststatistik) präsentiert werden.
Viele Grüße,
Tyll