Hallo,
Ich habe eine kurze Frage zum Zusammenhang zwischen dem t-Test und dem Signifikanzniveau:
Verstehe ich das richtig, dass, vom groben Verständnis her, der t-Test eine Aussage darüber trifft, wie weit die standardisierte Differenz der Mittelwerte aus zwei Gruppen von 0 abweicht, also wie „unterschiedlich“ die Ergebnisse sind - und die Signifikanzwahrscheinlichkeit p sagt mir dann, wie wahrscheinlich es ist, dass bei dieser „Verteilung“, diesem Ergebnis, beide noch aus einer „Gruppe“ stammen (also die Nullhypothese bestätigt wird)?
Ich habe mich zum Signifikanzniveau (was ja wieder die Konstante ist - heißt sie immer alpha?)und zum t-Test belesen, finde aber den Zusammenhang noch etwas schwierig.
Über schnelle Hilfe wäre ich sehr dankbar!
Liebe Grüße,
Jessi
Hi!
An einem Beispiel wird auf http://www.musicians-on-stage.de/?p=396 gezeigt, was der p-Wert bedeutet.
Der p-Wert (nicht zu verwechseln mit dem Alpha) sagt dir, wie wahrscheinlich der gefundene t-Wert unter Annahme, dass die Nullhypothese (=Teilgruppen entstammen einer einzigen Population) gilt, maximal auftreten würde. Sagen wir, du erhältst einen p-Wert von 0,03, dann würde das bedeuten, dass unter der Annahme, dass die Nullhypothese gilt, dieser empirisch gefundene t-Wert eine Auftrittswahrscheinlichkeit von 3% oder geringer hat. Der p-Wert sagt aber nichts über die Größe des Unterschiedes direkt aus, da der p-Wert ja von den Freiheitsgraden (respektive deine Stichprobengröße) ebenfalls abhängig ist. Hierfür gibt es das Konzept der Effektstärke nach Cohen (findest du auch auf der genannten Seite).
Das Alpha-Niveau, das vor der Testdurchführung gesetzt wird, bedeutet, dass du dich mit einer Wahrscheinlichkeit von bspw. 5% einen Effekt annimmst, obwohl er in der Population nicht vorhanden ist (du entscheidest dich fälschlicherweise für den Effekt zu Ungunsten der eigentlich richtigen Nullhypothese). Demgegenüber gibt es einen beta-Fehler, nach dem du mit einer bestimmten Wahrscheinlichkeit bspw. 20% einen Effekt ablehnst, obwohl dieser in der Population vorhanden ist. Du kannst beide Fehlerarten nciht ausschließen, aber vorher quantifizieren und somit kontrolieren. Die Frage, die hieraus entsteht ist, wie groß deine Stichprobe sein muss. Keine Sorge, mit der Zeit wird einem das alles klar. Es gibt übrigens noch ein Programm, das ich dir empfehle: G*Power 3. Die Software ist frei erhältlich und total benutzerfreundlich.
Ich hoffe, ich konnte dir helfen, wenn nicht, melde dich einfach wieder!
Herzliche Grüße!
Ich kann z.Z. nicht antworten (Krankheitsbedingt)
das p sagt aus mit welcher wahrscheinlichkeit die BEOBACHTETEN mittelwerte noch weiter auseinanderliegen als in den erhobenen daten, und zwar unter der bedingung/annahme dass die TATSÄCHLICHEN mittelwerte identisch sind.
ist dieses p kleiner als alpha (ja, das heisst immer so) so schliesst man daraus dass die bedingung/annahme gar nicht gilt.
schöner gruß,
www.MaSta-Support.de
Hi Jessi,
ich denke du siehst das zu kompliziert. Die t-Tabelle (Kernstück des t-Tests) zeigt einfach womit die Standardabweichung bei kleinen Stichproben multipliziert werden muss um einen bestimmten Vertrauensbereich zu erhalten.
In Richtung n = ~ nähert sich das an den „normalen“ Faktor. Beispiel 95% Vertrauensbereich ist 1.960 * Standardabweichung. Das ist auch der Maximalwert der t-Tabelle.
Grüße
Robert
Hallo,
zunächst vielen Dank für (alle) Antworten.
Die Seite war sehr hilfreich. Ich habe leider das Problem, dass ich nur sehr wenige statistische Grundkenntnisse habe, diese aber trotzdem nun praktisch anwenden muss.
Den p-Wert als Wert für die Wahrscheinlichkeit des gefundenen t-Werts bei Annahme der Nullhypothese verstehe ich, aber beschreibt alpha immer einen Fehler? Ich bin bisher davon ausgegangen, dass das Signifikanzniveau eher meinen „Maßstab“ für die Ergebnisauswertung darstellt: also ab welchem alpha-Wert sehe ich den Unterschied als signifikant an. Für alle Variablen, die unter 5 % liegen, gehe ich davon aus, dass die beiden Stichproben unterschiedlich sind (auch wenn ich die 5 % Restwahrscheinlichkeit, dass sie es nicht sind, nicht ganz ausschließen kann). Sehe ich das richtig?
Und wäre demzufolge diese Aussage korrekt:
„Für die Prüfung der Kriteriumsvalidität wurden t-Tests eingesetzt, die Aussagen darüber treffen, ob sich die Differenz der Punktmittelwerte von zwei Stichproben (hier unterteilt nach Geschlecht, Schule oder Nominierung im Lehrerfragebogen) von Null unterscheidet. Je größer der Betrag des ermittelten t-Werts ist, desto größer sind die Abweichungen. (bzw. alternativ: Ähnliche Mittelwerte (die somit eine von Null nur schwach abweichende Differenz aufweisen) ergeben hier einen niedrigen t-Wert.) Der p-Wert zeigt an, zu welcher Wahrscheinlichkeit diese Abweichung/dieser t-Wert unter Annahme der Nullhypothese (also der Annahme, dass kein Unterschied besteht) eintritt. Das Signifikanzniveau, unterhalb welchem die Nullhypothese abgelehnt werden kann, wird auf 5% gesetzt.“
Nochmals vielen Dank!
Hi!
Also, grundsätzlich hört sich das alles schon richtig an bei dir! Es geht um die Frage, ob sich zwei Mittelwerte nur zufällig (ein bisschen Abweichung hat man ja immer) oder überzufällig unterscheiden, sodass wir einen bedeutsamen systematischen Einfluss annehmen, der durch die experimentelle Bedingung realisiert wurde. Das Signifikanzniveau ist dein Maß, wie viel Fehlertoleranz du dir selbst zu gestehen möchtest, dementsprechend ist es richtig, dass du sagst, dass ein p-Wert, der unter 5% liegt, als stat. bedeutsam interpretiert werden kann, da es eher unwahrscheinlich ist, das Zustandekommen deines empirischen t-Werts durch puren Zufall erklären zu wollen.
> Für alle Variablen, die unter 5 % liegen, gehe ich davon aus, dass die beiden Stichproben unterschiedlich sind (auch wenn ich die 5 % Restwahrscheinlichkeit, dass sie es nicht sind, nicht ganz ausschließen kann). Sehe ich das richtig?
–> Ja, genau. nur sprachlich eine kleine Ergänzung: es sind ja nicht die Variablen, sondern die Mittelwertsunterschiede der Variablen zweier Stichproben.
> Der p-Wert zeigt an, zu welcher Wahrscheinlichkeit diese Abweichung/dieser t-Wert unter Annahme der Nullhypothese (also der Annahme, dass kein Unterschied besteht) eintritt.
–> im Prinzip richtig. Wie gesagt, der p-Wert richtet sich nicht ausschließlich nach deinem empirischen t-Wert sondern auch nach deiner Gesamtstichprobengröße. Ein Bsp. ein t-Wert von 2,0 hat eine Auftrittswahrscheinlichkeit bei einer Stichprobengröße von insgesamt 4 Personen von 9%, bei 22 Personen nur noch 2,9% und bei 202 Personen 2,3%. Im ersten Fall wäre der t-test nicht signifikant ausgefallen. Es können somit auch inhaltlich bedeutungslose Differenzen bei einer enorm großen Stichprobe signifikant ausfallen. Deshalb benutzt man in der STatistik zusätzlich noch das Konzept der Effektstärken als Ergänzung.
Du kannst den Satz prinzipiell so stehen lassen, solltest aber wissen, dass der p-Wert nicht allein vom t-Wert abhängt, sondern ebenfalls auch von der Stichprobengröße.
Wie sieht denn dein Anwendungsfall ganz konkret aus? Vielelicht magst du mir mal ein bisschen was dazu erzählen? Dann unterstütze ich dich gerne in der Dateninterpretation oder kann deine Interpretation deiner Daten bestätigen.
Herzliche Grüße!
Hallo,
Vielen Dank für die schnelle Rückantwort. Ich fühle langsam immer wohler mit meinen statistischen Werten.
Ich schreibe gerade an meiner Magisterarbeit, stehe aber auch schon kurz vor der Abgabe, sodass ich jetzt nur noch die letzten sprachlichen Feinheiten überarbeiten kann. Darin habe ich einen Leistungstest zur Erfassung emotionaler Kompetenz bei Drittklässlern entworfen und im Hinblick auf die Einhaltung der Gütekriterien evaluiert.
Für die Prüfung der Kriteriumsvalidität wurde hier der t-Test durchgeführt, um zu prüfen, ob sich (wie aufgrund der theoretischen Grundlagen zu erwarten) die Leistungen von Mädchen und Jungen bzw. von den Kindern beider Schulen sowie von den in einzelnen Kategorien im Lehrerfragebogen nominierten und nicht nominierten Kindern unterscheiden. Es haben sich leider kaum signifikante Unterschiede ergeben, was bei einem ersten „Testentwurf“ aber vielleicht auch nachvollziehbar ist - meine Stichprobe war mit 34 Kindern auch nicht sehr hoch und zudem war die Aufgabenschwierigkeit größtenteils gering. Die Zusammenhänge, die zwischen den einzelnen Ergebnissen bestehen (und inwieweit diese kausal und nicht korrelativ sind) finde ich z.T. noch etwas komplex. Z.B. kann man sagen, dass aufgrund der geringen Schwierigkeit und der kleinen Stichprobe keine zuverlässigen Aussagen zur Validität gemacht werden können, oder eher, dass die Validität dadurch eingeschränkt war? Und ist das überhaupt in einer Ursache-Wirkung-Beziehung darstellbar?
Im Untersuchungsdesign habe ich das Vorgehen wie folgt beschrieben:
Um die herausgestellten Fragestellungen beantworten zu können, sollen in der vorliegenden Arbeit zunächst schriftliche Aufgabenformate zum Kompetenzbereich des Emotionswissens und -verständnisses entwickelt werden, welche im Deutschunterricht einer dritten oder vier-ten Klasse im Klassenverband eingesetzt werden können. Diese werden zunächst in einer Pilotstudie mit einer Stichprobe von insgesamt 36 Kindern aus zwei verschiedenen Schulen in Form einer einmaligen Querschnittserhebung erprobt. Die Datenaufbereitung und –analyse erfolgt mit Verfahren der deskriptiven Statistik bzw. – zur Überprüfung der Validität – der Inferenzstatistik (Signifikanztests). Explorativ werden zusätzlich erste Rückschlüsse auf bereichsspezifische Schwächen und Stärken und mögliche Förderansätze gezogen. Im Anschluss daran können eine Überarbeitung der eingesetzten Aufgabenstellungen und eine anschließende Validierung an einer größeren Stichprobe erfolgen.
Klingt das so weit nachvollziehbar?
Vielen Dank 
Hallo,
ich glaube, Ihre Frage muss zunächst etwas entwirrt werden:
- Das Signifikanzniveau (alpha) ist eine prinzipiell frei wählbare Konstante. Sie gibt an, ab wann man bereit ist, die Nullhypothese abzulehnen. In vielen Wissenschaften hat man sich auf alpha=.05 geeinigt. D. h., die Nullhypothese wird zugunsten der alternativen Hypothese aufgegeben, wenn die Wahrscheinlichkeit p
Vielen Dank für die ausführliche Erläuterung!
Hi,
ja so könnte man das sagen. Das Zeichen für das Signifikanzniveau ist übrigens alpha und wird i.a. bei 5% festgesetzt.
Grüße,
JPL
Hallo,
t-Tests gibt es in unüberschaubar vielen Varianten. Du spielst hier auf einen Zwei-Stichprobentest für Mittelwerte an. In diesem Zusammenhang ist deine Interpretation der Prüfgröße richtig. Das Alpha gibt dfie Wahrscheinlichkeit an, dass die Nullhypothese fälschlicherweise abgelehnt wird. Das heißt die Hypothse wird abgelehnt, obwohl sie richtig ist. Der Grund ist, dass man eine sehr ungünstige Stichprobe gezogen hat, die die wahren Verhältnisse der Grundgesamtheit eben nicht widerspiegelt. Über die tatsächliche Beschaffenheit der Grundgesamtheit sagt alpha nichts aus. Das kann ja auch gar nicht sein, weil der Mittelwert der Grundgesamtheit (also der Erwartungswert) ein fester Wert und keine Zufallsgröße ist. Daher kann es darüber auch keine Wahrscheinlichkeitsaussagen geben. Eine Zufallsgröße ist dagegen der Mittelwert der Stichprobe. Daher beziehen sich alle Wahrscheinlichkeitsaussagen automatiosch auf ihn.
Viele Grüße
Andras
Also, erst einmal möchte ich mich für meine lange Abstinenz entschuldigen. Ich bin zur Zeit arbeitstechnisch total überlastet. Für mich hört sich das nachvollziehbar an. Das ist ja eine sehr umfangreiche Arbeit! Ich hoffe, dass das von deinem Gutachter/deiner Gutachterin auch gewürdigt wird!
Ich drücke dir die Daumen!
Herzliche Grüße!