ich würde gerne wissen ob es im folgenden Fall möglich ist mit Cronbachs Alpha die Interrater Reliabilität zu berechnen:
Ich habe 6 Beurteiler die den gleichen Fall anhand einer 5-point Likert Scale beurteilen (sehr schlecht-sehr gut).
Jetzt möchte ich gerne die Interrater Reliabilität berechnen.
Leider fällt Kappa raus, da es nur den Unterschied feststellen kann, jedoch nicht das Ausmaß des Unterschiedes.
Wäre es möglich in diesem Fall Cronbachs Aplha zu benutzen, da es sich ja auf die interne Konsistenz der Skala beziehen würde, die bei diesem Beispiel (6 Rater, 1 Fall) dann ja folglich aus den Unterschieden der Rater resultieren würde? Oder habe ich hier etwas übersehen?
Welche Methode eigenet sich hierfür am besten?
Sorry, mit Interrater-Reliabilität bin ich überfragt. Anhand von 6 „Items“ würde ich allerdings keine reliabilität bestimmmen. das wäre ja so, als ob man die reliabilität bei einem fragebogen anhand einer versuchsperson bestimmen möchte.
Hallo SillyBilly,
strukturell könnt man hier Cronbachs Alpha einsetzen, aber nur wenn die Ratings mindestens
Intervall-skaliert sind. Eine Likert-Skala ist ohne Zusatzannahmen nur ordinalskaliert.
Bessere Alternativen sind Krippendorffs Alpha oder Kendalls W. Beide sind auch mit ordinal-skalierten Daten einsetzbar.
Das Problem all dieser Maße ist ihre mangelnde Interpretierbarkeit, aber das ist dann wieder eine andere Geschichte…
Gruß
Winfried
Wäre es möglich in diesem Fall Cronbachs Aplha zu benutzen, da
es sich ja auf die interne Konsistenz der Skala beziehen
würde,
korrekt
die bei diesem Beispiel (6 Rater, 1 Fall) dann ja
folglich aus den Unterschieden der Rater resultieren würde?
Oder habe ich hier etwas übersehen?
interrater reliability und interne konsistenz sind nicht dasselbe, daher würde ich die messmethoden auch nicht mischen.
Ich würde mit kappa arbeiten, je weiter der Wert weg von 1 ist, desto geringer die Übereinstimmung.