Cornbachs Alpha für Interrater Reliabilität?

Wissenschaft Sozialwissenschaften
#1

Liebe Experten,

ich würde gerne wissen ob es im folgenden Fall möglich ist mit Cronbachs Alpha die Interrater Reliabilität zu berechnen:

Ich habe 6 Beurteiler die den gleichen Fall anhand einer 5-point Likert Scale beurteilen (sehr schlecht-sehr gut).
Jetzt möchte ich gerne die Interrater Reliabilität berechnen.

Leider fällt Kappa raus, da es nur den Unterschied feststellen kann, jedoch nicht das Ausmaß des Unterschiedes.

Wäre es möglich in diesem Fall Cronbachs Aplha zu benutzen, da es sich ja auf die interne Konsistenz der Skala beziehen würde, die bei diesem Beispiel (6 Rater, 1 Fall) dann ja folglich aus den Unterschieden der Rater resultieren würde? Oder habe ich hier etwas übersehen?
Welche Methode eigenet sich hierfür am besten?

Für eure Antworten bin ich sehr Dankbar!

Herzliche Grüße
Timo

#2

Sorry, mit Interrater-Reliabilität bin ich überfragt. Anhand von 6 „Items“ würde ich allerdings keine reliabilität bestimmmen. das wäre ja so, als ob man die reliabilität bei einem fragebogen anhand einer versuchsperson bestimmen möchte.

Beste Grüße

#3

Hallo!

Ja, in solchen Fällen wird das Cronbachs Alpha berechnet.

Gruß,

Kathi

#4

Hallo SillyBilly,
strukturell könnt man hier Cronbachs Alpha einsetzen, aber nur wenn die Ratings mindestens
Intervall-skaliert sind. Eine Likert-Skala ist ohne Zusatzannahmen nur ordinalskaliert.
Bessere Alternativen sind Krippendorffs Alpha oder Kendalls W. Beide sind auch mit ordinal-skalierten Daten einsetzbar.
Das Problem all dieser Maße ist ihre mangelnde Interpretierbarkeit, aber das ist dann wieder eine andere Geschichte…
Gruß
Winfried

#5

Tut mir Leid, aber dazu kann ich überhaupt nichts sagen.

#6

Hi,

Wäre es möglich in diesem Fall Cronbachs Aplha zu benutzen, da
es sich ja auf die interne Konsistenz der Skala beziehen
würde,

korrekt

die bei diesem Beispiel (6 Rater, 1 Fall) dann ja
folglich aus den Unterschieden der Rater resultieren würde?
Oder habe ich hier etwas übersehen?

interrater reliability und interne konsistenz sind nicht dasselbe, daher würde ich die messmethoden auch nicht mischen.
Ich würde mit kappa arbeiten, je weiter der Wert weg von 1 ist, desto geringer die Übereinstimmung.

Grüße,
JPL

#7

Sorry, aber da bin ich überfragt. Gruß Robert