Wer kann mir helfen?
Wie kann ich die Intercoderreliabilität bei Ordinalsskalen herausfinden? Kann man Kappa verwenden oder Kendall tau b als Kreuztabelle? Finde in der Litertur nichts dergleichen! Wäre für jeden noch so kleinen Hinweis dankbar.
Louise
hallo louise,
vor langer, langer zeit habe ich die auch mal ausrechnen müssen.
leider erinnere ich mich momentan nur noch bruchstückhaft - was wir damals gemacht haben, sah (wie ich mich erinnere) so aus, wie es auf dieser seite beschrieben wird: http://home.t-online.de/home/schaeumer/diplfive.htm
der bortz mußte an jeder uni-bibliothek zu haben sein.
statt nach „inter-coder-reliabiliät“ könntest du auch nach „inter-rater-reabiliät“ suchen.
Hallo Louise,
die Beurteilerübereinstimmung bei ordinalskalierten Daten kannst Du mit Hilfe von Kendalls Konkordanzkoeffizient W überprüfen. Wenn Du SPSS verwendest, dann findest Du diesen Koeffizienten unter „Analysieren“, „Nichtparametrische Tests“, „K verbundene Stichproben“ und dann Kendalls W anklicken. In der dazugehörigen Beschreibung (Klick mit der rechten Maustaste) siehst Du, daß Kendalls W für Deine Zwecke geeignet ist. Bortz schreibt dies auch in seinem Kapitel „Nichtparametrische Statistik“ im Handbuch Quantitative Methoden. Alternativ kannst Du laut Rost (Testtheorie Testkonstruktion) den gewichteten Kappa-Koeffizienten benutzen. So weit ich weiß, steht dieser in SPSS aber nicht zur Verfügung.
Gruß,
Oliver Walter
Hallo Louise,
die Beurteilerübereinstimmung bei ordinalskalierten Daten
kannst Du mit Hilfe von Kendalls Konkordanzkoeffizient W
überprüfen. Wenn Du SPSS verwendest, dann findest Du diesen
Koeffizienten unter „Analysieren“, „Nichtparametrische Tests“,
„K verbundene Stichproben“ und dann Kendalls W anklicken. In
der dazugehörigen Beschreibung (Klick mit der rechten
Maustaste) siehst Du, daß Kendalls W für Deine Zwecke geeignet
ist. Bortz schreibt dies auch in seinem Kapitel
„Nichtparametrische Statistik“ im Handbuch Quantitative
Methoden . Alternativ kannst Du laut Rost (Testtheorie
Testkonstruktion ) den gewichteten Kappa-Koeffizienten
benutzen. So weit ich weiß, steht dieser in SPSS aber nicht
zur Verfügung.
Hallo Oliver,
vielen Dank für den wertvollen Hinweis. Habe es gleich ausprobiert und bin zufrieden mit dem Ergebniss. Ist Kendall vom Sinn her eigentlich gleich zusetzen mit dem Wilcoxon - Test für Paardifferenzen? Kann ich mir vorstellen, allerdings nehme ich an, dass Kendall W genauer ist. Übrigens habe ich Kappa in SPSS gefunden unter " Kreuztabellen". Kann ihn aber nicht nehmen, da ich keine metrischen Daten habe. Müsste wahrscheinlich dafür den genauen Abstand zwischen den Rängen festlegen. Allerdings werde ich mir das nun ersparen, Dank Dir und Kendall W. Kannst Du mir vielleicht auch sagen, welche Rolle Kendall tau b bei ordinalskalierten Daten spielen kann? Ist das nicht ein Korrelationskoeffizient, der Zusammenhänge ausdrückt? Kann mir das allerdings nicht richtig erklären. In der Lieratur wird bei Kendall immer um den heissen Brei geredet oder ungenau beschrieben, so dass man wenig daraus schlau wird.
Nochmals vielen Dank
Louise René
Hallo Schokolinda,
vielen Dank für Deinen Tip. Finde die empfohlene Seite ziemlich gut , weil sich endlich mal jemand die Mühe gemacht hat, Forschung intersubjektiv nachvollziehbar zu kommentieren. Findet man äußerst selten. Komme leider nicht aus diesem Fachgebiet und eigne mir zur Zeit alles selbst an, Kampf pur! Nochmals vielen Dank,
Louise
Hallo Louise,
schön, daß es geklappt hat. Kendalls W ist für mehrere Stichproben geeignet, während der Wilcoxon-Test nur bei 2 Stichproben anwendbar ist. Außerdem bestehen erhebliche Bedenken dagegen, den Wilcoxon-Test bei ordinalskalierten Daten einzusetzen, weil bei diesem Test Differenzen gebildet und geordnet werden. Der Kappa-Koeffizient, den Du in SPSS vermutlich gefunden hast, ist der ungewichtete Koeffizient von Cohen. Den kannst Du auch nehmen, wobei Du dann allerdings nicht alle Informationen ausschöpfen würdest, da dieser Koeffizient die Rangordnung nicht berücksichtigt. Ich meinte dagegen den gewichteten Kappa-Koeffizienten (weighted kappa). Kendalls Tau ist ein Zusammenhangsmaß für ordinalskalierte Daten. Genaueres findest Du im „verteilungsfreie Methoden“-Bortz:
Bortz, J., Lienert, G.A. & Boehnke, K. (2000). Verteilungsfreie Methoden in der Biostatistik. Heidelberg: Springer. ISBN: 3540675906 Buch anschauen
Gruß,
Oliver Walter
Kendall W
Hallo Oliver,
vielen Dank für Deine schnelle Reaktion. Nun noch eine abschließende Frage, in der Hoffnung Dir nicht den letzten Nerv zu rauben. Wird der Übereinstimmungskoeffizient so interpretiert wie bei einer Korrelation? Er heißt doch bei 0 `keine Übereinstimmung und bei 1 perfekte Übereinstimmung. Wäre bei einem Koeffizienten von 0,4 von einer Übereinstimmung zu sprechen? Wie interpretiert man so einen „Mittelfall“?
Werde mir die empfohlene Literatur sofort besorgen, in der Hoffnung, dass die Problematik auch so verständlich formuiert ist, wie ich es hier durch Dich erfahre.
Mir ist eben, bei der Berechnung des Kendall W ganz schlecht geworden, weil im Vergleich mit dem Wilcoxon völlig andere Ergebnisse rauskommen. Beim Wilcoxen gab es Probanden , die nicht signifikant schlechter oder besser durch 2 Beobachter beurteilt wurden, beim Kendall gab es überhaupt keinen Probanden der in seiner Beurteilung übereinstimmt. Du meine Güte…Na hoffentlich, stimmt nun die jetzige Herangehensweise. Mist… Nun muss ich alles nochmal schreiben und interpretieren… 
Vielen Dank
herzliche Grüße Louise
Hallo Louise,
ja, Kendalls W schwankt zwischen 0 und 1. Eine Interpretation kann in
Form des mittleren Rangkorrelationskoeffizienten von Spearman gegeben werden. Dazu mußt Du W mit der Anzahl der Rater multiplizieren, Eins abziehen und dann durch die Anzahl der Rater minus 1 teilen:
mittlere Spearman-Rangkorrelation= (k*W-1)/(W-1) mit k: Anzahl der Rater.
Hast Du nur 2 Rater? Davon hast Du gar nichts geschrieben. Bei 2 Ratern kannst Du natürlich auch ein anderes Verfahren verwenden, z.B. Spearmans Rangkorrelationskoeffizienten (in SPSS unter „Analysieren“, „Korrelation“, „Bivariat“ und dann „Spearman“ anklicken) oder Kendalls Tau („Analysieren“, „Deskriptive Statistik“, „Kreuztabellen“ und im Menü unter „Statistik“ bei „ordinal“ einen der Koeffizienten von Kendalls Tau anklicken). Spearmans Rangkorrelationskoeffizient ist nichts anderes als eine Pearson-Korrelation der Ränge zweier Meßwertereihen. Insofern schwankt er zwischen -1 und 1 und seine Werte können wie die des Pearson-Koeffizienten interpretiert werden:
0,1: klein
0,3: mittel
0,5: groß
(entnommen aus: Rindermann, H. & Hentschel, C. [2003]. Problematik und Möglichkeiten von Effektstärkemaßen. Paper zum Vortrag auf der 6. Tagung der FG Methoden und Evaluation der Deutschen Gesellschaft für Psychologie in Wien).
Zu Kendalls W und Wilcoxon: Kendalls W, Tau sowie Spearmans Rangkorrelationskoeffizient sind Zusammenhangsmaße für ordinale Daten, ähnlich wie es die Pearson-Korrelation für intervallskalierte Daten ist. Der Wilcoxon-Test ist dagegen ein Test auf Unterschiede von Verteilungen intervallskalierter Daten. Wenn der Wilcoxon-Test signifikant wird, dann heißt dies, daß die Differenzen in den Verteilungen nicht mehr mit dem Zufall zu vereinbaren sind und man von 2 verschiedenen Verteilungen ausgehen muß. Wenn Kendalls W, Tau oder Spearmans Rangkorrelationskoeffizient signifikant werden, dann heißt es, daß es Übereinstimmungen zwischen den Ratern gibt. Die Nullhypothesen, gegen die getestet wird, sehen also anders aus, und insofern kann es unterschiedliche Ergebnisse geben.
Außerdem mußt Du darauf achten, wie Du die Daten eingegeben hast: Bei Kendalls W sind die Fälle (Zeilen) die Beurteiler und die Variablen (Spalten) die beurteilten Objekte/Personen. Falls Du für die Beurteiler Variablen (Spalten) in SPSS gebildet hast und die beurteilten Personen die Fälle (Zeilen) darstellen, dann hättest Du mit Kendalls W die Übereinstimmung zwischen den Personen berechnet und nicht die zwischen den Beurteilern. Dies ließe sich schnell korrigieren, indem Du die Datenmatrix durch SPSS transponieren läßt: „Daten“, „Transponieren“.
Gruß,
Oliver Walter
Lieber Oliver,
du kannst Dir gar nicht vorstellen, welche Freude es mir bereitet, Deine Antworten zu lesen. Seit Monaten versuche ich genau diese Klassifikation und Differenzierung mir anzueignen. Allerdings kann ich kaum Zusammenhänge herstellen und gelesenes multipel verbinden.
Ich habe mich, nachdem was ich mir angelesen hatte, zunächst auch für den Kendall tau b entschieden, wußte allerdings nicht welchen Zusammenhang er genau misst.
Ich habe 300 Probanden 2 Beobachter und 18 Beobachtungsitems, die durch 4 Ränge ausgedrückt werden (immer bis selten )Die Beobachterdaten sollen nun auf Übereinstimmung überprüft werden. Ich habe zunächst auch den Kendall tau b genommen, weil er keine Normalverteilung wie der Spearmen voraussetzt. Habe allerdings bei der Berechnung mit SPSS einen Fehler gemacht. Habe nicht die Kreuztabelle zu Hilfe genommen,und habe die 300 Daten eines Beobachters miteinander korrelieren lassen.(peinlich)
Zudem interpretiere ich das Ergebnis falsch… Diese „Rangkorrelation“ macht mich total wirre. Ich denke ich bekomme den Zusammenhang der Ränge raus. Ich möchte aber die Übereinstimmung der 2 Beobachter… Genau diese Möglichkeiten der Interpreation werden in der Literatur überhaupt nicht berücksichtigt. Ich finde, dass ist eine Marktlücke.
Werde mich also nocheinmal dem Kendall tau b widmen. Das heisst ich muss meine Beobachtungsdaten eines Probanden mit denen des 2. Beobachters vergleichen. „Analysieren“, „deskriptive Statistiken“ " Kreuztabellen" Kendall b und in „Zeile“: meine Daten des einen Probanden und in „Spalte“ : die Daten des 2. Beobachters… Das Ergebniss von beispielsweise 0,23 besagt, dass es keine Übereinstimmung der Rater bei diesem Probanden gab. Ist das richtig so?
Welche Rolle spielt eigentlich Kendall tau b in SPSS unter „Korrelation“ bivariat, Kendall tau b? Ist das dieselbe Funktion wie in der Kreuztabelle?
Bin sehr dankbar für Deine Darstellungen und Erklärungen. Weißt Du, das schwierige ist nicht das Lesen der Literatur und das Herausziehen von Informationen. Das Schwierige daran ist (für einen Laien) die Bestätigung für eine Interpreation einer Information zu finden. Schade das Bücher nicht nicken können…
Wünsche Dir eine schöne Woche
Louise
[Bei dieser Antwort wurde das Vollzitat nachträglich automatisiert entfernt]
Hallo Louise,
das ist ´mal ´was Neues, daß sich jemand über Statistik so freut wie Du. Kommt leider nur selten vor. Dabei kann die Thematik spannend sein.
Kurz zu Deinem Problem: Du hast Deine Daten für jedes Beobachtungsitem sicherlich in je 2 Variablen vorliegen. Die eine Variable erfaßt das, was Beobachter 1 bei diesem Item erfaßt hat, die andere das, was Beobachter 2 bei diesem Item erfaßt hat. Wenn das so ist, dann packst Du Item1/Beobachter 1 z.B. in die Spalten, Item1/Beobachter 2 z.B. in die Zeilen. Unter „Statistik“ klickst Du Kendalls tau b an und rechnest dann.
Ja, bei Spearmans Rangkorrelation erhältst Du die Information, wie hoch die Pearson-Korrelation der Ränge ist. Das kann man aber auch als ein Maß für die Übereinstimmung der Beurteiler benutzen. Kendalls tau ist dafür auch geeignet, geht jedoch anders vor: Es erfaßt die Häufigkeit, wie oft die Beurteiler übereinstimmen, minus der Häufigkeit, wie oft sie nicht übereinstimmen, im Verhältnis zu allen Meßwertpaaren. Bei Bindungen ist die Interpretation jedoch schwieriger. Daher empfiehlt sich Gamma, da Gamma die Differenz der oben genannten Häufigkeiten ins Verhältnis zu den nichtgebundenen Meßwertpaaren setzt.
Auch Dir eine schöne Woche und viel Erfolg bei den Auswertungen!
Oliver
Hallo Louise,
das ist ´mal ´was Neues, daß sich jemand über Statistik so
freut wie Du. Kommt leider nur selten vor. Dabei kann die
Thematik spannend sein.Kurz zu Deinem Problem: Du hast Deine Daten für jedes
Beobachtungsitem sicherlich in je 2 Variablen vorliegen. Die
eine Variable erfaßt das, was Beobachter 1 bei diesem Item
erfaßt hat, die andere das, was Beobachter 2 bei diesem Item
erfaßt hat. Wenn das so ist, dann packst Du Item1/Beobachter 1
z.B. in die Spalten, Item1/Beobachter 2 z.B. in die Zeilen.
Unter „Statistik“ klickst Du Kendalls tau b an und rechnest
dann.
bei Kreuztabellen oder bivariaten Korrelationen?
Ja, bei Spearmans Rangkorrelation erhältst Du die Information,
wie hoch die Pearson-Korrelation der Ränge ist. Das kann man
aber auch als ein Maß für die Übereinstimmung der Beurteiler
benutzen. Kendalls tau ist dafür auch geeignet, geht jedoch
anders vor: Es erfaßt die Häufigkeit, wie oft die Beurteiler
übereinstimmen, minus der Häufigkeit, wie oft sie nicht
übereinstimmen, im Verhältnis zu allen Meßwertpaaren. Bei
Bindungen ist die Interpretation jedoch schwieriger. Daher
empfiehlt sich Gamma, da Gamma die Differenz der oben
genannten Häufigkeiten ins Verhältnis zu den nichtgebundenen
Meßwertpaaren setzt.Auch Dir eine schöne Woche und viel Erfolg bei den
Auswertungen!Oliver
Hallo Oliver,
am Anfang war ich auch etwas skeptisch, was mein Interesse für Statistik angeht, allerdings finde ich es mittlerweile ziemlich spannend. Es ist wie ein Puzzel, dessen Teile man finden und zusammensetzen soll um letztlich ein Bild zu erhalten.
Ich habe bemerkt, dass ich imense Probleme mit der Dateneingabe bei SPSS habe. Bei 300 Probanden ist das ne ziemliche Arbeit.
Das Problem liegt darin, dass ich 18 beobachtete Variablen habe, das heißt 2 Beobachter mit jeweils 300 Probanden und 18 Variablen deren Übereinstimmung verglichen werden soll.
Ich habe es jetzt so gemacht, dass ich in die Spalte 1 die Variable 1; in Spalte 2 /Variable 2;usw… und in die Zeile 1 den 1. Probanden, in Zeile 2 den 2. Probanden usw. eingegeben habe. Dann habe ich die Spalten (Variablen)der beiden Beobachter bei Kreuztabellen Kendall b eingegeben und nen Wert erhalten. Bin mir absolut nicht sicher, ob das so richtig war. Mit dem Kendall w haut das irgendwie bei der Datenmenge nicht hin. Ausserdem habe ich Schwierigkeiten die 18 Variablen unterzubringen. Hach…alles nich so einfach, aber das zusammenbasteln und rumknobeln macht mittlerweile viel Spass. Ich hoffe ich nehme Deine Hilfe nicht zu sehr in Anspruch, aber es freut mich, dass Du einer Ahnungslosen so hilfst.
Wir haben heute hier in Sachsen einen Feiertag und den nutze ich natürlich um fleißig zu sein.
einen schönen Tag
Louise