Ein Experiment: Maß für die Übereinstimmung

Hallo zusammen!

Ich habe ein Experiment durchgeführt. Dabei bewerteten 16 Personen je 4 Produkte auf einer ordinalen Skala von Bronze bis Gold.

Die Anzahl der Bewertungen über die Produkte A bis D verteilte sich so:

______ A B C D
Bronze: 7 6 5 6
Silber: 8 7 6 3
Gold: 1 3 5 7

Ich möchte nun wissen, wie hoch die Übereinstimmung der Testpersonen ist.

Ich suche also ein Maß, mit dem ich bestimmen kann, wie einig sich die Testpersonen waren.

Kennt ihr eine solche Maßzahl?
Herzlichen Dank für eure Hilfe.

Viele Grüße

Jan

Inter-Rater-Reliabilität
Hallo Jan!

Das, was Du ermitteln möchtest, heißt Inter-Rater-Reliabilität. Maße sind zum Beispiel Fleiss Kappa oder die Intraklassenkorrelation. Ich hoffe die folgenden Seiten sind hilfreich:
* http://www.lrz-muenchen.de/~wlm/ilm_i6.htm
* http://en.wikipedia.org/wiki/Fleiss%27_kappa
* http://ourworld.compuserve.com/homepages/jsuebersax/…

Die Intraklassen-Korrelation setzt nach ILMES intervallskalierter Bewertungen voraus. Cohens Kappa wird nur bei zwei Ratern verwendet. Fleiss Kappa ist anwendbar. Kendalls Konkordanzkoeffizient ist auch anwendbar.

Viel Erfolg!
Falk

Hilfreicher Thread
Hallo Jan!

Bei wer-weiss-was wurde schoneinmal noch Inter-Rater-Reliablität von Ordinalskalen gefragt. Das ist genau das, wonach Du suchst:
/t/inter-coder-reliabilitaet-bei-ordinalskalen/1825441

Viele Grüße Falk