Korrelation von Wichtigkeitsratings?

Wissenschaft Sozialwissenschaften
#1

Hallo zusammen,
ich stehe vor einem rechnerischen Problem und hoffe, hier einen klugen Kopf zu finden, der mir viell einen Tip, einen Anregung o.ä. geben könnte, ich bin wirklich für alle Vorschläge dankbar! :wink:

Also ich meiner Untersuchung reihten meine 100Probandinnen jede Dimension eines Fragebogens (Neurotizismus, Offenheit, Extraversion, Verträglichkeit und Gewissenhaftigkeit) nach ihrer persönlichen Präferenz von 0 bis 4. 0=gar nicht wichtig bis 4=wichtig. Es ging um die Fragegestellung, wie wichtig sie jede einzelne Dimension für 2 Berufsbilder (z.b. Lehrer) einschätzen.
Das bedeutet also, eine Person kann zb die Wertung 4 auch 2x vergeben, beispielsweise für Offenheit und Extraversion.

Nun möchte ich wissen, wie „richtig“ die Vpn dies einschätzen und habe 3 ExpertInnen (im Beispiel 3 LehrerInnen) gebeten, die Dimension ebenfalls zu reihen, um eine Expertinnenmeinung zu haben.

In meiner Literatur haben die Autoren nun den Mittelwert dieser Meinungen mit den Probandinnenratings korreliert, diesen Koeffizienten in z-transformiert und dann in bezug zu einem Intelligenzfaktor g gesetzt (es geht nämlich auch darum, ob intelligentere Menschen dies richtiger einschätzen als weniger intelligentere).

Nun stehe ich vor dem Problem, dass ich nun Ordinalskalenniveau habe und dann doch nicht mit Mittelwerten rechnen kann oder? Jetzt hab ich einen Tip bezgl. Mediantests erhalten… was sagt ihr dazu und wie würde ich das angehen? Nach Möglichkeit wäre es natürlich toll, das ganze im SPSS berechnen zu können, eh klar :smile:

Ich danke euch shcon jetzt und hoffe, dass jemand von euch eine Idee hat! :smile:)

Liebe Grüße,
Martina

#2

Hallo

ob ich letztlich helfen kann, weiss ich nicht.

Ich sehe hier ein Dilemma.
Einerseits:

…in meiner Untersuchung reihten meine 100 Probandinnen
jede Dimension eines Fragebogens…

andererseits:

… eine Person kann zb die Wertung 4 auch 2x
vergeben…

Frage:
Haben die Probanden jetzt nun „gereiht“, oder „die Wichtigkeit bewertet“ ?
Der Unterschied ist gewaltig.

Bei Ersterem hätte man abhängige Datensätze, was die weitere Auswertung stark erschwert (zumindest wüsste ich kein taugliches Verfahren, und die Bildung von Mittelwerten wäre unzulässig, allein wegen der Abhängigkeit, und weniger wegen der Ordinalität).

Wenn „Reihung“ 100%ig ausgeschlossen werden kann, dann ist die Mittelwertsbildung zumindest mal nicht total falsch. Hier wäre jedoch eine ausführliche Erklärung vonnöten, die darlegt, dass die Skala unwichtig…wichtig „in etwa“ aus gleich grossen Abständen besteht.
Dann wäre Mittelwertsbildung ok, so etwa wie bei Schulnoten.
Daraus folgt dann auch, dass du den weiteren Auswerteprozess wie die Autoren in deiner Literatur machen kannst.

Mediantests und andere ordinale Verfahren würde ich in diesem Fall sein lassen. Dann zur Not lieber eine Abschätzung dahingehend, ob wirklich jedem Probanden klar war, dass er NICHT Reihen hätte sollen, sondern Bewerten.

Thomas

[Bei dieser Antwort wurde das Vollzitat nachträglich automatisiert entfernt]

#3

Hallo,
vielen Dank für deine Antwort!

Was du schreibst, bringt mich schon sehr weiter (zumindest mal gedanklich ^^), da du mit recht hast, wenn du sagt, dass die Pbn bei uns nicht gereiht, sondern bewertet haben! Eine Reihung wäre es ja erst dann, wenn jeder Wert von 0-4 nur 1x vorgekommen wäre, was nicht so ist… sie haben die Dimensionen schlicht bewertet!

Gut, dann kann ich also davon ausgehen, dass ich keine ordinalskalierten Daten erhalten habe oder? D.h. wenn ich nun einen Mittelwert aus den Expertenmeinungen bilde, erhalte ich eine gemittelte ExpertInnenmeinung pro Berufsbild. Laut meiner Literatur korreliere ich diese mit den Pbnratings, diesen Korrelationskoeffizienten transformiere ich dann in einen Fisher-z-Wert, um diesen dann mit meinem g-Faktor (bereits berechnet) zu korrelieren. So soll - laut Literatur - überprüft werden, ob die Intelligenz tatächlich mit der Fähigkeit korreliert, berufsrelevante Erfordernisse zu erkennen.

Was hältst du von dieser Vorgehensweise generell? Ich habe shcon öfter gehört, dass die z-Transformation nicht wirklich üblich ist in diesem Zusammenhang? Also dass es besser wäre, Abweichungen von der Mittleren Expertenmeinung zu berechnen und diese dann einfach mit g zu korrelieren?

DANKE!!

LG
Martina

#4

Hallo,

Gut, dann kann ich also davon ausgehen, dass ich keine
ordinalskalierten Daten erhalten habe oder?

Doch, aber sie werden als metrisch diskret interprätiert.

D.h. wenn ich nun
einen Mittelwert aus den Expertenmeinungen bilde, erhalte ich
eine gemittelte ExpertInnenmeinung pro Berufsbild. Laut meiner
Literatur korreliere ich diese mit den Pbnratings, diesen
Korrelationskoeffizienten transformiere ich dann in einen
Fisher-z-Wert, um diesen dann mit meinem g-Faktor (bereits
berechnet) zu korrelieren. So soll - laut Literatur -
überprüft werden, ob die Intelligenz tatächlich mit der
Fähigkeit korreliert, berufsrelevante Erfordernisse zu
erkennen.

Richtig.

Was hältst du von dieser Vorgehensweise generell? Ich habe
shcon öfter gehört, dass die z-Transformation nicht wirklich
üblich ist in diesem Zusammenhang? Also dass es besser wäre,
Abweichungen von der Mittleren Expertenmeinung zu berechnen
und diese dann einfach mit g zu korrelieren?

Da steck ich fachlich nicht tief genug drin.
„Statistisch neutral“ gesehen halte ich beide Vorgehensweisen für richtig. Ich würde mich für die zweite Methode entscheiden.

Thomas

#5

Hallo Thomas,
vielen Dank für deine Antwort… hab den Vorschlag heute mal mit meinem Matheprof durchbesprochen und der sieht das genauso, ich kann also die Abweichungen von den mittleren Expertenmeinungen berechnen und diese dann mit g korrelieren, was die einfachste Lösung meines Problemes ist :smile:

Eine kurze Frage noch: Muss/sollte ich nun dennoch eine Beurteilerübereinstimmugn für die 3 Experten berechnen? Falls ja, nach welcher Formel? (oder geht das im SPSS?) Ist das ICC?

DANKE!!

LG
Martina

#6

Fleiss’ Kappa
Hallo,

(…)

Eine kurze Frage noch: Muss/sollte ich nun dennoch eine
Beurteilerübereinstimmugn für die 3 Experten berechnen? Falls
ja, nach welcher Formel? (oder geht das im SPSS?) Ist das ICC?

Mit SPSS kenn ich mich leider kaum aus.
der test nach dem du fragst, heisst Fleiss’ Kappa.
Über diesen Test hab ich was geschrieben:
(Stichwort Fleiss’ Kappa anklicken)
http://www.reiter1.com/Glossar/Glossar.htm

Der Test ist auf jeden Fall sinnvoll; ob du ihn letztlich in deiner Auswertung erwähnst, sei dahingestellt. Erwähnenswert wäre es auf jeden Fall, wenn sich die Experten „signifikant widersprechen“.

Thomas

#7

Hallo,
vielen Dank für deine Antwort! Hab das Fleiss’Kappa schon mal gelesen, war mir aber nicht sicher, ob ich nicht doch den ICC berrechnen muss! Danke!

Lg
Martina

[Bei dieser Antwort wurde das Vollzitat nachträglich automatisiert entfernt]

#8

Stimmt, viele berechnen Mittelwerte aus Ordinaldaten, aber das ist statistisch dennoch eher bedenklich. Denn der Mittelwert sagt ja kaum etwas über die Daten aus, wenn z.B. die Verteilung sehr schief ist.
Ich würde daher auf jeden Fall:

  • einen Test auf Normalverteilung machen, z.B. Kolmogorov Smirnov
  • Keine Pearson Korrellation sondern allenfalls Rangkorrellationen (Spearmans Rho) verwenden.