Eine interessanter Versuch!
Allgemein zu Signifikanztests: Diese Tests stellen die Frage, ob die Ergebnisse einer Stichprobe auch in der Grundgesamtheit gültig sind und mit welcher Wahrscheinlichkeit treten die vorgefundenen Unterschiede zwischen Stichprobe und Grundgesamtheit auf.
Wäre diese Wahrscheinlichkeit sehr klein, sagen wir mal 0,05 - dann meinen wir, dass der angetroffene Unterschied in der Versuchsgruppe (zur Vergleichsgruppe oder Grundgesamtheit) nicht mehr durch Zufälle entstanden ist, sondern durch unsere systematischen Versuchsbedingungen.
Das Ergebnis eines Signifikanztestes hängt von 2 Parameter ab: Zum einen von der Stichprobengröße und zum anderen auch der Effektgröße (Mittelwertsunterschied, oder andere Unterschiede zwischen Zufallstichproben)
Auch die Größe der Grundgesamtheit spielt eine Rolle, falls sie nicht als sehr sehr groß betrachtet werden kann.
Bei Deinem Versuch ist die Stichprobe vermutlich sehr klein, ich weiß es nicht, aber ich schätze um die 30 Messungen oder sogar weniger.
Zum anderen hast du in jeder Versuchsbedingung nur 1 Fall. Was für die Signifikanzberechnungen schwierig ist.
Zum anderen stellt sich die Frage, welche gemessene Variable auf Signifikanz geprüft werden soll: Der Unterschied zwischen den Regressionskoeffizienten der Regressionsgeraden? Oder die Mittelwerte der Reibungskoeffizienten in Abhängigkeit der Materialpaarung? Oder auch nur die Korrelationen zwischen Anpressdruck und Materialpaarung.
Kurz: Wenn die Anzahl der Messungen sehr klein sind, sagen wir etwa 10 Messungen pro Materialpaarung, dann kann nur ein sehr großer Unterschied signifikant werden.
Daraus ergibt sich eine „legale“ Möglichkeit zur Manipulation des Signifikanztests: Du verfeinerst einfach die Abstufung des Anpressdruckes und kannst damit die Anzahl der Messungen beliebig steigern - bis eben eventuelle Unterschiede signifikant sind.
Und jetzt stelle ich die Frage: Welchen Sinn hätte dann ein Signifikanztest der ein „hochsignifikantes“ Messergebniss belegen würde? - der nur durch eine Anpassung der Stichprobengröße entstanden ist?
Viel Erfolg!
Nette Grüße, Günther Zier, mag.psych.