Für Umfragen und die Analyse der Ergebnisse werden von uns die Methoden der
- Faktorenanalyse,
- Regressionsanalyse,
- Reliabilitätanalyse,
- hierarchische Clusteranalyse und
- Mittelwertvergleiche
u. ä. Verfahren verwendet.
Das Ziel einer Faktorenanalyse ist es, Variablen bzw. Statements zusammenzufassen, die zu einem ähnlichen Antwortverhalten geführt haben. Sie dient damit zur Datenreduzierung mittels multivariater Statistikmethoden. Es wird dabei von der Annahme ausgegangen, dass hinter einer Vielzahl von Variablen wenige latente Faktoren stehen, die die zentralen Sachverhalte abbilden und damit die komplexe Struktur der Ausgangsdaten verdichten bzw. reduzieren.
Die Güte der Daten für die Faktorenanalyse werden zusammen mit dem Bartlett-Test durch das Kaiser-Meyer-Olkin- Kriterium getestet. Das KMO Kriterium kann Werte zwischen 0 und 1 annehmen, wobei ein KMO erst ab ≥ 0,6 für die Auswertung herangezogen werden sollte. Das Maß für die Zuordnung einer Variablen zu einem Faktor ist die Faktorladung. Sie gibt die Stärke und die Richtung der Korrelation zwischen dem Faktor und der Variablen wieder.
Vor dem endgültigen Abspeichern einer Faktorenanalyse wird eine Reliabilitätanalyse durchgeführt, um die Zuverlässigkeit der gebildeten Faktoren beurteilen zu können. Die Reliabilitätanalyse ist ein Verfahren, bei dem überprüft wird, inwieweit die Zusammenfassung einer Anzahl manifester Merkmale dazu geeignet ist, die latente Merkmalzuverlässig abzubilden. Ein Verfahren zur Berechnung der Reliabilität ist das Cronbach`sche Alpha. Der Wertebereich liegt zwischen 0 und 1. In der Regel deutet ein Cronbach`s Alpha größer als 0,8 auf eine reliable Abbildung hin.
Die bekannte Regressionsanalyse zeigt die Beziehungen zwischen den Variablen auf. Das Bestimmtheitsmaß R² gibt an, wieviel Prozent der Varianz der abhängigen durch die unabhängigen Variablen erklärt werden kann. Der übliche F-Test weist die Signifikanz des R²-Wertes aus. Die Beta-Werte kennzeichnen die Einflussstärke der Faktoren/Items für die Messziele.
Die Clusteranalyse erklärt die Beziehungsstrukturen zwischen den Objekten. Mithilfe der Clusteranalyse werden Ähnlichkeitsstrukturen identifiziert und quantifiziert. Dieses Verfahren bildet anhand von vorgegebenen Variablen Gruppen von vergleichbaren Fällen. Die Mitglieder einer Gruppe (eines Clusters) sollen möglichst ähnliche Ausprägungen aufweisen.
Kandidat 1 | Kandidat 2 | Kandidat 3 | |
Teamorientierung | 25 | 17 | 74 |
Motivation | 66 | 83 | 18 |
Kreativität | 36 | 39 | 44 |
Vorstehende Tabelle beschreibt Ziel und Ergebniss einer Clusteranalyse. Für die Teamorienitierung würde man die Kandidaten 1 und 2 in ein "Cluster" mit geringer Teamorientierung einstufen. Beide Kandiaten weisen zum Thema Motivation aber recht hohe Werte auf. Das Thema Kreativität lässt nur den Schluss zu, dass alle drei Kandiaten eher unterdurchschnittliche Werte aufweisen.
Dieses intuitive Ergebnis würde sich auch bei den meisten Clusteralgorithmen ergeben. Schwierig wird es jedoch, wenn die Werte bei sehr vielen Testkandidaten eng zusammenliegen. Geeignete Clusteralgorithmen und-ergebnisse für solche Fälle findet man dann nur mit entsprechender Fachexpertise zum Testgegenstand.
Testverfahren für die Reliabilität:
Retest-Reliabilität:
Beim Test-Retest-Verfahren wird geprüft, ob eine Wiederholung der Messung bei Konstanz der zu messenden Eigenschaft die gleichen Messwerte liefert. Die Retest-Reliabilität gibt den Grad der Übereinstimmung an. Für viele Tests ist eine Wiederholung entsprechend dem Test-Retest- Verfahren allerdings nur theoretisch möglich, da die mit dem Test einhergehenden Erinnerungseffekte das Ergebnis beeinflussen. So ist eine mathematische Aufgabe in einem Intelligenztest nicht zweimal zu lösen, da der Proband sich an die Lösung der ersten Aufgabe erinnert. Mit der Retest-Reliabilität können keine systematischen, versuchsbedingten Fehler entdeckt werden.
Um das Erinnerungsvermögen bzw. mögliche Enschätzungen der Kandidaten hinsichtlich des Hintergrunds einer Fragstellung zu verringern bzw. zu vermeiden, verwenden wir in unseren aufwändigen Testverfahren meist ipsatorische Fragestellungen, die zudem noch durch Kontrollfragestellungen ergänzt sind. Unsere Erfahrung zeigt, dass selbst äusserst intelligente Testkandidaten auch bei Frageanzahlen < 20 die Systematik nicht durchblicken. Somit kommen wir von vorneherein durch die Testkonstruktion zu sehr objektiven und hoch reliablen Testergebnissen.
Parallel-Test-Reliabilität oder Korrelation zweier paralleler Testversionen; die Ergebnisse sollten für eine Reliabilität von 100% übereinstimmen.
Testhalbierungs-Reliabilität/ Split-Half- Reliabilität/Testhalbierungsmethode:
Bei der Split-Half-Reliabilität wird der Test in zwei Hälften unterteilt. Bei hinreichend großer Ergebnismenge sollten die Mittelwerte und weitere statistische Kenngrößen gleich sein. Da man, mathematisch gesehen, in diesem Fall jedoch eigentlich nur die Reliabilität des „halben“ Tests erhält, muss das ursprüngliche Ergebnis mit der Spearman-Brown- Korrektur korrigiert werden.
Die Spearman-Brown-Formel dient dazu, die Reliabilität eines Tests zu berechnen, nachdem man seine Länge verändert hat (Länge = Anzahl Items). Dazu wird die Reliabilität (Rel) des ursprünglichen Tests benötigt. Die Spearman-Brown- Formel lautet folgendermaßen:
Wir verwenden gerne diese Methode, um einen Test nicht mehrfach wiederholen zu müssen; liefert aber nur gute Ergebnisse bei bei ausreichend großen Stichproben. In Abwandlung des Split-Half-Verfahren führen wir oft Tests durch, die unterschiedlich weite Auswahlkriterien bei gleichen Fragen aufweisen. So fragen wir etwa im ersten Test mit einer 7er oder nur 5er Auswahlskala und im Wiederholungstest mit einer 100er Schiebereglerskala und berechnen danach die statistisch relevanten Unterschiede.
Interne Konsistenz: Erweiterung der Testhalbierungs- Methode; der Test wird nicht nur in zwei Teile, sondern in so viele Teile unterteilt, wie Items enthalten sind. Die Schätzung fällt somit stabiler aus. Die interne Konsistenz ist ein Maß dafür, wie die Items einer Skala miteinander zusammenhängen. Interne Konsistenz stellt gewissermaßen einen Umweg dar, die Messgenauigkeit eines Instruments zu erheben, wenn kein Retest oder Paralleltest zur Reliabilitätsbestimmung zur Verfügung steht. Es erfolgt die Reliabilitätsmessung also intern, wobei jedes Item gewissermaßen als Paralleltest behandelt wird. Die Güte eines Items kann hierbei ermittelt werden, indem die Interne Konsistenz berechnet wird, wenn das Item nicht in der Skala enthalten wäre. Eine gebräuchliche Kenngröße für die Interne Konsistenz ist Cronbachs Alpha und die Kuder-Richardson-Formel.
Die bei uns gebräuchliche Kenngröße für die interne Konsistenz ist der o.e. Cronbach Alpha Koeffizient:
Werte von Alpha > 0,7 sollten erreicht werden; besser > 0,8.
Paralleltest-Reliabilität:
Die Paralleltest-Reliabilität wird im Paralleltest-Verfahren bestimmt. Sie gibt an, ob ein vergleichbares Messverfahren identische Ergebnisse liefert. Anstelle gleichwertiger Testverfahren können auch Parallelformen des Tests verwendet werden. Zum Beispiel dürften die Aufgaben 3 + 4 = ? und 2 + 5 = ? gleichermaßen dazu geeignet sein, die Fähigkeit zur einfachen Addition zu messen.
Odd-Even-Methode:
Ähnlich der Split-Half-Methode (Test in zwei Hälften) kann der Test auch so eingeteilt werden, dass jede zweite bzw. jede ungerade Frage extra getestet wird.
Interrater-Reliabilität:
Die zum gleichen Zeitpunkt oder in Bezug auf dieselben Testobjekte ermittelte Übereinstimmung zwischen Beurteilern/Beobachtern bezeichnet man als Interrater- Reliabilität. Weitere gängige Werte sind der Übereinstimmungskoeffizient nach Holsti und Cohens Kappa.