TITEL: Ranking- und Rating-Verfahren zur Messung von Wertorientierungen, untersucht am Beispiel des Inglehart-Index. Empirische Befunde eines Methodenexperiments
ENGL. TITEL: Ranking and Rating Procedures for the Measurement of Values, Analyzed with an Example of the Inglehart-Index. Empirical Results of a Methodological Experiment .
QUELLE: Kölner Zeitschrift für Soziologie und Sozialpsychologie, 51, 1999, S. 550-564
ZUSAMMENFASSUNG: Über die Frage, ob Ranking-Prozeduren wirklich besser für die Messung von Wertorientierungen geeignet sind als Rating-Skalen, gibt es in der empirischen Sozialforschung eine andauernde Diskussion. Um diese Debatte mit mehr empirischer Evidenz anzureichern, haben wir ein Methodenexperiment in eine zweiwellige schriftliche Panelbefragung integriert: In der ersten Panelwelle wurden die Befragten gebeten, die vier Items des Inglehart-Index sowohl unabhängig voneinander in ihrer Wichtigkeit zu bewerten als auch rangzuordnen. In der zweiten Panelwelle haben wir diese Bitte wiederholt, dabei allerdings der Hälfte der Respondenten einen Fragebogen vorgelegt, in dem die Reihenfolge der Items vertauscht war. Mit Hilfe dieses experimentellen Designs können wir zeigen, dass ein Zusammenhang zwischen der Reihenfolge der Items im Fragebogen und den von den Befragten vergebenen Rangpositionen besteht. Dies gilt in besonderem Maße für Befragte, die in der ersten Panelwelle im Rahmen des Rating-Verfahrens allen Items dieselbe Wichtigkeit zugeschrieben hatten. Das Ranking-Verfahren ist also für Response-Sets ebenso anfällig wie Rating-Skalen. Vor dem Hintergrund dieser Befunde besteht kein Grund für die Annahme, dass das Ranking dem Rating in methodischer Hinsicht überlegen sei.
ABSTRACT: In empirical social research there is a long debate about the question, whether ranking procedures are indeed more appropriate for the measurement of value orientations than rating scales. To gain empirical clarity, we incorporated a methodological experiment into a two-wave mail panel survey. In the first wave we asked respondents to rank and rate the four items of the well known Inglehart-Index. In the second wave we split the sample and while asking the same question, we changed the order of the items in the questionnaire for half of the respondents. By means of this experimental design we can demonstrate that there exists a correlation between the order of the items in the questionnaire and the rank-order that respondents assign to these items. This relationship is even stronger for respondents which gave the same rating to all items in the first panel wave. Thus, ranking procedures seem to be affected by response sets as well as rating procedures. In the light of these findings, there remains no basis for the assumption, that rankings are superior to ratings in methodological terms.
KORRESPONDENZANSCHRIFT: Dipl.-Volksw. Markus Klein M.A., Zentralarchiv für empirische Sozialforschung an der Universität zu Köln, Bachemerstr. 40, D-50931 Köln, E-Mail: klein@za.uni-koeln.de; Kai Arzheimer, Institut für Politikwissenschaft, Johannes Gutenberg-Universität, Colonel-Kleinmann-Weg 2, D-55099 Mainz
