Validität und Reliabilität virtualisierter RTR-Messungen : = Validity and reliability of virtualized RTR measurement

Abstract: Können virtualisierte Erhebungen rezeptionsbegleitend gemessener Kandidatenbewertungen in Echtzeit über das Internet valide und reliable Daten generieren? Seitdem Reinemann et al. vor 15 Jahren die Reliabilität und Validität von sogenannten Real-Time-Response-Messungen (RTR) mit physischen Eingabegeräten in laborexperimentellen Erhebungssettings in dieser Zeitschrift belegt haben, hat die Messtechnik eine weitreichende Veränderung erfahren, die durch die Virtualisierung ihres Instrumentariums gekennzeichnet ist. Allerdings liegen bislang kaum methodologische Erkenntnisse über den grundlegenden Wandel dieser Schlüsseltechnik vor. Der hier vorliegende Beitrag untersucht deshalb anhand von drei Fernsehduellen zu Landtagswahlen in Deutschland, inwiefern Daten, die mit einem virtualisierten Messinstrument der RTR-Messung in einer Feldstudie erhoben wurden, etablierten Standards der Datenqualität entsprechen. In unserer Analyse finden wir deutliche Belege für die Validität des Messverfahrens. Darüber hinaus zeigt unser Beitrag, dass diese neuartige Form der Erhebung von Echtzeitreaktionen reliable Daten mit einer hohen internen Konsistenz generieren kann, wenngleich die Befunde in Teilen ambivalent bleiben. Wir schlussfolgern, dass die Virtualisierung des RTR-Messinstrumentariums einen komplementären Ansatz zu den dominierenden Erhebungen mit laborexperimentellen Forschungsdesigns etabliert, wodurch die Analyse von Publikumsreaktionen auf landespolitische TV-Duelle in natürlichen Rezeptionssituationen zugänglich und die technische Implementierung von RTR-Studien über das Internet auch in Zeiten der COVID-19-Pandemie gewährleistet wird
Abstract: Real-Time Response Measurement (RTR) is an important approach in political communication research to investigate human processing of political information. Since Reinemann et al. demonstrated the reliability and validity of RTR with physical input devices in laboratory experimental study designs in this journal 15 years ago, measurement technology has experienced an instrumental change characterized by its virtualization. At the same time, there still is little methodological knowledge available about the fundamental changes in this key technology. Therefore, this article examines the extent to which data collected in a field study using a virtualized RTR-Measurement tool meet established standards of data quality.

Therefore, our first research question examines the validity of the RTR data in three ways. First, we consider construct validity. The results of our Kruskal-Wallis tests show a statistically significant differentiation of RTR rating behavior along party lines. This positive assessment is underlined by the high match score of a discriminant analysis. In a further analysis step, we implement a sparse structural equation model that assesses the relationship between party identification and RTR measurement, allowing us to draw conclusions about the construct validity of the virtualized RTR measurement. The calculated coefficients provide evidence that party identification and real-time rating are significantly and substantially associated. Although our analysis focuses merely on the partisan groups of the two candidates which parties are represented in the TV debates, in summarizing the results, we consider the question of construct validity (FF1.1) to be positively decided.

As a second perspective, we investigate criterion validity. A central finding here emerges from an examination of the sparse structural equation model, at the core of which is the relationship of RTR ratings and retrospective verdicts on debate performance. Controlling for party identification, we can show that the coefficients are very strong and significant. This observation holds across all duels and candidates. We thus find a consistent pattern, which leads us to answer the question about criterion validity (FF1.2) of our virtualized RTR measure in the affirmative

Object Details

• Alternative title: Validity and reliability of virtualized RTR measurement
• Location: Deutsche Nationalbibliothek Frankfurt am Main
• Extent: Online-Ressource
• Notes: Publizistik. - 66, 3-4 (2021) , 589-619, ISSN: 1862-2569

Classification and Topics

• Classification: Politik
• Keyword: Messung ; Reliabilität ; Validität ; Debatte

Contributors, Places and Time

• Event: Veröffentlichung
• (where): Freiburg
• (who): Universität
• (when): 2021
• Creator: Waldvogel, Thomas ; Wagschal, Uwe ; Metz, Thomas ; Becker, Bernd ; Feiten, Linus ; Weishaupt, Samuel

Further information

• DOI: 10.1007/s11616-021-00680-1
• URN: urn:nbn:de:bsz:25-freidok-2224295
• Rights: Kein Open Access; Der Zugriff auf das Objekt ist unbeschränkt möglich.
• Last update: 25.03.2025, 1:51 PM CET