Designing Multi-Factorial Survey Experiments: Effects of Presentation Style (Text or Table), Answering Scales, and Vignette Order
Abstract: Multi-factorial survey experiments have become a well-established tool in social sciences as they combine experimental designs with advantages of heterogeneous respondent samples. This paper investigates three under-researched design features: how to present vignettes (running text vs. table), how to measure responses (rating vs. open scale), and how to sort vignettes (random vs. extreme-cases-first, to prevent censored responses). Experiments were conducted in a 2 x 2 x 2 between-subject design with 408 university students rating decks à 20 vignettes. Analyses of 7,895 ratings showed no differences of whether vignettes were presented as running texts or tables. Open scales revealed more measurement problems, e.g., missing values, than rating scales. Finally, vignettes presented randomly sorted produced similar results compared to sorting extreme vignette cases first. Recommendations based on the findings are to use random orders of vignettes and rating scales. Table vignettes prov
- Location
-
Deutsche Nationalbibliothek Frankfurt am Main
- Extent
-
Online-Ressource
- Language
-
Englisch
- Bibliographic citation
-
Designing Multi-Factorial Survey Experiments: Effects of Presentation Style (Text or Table), Answering Scales, and Vignette Order ; volume:14 ; number:2 ; year:2020 ; pages:195-214
Veröffentlichungsversion
begutachtet (peer reviewed)
Methods, data, analyses ; 14, Heft 2 (2020), 195-214
- Classification
-
Sozialwissenschaften, Soziologie, Anthropologie
- DOI
-
10.12758/mda.2020.06
- URN
-
urn:nbn:de:101:1-2021092208054323892537
- Rights
-
Open Access; Der Zugriff auf das Objekt ist unbeschränkt möglich.
- Last update
-
15.08.2025, 7:35 AM CEST
Data provider
This object is provided by:
Deutsche Nationalbibliothek. If you have any questions about the object, please contact the data provider.
Deutsche Nationalbibliothek. If you have any questions about the object, please contact the data provider.
Associated
Other Objects (12)
Designing Multi-Factorial Survey Experiments : Effects of Presentation Style (Text or Table), Answering Scales, and Vignette Order
Verifizierung der pathologischen Veränderungen der Bogengänge bei Patienten mit kompletter sowie schwerer inkompletter bilateraler Vestibulopathie unterschiedlicher ätiologischer Genese mittels der Scleral Search Coil-Technik
Different Order, Different Results? : The Effects of Dimension Order in Factorial Survey Experiments
SOEP-IS 2013 - Factorial survey module on job preferences and job offer acceptance
Complexity, learning effects, and plausibility of vignettes in factorial surveys
Why Should Women Get Less? : Evidence on the Gender Pay Gap from Multifactorial Survey Experiments
Betriebsgründungen in Ostdeutschland
Together apart? : organizational sex segregation after German unification [[Elektronische Ressource]]
Pouring water into wine: Revisiting the advantages of the crosswise model for asking sensitive questions
Wer beruft Professorinnen? : eine geschlechtsspezifische Analyse der Berufungsverfahren an der Universität Konstanz
Das Dilemma: Gleiche Ausbildung - ungleicher Lohn : Hochlohnberufe für Männer, Niedriglohnberufe für Frauen?
Nutzung kultureller Einrichtungen und Lebenszufriedenheit : Ergebnisse der Konstanzer Bürgerbefragung ; Sommer 2010 - 3. Welle
Designing Multi-Factorial Survey Experiments : Effects of Presentation Style (Text or Table), Answering Scales, and Vignette Order
Verifizierung der pathologischen Veränderungen der Bogengänge bei Patienten mit kompletter sowie schwerer inkompletter bilateraler Vestibulopathie unterschiedlicher ätiologischer Genese mittels der Scleral Search Coil-Technik
Different Order, Different Results? : The Effects of Dimension Order in Factorial Survey Experiments
SOEP-IS 2013 - Factorial survey module on job preferences and job offer acceptance
Complexity, learning effects, and plausibility of vignettes in factorial surveys
Why Should Women Get Less? : Evidence on the Gender Pay Gap from Multifactorial Survey Experiments
Betriebsgründungen in Ostdeutschland
Together apart? : organizational sex segregation after German unification [[Elektronische Ressource]]
Pouring water into wine: Revisiting the advantages of the crosswise model for asking sensitive questions
Wer beruft Professorinnen? : eine geschlechtsspezifische Analyse der Berufungsverfahren an der Universität Konstanz
Das Dilemma: Gleiche Ausbildung - ungleicher Lohn : Hochlohnberufe für Männer, Niedriglohnberufe für Frauen?
Nutzung kultureller Einrichtungen und Lebenszufriedenheit : Ergebnisse der Konstanzer Bürgerbefragung ; Sommer 2010 - 3. Welle
Designing Multi-Factorial Survey Experiments : Effects of Presentation Style (Text or Table), Answering Scales, and Vignette Order
Verifizierung der pathologischen Veränderungen der Bogengänge bei Patienten mit kompletter sowie schwerer inkompletter bilateraler Vestibulopathie unterschiedlicher ätiologischer Genese mittels der Scleral Search Coil-Technik
Different Order, Different Results? : The Effects of Dimension Order in Factorial Survey Experiments
SOEP-IS 2013 - Factorial survey module on job preferences and job offer acceptance
Complexity, learning effects, and plausibility of vignettes in factorial surveys
Why Should Women Get Less? : Evidence on the Gender Pay Gap from Multifactorial Survey Experiments
Betriebsgründungen in Ostdeutschland
Together apart? : organizational sex segregation after German unification [[Elektronische Ressource]]
Pouring water into wine: Revisiting the advantages of the crosswise model for asking sensitive questions
Wer beruft Professorinnen? : eine geschlechtsspezifische Analyse der Berufungsverfahren an der Universität Konstanz
Das Dilemma: Gleiche Ausbildung - ungleicher Lohn : Hochlohnberufe für Männer, Niedriglohnberufe für Frauen?