Web Survey Bibliography
Visual analogue scales (VAS; in our study plain horizontal lines with verbal anchors at each end) have proven to be advantageous in comparison to measurement with discrete scales (like radio button scales or slider scales). They produce data on the level of an interval scale (Reips & Funke, in press) and even perform better regarding test-retest-reliability while producing fewer cases of dropout.
Our first study ( N = 195) follows up on the findings that (1) response times with VAS were significantly higher than with 5-point radio button scales, and (2) item nonresponse was much more frequent with VAS (see also Couper, Tourangeau, Conrad, & Singer, 2006). On the surface, both findings seem to indicate problems for VAS-based measurement: In general, response time is suggested as an indicator for respondent burden. But there are also opposing explanations. Higher response times may indicate deeper cognitive processing - in most cases a desired effect. Item nonresponse can also be positive, if it represents fewer cases of satisficing behavior (see Krosnick, 1991; Reips, 2000).
To be able to decide whether higher completion times and more items with missing data values are indicators for desired or undesired processes preceding a response we conduced a second Web experiment. Respondents ( N = 220) were randomly assigned either to a questionnaire with VAS or with horizontal scales with seven radio buttons. To assess respondent burden, we directly asked respondents about the perceived time needed to answer the questionnaire. Secondly, we implemented an inventory on the flow experience (Czikszentmihalyi, 1988) perceived with either scale.
Based on the results, we call the general assumption into question that respondent burden is correlated with the time needed to answer a questionnaire.
In the presentation, findings will be discussed in light of measurement error and the question answer process suggested by Sudman, Bradburn, and Schwarz (1996).
Visuelle Analogskalen (VAS; in unseren Untersuchungen einfache horizontale Linien mit verbal verankerten Enden) haben sich im Vergleich zu diskreten Messinstrumenten (wie Radiobutton- oder Sliderskalen) als vorteilhaft erwiesen. Messungen mit VAS zeichnen sich dadurch aus, dass ihre Daten das Niveau einer Intervallskala (Reips & Funke, in Druck) erreichen, sie eine größere Test-Retest-Reliabilität aufweisen und dass die Abbruchquote geringer ist.
Unsere erste Untersuchung ( N = 195) baut darauf auf, dass (1) Antwortzeiten mit VAS signifikant höher sind, als mit 5-stufigen Radiobuttonskalen und (2) Antwortverweigerung mit VAS häufiger auftritt (siehe auch Couper, Tourangeau, Conrad, & Singer, 2006). Bei oberflächlicher Betrachtung sind dies Indizien für Probleme mit VAS-gestützten Befragungen: Allgemein werden höhere Antwortzeiten als ein Indikator für größere Teilnehmerbelastung gesehen. Aber es gibt auch entgegengesetzte Erklärungsmodelle. Höhere Antwortzeiten können ein Indikator für tiefere kognitive Prozesse sein, was meist erwünscht ist. Auch Antwortverweigerung kann positiv sein, wenn dafür weniger Fälle von Satisficing (siehe Krosnick, 1991; Reips, 2000) auftreten.
Um entscheiden zu können, ob höhere Antwortzeiten und mehr Items mit fehlenden Datenwerten Indikatoren für erwünschte oder unerwünschte Prozesse sind, die einer Antwort vorausgehen, haben wir ein zweites Webexperiment durchgeführt. Allen Teilnehmern ( N = 220) wurde zufällig entweder ein Fragebogen mit VAS oder mit horizontalen siebenstufigen Radiobutton-Skalen zugewiesen. Um die Teilnehmerbelastung zu messen, ließen wir die Teilnehmer die Zeit schätzen, die sie für das Beantworten des Fragebogens benötigt hatten. Darüber hinaus implementierten wir ein Frageinventar, um bei beiden Skalen die Intensität des Flow-Erlebnisses (Czikszentmihalyi, 1998) zu messen.
Auf diesen Befunden aufbauend, stellen wir die allgemeine Annahme in Frage, dass Teilnehmerbelastung und die Zeit, die für die Beantwortung eines Fragebogens benötigt wird, miteinander korreliert sind.
Während der Präsentation werden alle Befunde im Licht des Messfehlers und des von Sudman, Bradburn und Schwarz (1996) vorgestellten Frage-Antwort-Prozesses betrachtet.
General online research (GOR) 2008 (abstract)
Web Survey Bibliography - Reips, U. -D. (90)
- Comparison of psychometric properties of internet versions of the Marlowe-Crowne Social Desirability...; 2013; Vesteinsdottir, V., Reips, U. -D., Joinson, A. N., Porsdottir, F.
- True experimental data collection on the Internet; 2013; Reips, U. -D., Krantz, J. H.
- Askito: An open source Web questionnaire tool; 2013; Reips, U. -D., Heilmann, T.
- Studying Migrants with the Help of the Internet: Methods from Psychology; 2012; Reips, U. -D., Buffardi, L.
- Psychometric properties of an internet administered version of the Marlowe-Crowne Social Desirability...; 2012; Vesteinsdottir, V., Reips, U. -D., Joinson, A. N., Porsdottir, F.
- WEBDATANET: A Network on Web-based Data Collection, Methodological Challenges, Solutions and Implementation...; 2012; Steinmetz, S., Kaczmirek, L., de Pedraza, P., Reips, U. -D., Tijdens, K., Lozar Manfreda, K., et, al...
- Better low-tech than sorry: How technophile questionnaires may affect psychological representativeness...; 2012; Funke, F., Reips, U. -D.
- Why semantic differentials in Web-based research should be made from visual analogue scales and not...; 2012; Funke, F., Reips, U. -D.
- Using the Internet to collect data; 2012; Reips, U. -D.
- Using Amazon's Mechanical Turk for the recruitment of participants in Internet-based research; 2011; Reips, U. -D., Buffardi, L., Kuhlmann, T.
- Slider Scales Causing Serious Problems With Less Educated Respondents; 2011; Funke, F., Reips, U. -D., Thomas, R. K.
- Dropout in Web-based studies: Methodology; 2011; Reips, U. -D.
- Sliders for the Smart: Type of Rating Scale on the Web Interacts With Educational Level; 2011; Funke, F., Reips, U. -D., Thomas, R. K.
- Advice in Surveying the General Public Over the Internet; 2010; Dillman, D. A., Reips, U. -D., Matzat, U.
- Design and formatting in Internet-based research; 2010; Reips, U. -D.
- What are participants doing while filling in an online questionnaire: A paradata collection tool and...; 2010; Stieger, S., Reips, U. -D.
- Internet experiments: methods, guidelines, metadata; 2009; Reips, U. -D.
- Twisting rating scales in Web surveys: Slider scales versus categorical scales of horizontal versus...; 2009; Funke, F. Reips, U. -D. Thomas, R. K.
- Semantic differentials made from visual analogue scales: Expanding the survey designer's menu; 2009; Funke, F., Reips, U. -D.
- Making small effects observable: Reducing error by using visual analogue scales; 2009; Funke, F., Reips, U. -D.
- Increasing Confidence in Survey Estimates with Visual Analogue Scales; 2009; Funke, F., Reips, U. -D., Thomas, R. K.
- Twisting Rating Scales: Horizontal versus Vertical Visual Analogue Scales versus Categorical Scales...; 2009; Funke, F., Reips, U. -D.
- Yes, VASs can! Increasing the accuracy of survey measurements with computerized visual analogue scales...; 2009; Funke, F., Reips, U. -D.
- True Web experiments; 2009; Reips, U. -D.
- Results from 6 Independent Web Experiments Comparing Visual Analogue Scales with Categorical Scales; 2009; Funke, F., Reips, U. -D.
- Does the seriousness check really sieve out datasets with bad data quality?; 2009; Stieger, S., Reips, U. -D.
- Investigating the High Hurdle Technique; 2009; Frauendorfer, D., Reips, U. -D.
- The impact of privacy concerns on data collection; 2009; Reips, U. -D., Joinson, A. N., Buchanan, T., Schofield Paine, C.
- GPCP: A German Version of the Scale for Online Privacy Concern and Protection for Use on the Internet...; 2009; Oostlander, J., Reips, U. -D., Buchanan, T.
- Formatting Error with Visual Analogue Scales in Web Surveys; 2009; Funke, F., Reips, U. -D.
- Internet questionnaires in e-health contexts: Non-response to sensitive items; 2009; Reips, U. -D., Buchanan, T., Joinson, A. N., Paine, C.
- Reaction times in Internet-based versus laboratory research: Potential problems and a solution; 2009; Reips, U. -D.
- Collecting data in surfer's paradise: Internet-mediated research yesterday, now, and tomorrow; 2009; Reips, U. -D.
- A decade of Internet-based data collection: Time is ripe for combining e-learning with i-science; 2009; Reips, U. -D.
- Experimentation within surveys; 2009; Reips, U. -D.
- Investigating causal relationships with power: Online experiments; 2009; Reips, U. -D.
- Internet-basierte Messung sozialer Erwünschtheit: Theoretische Grundlagen und experimentelle Untersuchung...; 2008; Kaufmann, E., Reips, U. -D.
- Assessing Semantic Differentials with Visual Analogue Scales in Web Surveys; 2008; Funke, F., Reips, U. -D.
- Visual Analogue Scales in Cross Cultural Web Surveys ; 2008; Funke, F., Reips, U. -D., Thomas, R. K.
- Interval-level measurement with visual analogue scales in Internet-based research: VAS generator; 2008; Reips, U. -D., Funke, F.,
- Visual Analogue Scales Versus Categorical Scales: Respondent Burden, Cognitive Depth, and Data Quality...; 2008; Funke, F.,Reips, U. -D.
- Measuring self-disclosure online: Blurring and non-response to sensitive items in web-based surveys; 2008; Joinson, A. N., Paine, C., Buchanan, T., Reips, U. -D.
- Privacy, Trust and Self-Disclosure to Web-Based Surveys; 2007; Joinson, A. N., Paine, C., Buchanan, T., Reips, U. -D.
- Response time measurement in the lab and on the Web: A comparison; 2007; Galesic, M., Reips, U. -D., Kaczmirek, L., Czienskowski, U., Liske, N., von Oertzen , T.
- Improving Data Quality in Web Surveys with Visual Analogue Scales; 2007; Funke, F., Reips, U. -D.
- Experiments on non- response in internet- based research; 2007; Reips, U. -D.
- Improving Data Quality in Web Surveys with Visual Analogue Scales; 2007; Funke, F., Reips, U. -D.
- VASgenerator.net - A Web-Based Tool for Creating Visual Analogue Scales ; 2007; Reips, U. -D., Funke, F.
- Dynamic Forms: Online Surveys 2.0 ; 2007; Funke, F., Reips, U. -D.
- Forced response in online surveys: bias from reactance and an increase in sex-specific dropout; 2007; Stieger, S., Reips, U. -D., Voracek, M.