Web Survey Bibliography
Objectives: Is a self-recruited Online-survey without additional criteria for selection useful or causes bias? It is necessary to compare data from the Online-survey with those from a representative population survey, which has been carried out at the same time, to get clarification? Which are the results of a comparison of central social characteristics on the one hand and content characteristics? Furthermore the relationships between the variables and the differences in the coherences should be checked. Moreover the question should be discussed how far the context or the portal on which the Online-Survey is carried out, influences the composition of the respondents.
Method: The basis for the analysis forms a postal survey with a probability sampling of the address register of the population of Düsseldorf from the year 2000 with 796 respondents. On the other hand an Online-survey also from the year 2000, with predominant identical questions, on the portal of a supra-regional daily newspaper and also on the portal of the University of Düsseldorf. Here, 509 respondents answered the questionnaire.
Results: On closer examination of the central social characteristics there are mentionable differences in the social composition between the postal and the Online-survey. It turns out that men, younger respondents and formal higher educated are overrepresented in the self-recruited Online-survey. And there are also strong differences if we look at the variables which are relevant for the research (for example political interest, fear of crime et cetera).
Conclusions: The results of the comparison show that there are explicit differences in the social composition and the variable which are relevant for the research between the postal and the Online-survey. Representativeness of the population is not achievable via Online-surveys if for example – like in our case – the survey is posted on an Internet site of a supra-regional daily newspaper.
Ein Vergleich mit Angaben aus einer kommunalen Bevölkerungsbefragung.
Fragestellung: Inwieweit ist eine selbstrekrutierte Online-Befragung ohne zusätzliche Auswahlkriterien brauchbar bzw. führt zu Verzerrungen. Erst durch einen Abgleich mit Daten einer repräsentativen Bevölkerungsbefragung, die zeitgleich durchgeführt wurde, ist eine Klärung möglich. Welche Befunde erbringt ein Vergleich zentraler sozialer aber auch inhaltlicher Merkmale? Weiterhin sollen auch die Beziehungen zwischen den Variablen und die Unterschiede in den Zusammenhänge geprüft werden. Zudem soll die Frage erörtert werden, inwieweit der Kontext bzw. das Portal auf dem die Online-Befragung durchgeführt wird, Einfluss auf die Zusammensetzung der Befragten hat.
Methode: Die Basis der Analysen bildet zum einen eine im Jahr 2000 postalisch durchgeführte repräsentative Umfrage in der Düsseldorfer Bevölkerung mit insgesamt 796 Befragten. Zum anderen eine Online-Befragung, ebenfalls aus dem Jahr 2000, mit überwiegend identischen Fragen, die sowohl auf dem Portal einer überregionalen Tageszeitung als auch auf dem Portal der Universität Düsseldorf eingesetzt wurde. Hier beträgt die Anzahl der ausgefüllten Fragebögen 509.
Ergebnisse: Bei der Betrachtung der zentralen sozialen Merkmale fällt auf, dass es bedeutende Unterschiede in der sozialen Zusammensetzung zwischen der postalischen und der Online-Erhebung gibt. Es zeigt sich, dass sowohl Männer, jüngere Befragte und formal besser Gebildete in der selbstrekrutierten Online-Befragung deutlich überrepräsentiert sind. Schaut man sich über die soziale Zusammensetzung hinaus, zudem die untersuchungsrelevanten Variablenbeziehungen (z.B. politisches Interesse, Kriminalitätsfurcht etc.) an, so zeigen sich zum Teil deutliche Unterschiede.
Schlussfolgerungen: Die Ergebnisse des Vergleichs zeigen, dass deutliche Unterschiede in der sozialen Zusammensetzung und den untersuchungsrelevanten Variablenbeziehungen zwischen der postalisch durchgeführten Befragung und der Online-Befragung bestehen. Repräsentativität der Bevölkerung lässt sich mittels einer Online-Befragung, die – wie in unserem Fall – auf der Internetseite einer überregionalen Tageszeitung gelaufen ist, nicht erreichen.
General online research (GOR) 2008 (abstract)
Web Survey Bibliography - Conference proceedings (240)
- Unintentional mobile respondents; 2012; Peterson, G.
- Sensitive topics in PC Web and mobile web surveys: Is there a difference?; 2012; Mavletova, A. M., Couper, M. P.
- Metering mobile usage. Insights from global Arbitron mobile trends panel; 2012; Verkasalo, H.
- Is „chapterisation“ a viable alternative to traditional progress indicators ?; 2012; Spicer, R., Dowling, Z.
- An experimental investigation of the effects of noncontingent and contingent incentives in recruiting...; 2012; Lavrakas, P. J., Dennis, J. M., Peugh, J., Shand-Lubbers, J., Lee, E., Peugh, J., Charlebois, O., Murakami...
- The smart(phone) way to collect survey data; 2011; Stapleton, C.
- The next CAPI evolution - completing web surveys on cell-enabled iPads; 2011; Dayton, J., Driscoll, H.
- Self-administered mobile surveys; 2011; Bosnjak, M.
- Online survey research: Findings, Best practices, and future research; 2011
- Moving forward, building an ethics community (Panel statement); 2011; Kenneally, E. et al.
- In search of a new approach to measure newspaper audiences in Canada: The journey continues; 2011; Crassweller, A. et al.
- Effects of response format on requalification for recontact studies; 2011; Thomas, R. K.
- A meta-analysis of experiments manipulating progress indicators in Web surveys; 2011; Callegaro, M., Villar, A., Yang, Y.
- Blend, balance, and stabilize respondent sources; 2011; Eggers, M., Drake, E.
- Mode Effect or Question Wording? Measurement Error in Mixed Mode Surveys; 2011; de Leeuw, E. D., Hox, J., Scherpenzeel, A.
- Using a fillable PDF together with SAS ® for questionnaire data; 2010; Donald, E.
- There is an app for that! A review of smartphone apps for marketing research; 2010; Michelson, M.
- The state of online research in the U.S.; 2010; Miller, J.
- Function follows form: Effects of response format on self-reported individuals and household disability...; 2010; Falcone, A. E., Thomas, R. K.
- Address-based sampling. Merits, design & implementation, and review of field statistics; 2010; Fahimi, M.
- A framework for understanding and applying ethical principles in network and security research; 2010; Kenneally, E., Bailey, M., Maughan, D.
- Restructuring and innovations on the survey “capacity of collective tourist accommodation”...; 2010; Santoro, M. T., Staffieri, S.
- An Analyze of the Zero Price Effect on Online Business Performance - An Research Based on the Mobile...; 2010; Liu, Y., Yuan, P.
- Dealing with Nonresponse in Survey Sampling: an Item Response Modeling Approach; 2010; Matei, A.
- Web survey design and usability; 2010; Karakoyun, F., Kurt, A. A.
- Response format effects on measurement of employment; 2009; Thomas, R. K., Dillman, D. A., Smyth, J. D.
- Getting data for (business) statistics: What's new? What's next?; 2009; Snijkers, G.
- Response Mode and Bias Analysis in the IRS’ Individual Taxpayer Burden Survey; 2009; Brick, J. M., Contos, G.,Masken, K.,Nord, R.
- Survey Mode Effects in Two Military Surveys; 2009; Yang, M., Falcone, A. E., Milan, L. M.
- Web based macroseismic survey: fast information exchange and elaboration of seismic intensity effects...; 2009; De Rubeis, V., Sbarra P., Sorrentino, D., Tosi, P.
- The representativeness of the LISS panel ; 2009; Knoef, M., de Vos, K.
- Sample factors that influence data quality; 2008; Gailey, R., Teal, D., Haechrel, E.
- An online panel as a platform for multi-disciplinary research; 2008; Scherpenzeel, A.
- Visual Design Effects on on Respondents Behaviour in Web-Surveys. A Design Experiment; 2008; Greinöcker, A.
- Effects of Privacy Assurances on the Online Measurement of Psychological Constructs; 2008; Witzki, A., Kramer, J.
- Effects of AJAX Technology in Online Questionnaires; 2008; Lütters, H., Westphal, D., Heublein, F.
- How Web 2.0 Technologies Can Become a Valuable Part of Online Research; 2008; Jaron, R.
- Respondent Authenticity - A biometrical approach to authenticate panelists; 2008; Wachter, B., Bender, C.
- Visual Analogue Scales Versus Categorical Scales: Respondent Burden, Cognitive Depth, and Data Quality...; 2008; Funke, F.,Reips, U. -D.
- Not Mixed-Mode but Switch-Mode; 2008; Höglinger, M., Abraham, M., Arpagaus, J.
- The Impact of Cognitive and Computer Skills on Data Quality in Computer Assisted Self Administered Questionnaires...; 2008; Brecko, B. N., Vehovar, V.
- Optimal Contact Strategy in a Mail-and-Web Mixed Mode Survey; 2008; Holmberg, A., Lorenc, B., Werner, P.
- 10 Years of Meinungsplatz.de: Success in the Collection of Data for Targeted Audiences, Such as the...; 2008; Weyergraf, O.
- Self-selection in Online Access Panels: No “Little Difference” in the Recruiting Process...; 2008; Wirth, T.
- Selectivity or Usefulness of Online-Surveys? A Comparison with Data from a Local Population Survey; 2008; Kroll, S., Hüfken, V., Reuband, K.H.
- Mobile Market Research; 2008; Maxl, E.
- Flexible and High-Speed Market Research through Mobile Data Collection & Online Reporting Tool; 2008; Haag, J., Volkmer, H.P.
- Online vs. Offline in Mobile Surveys; 2008; Neubarth, W., Maier, U.
- Gender-of-Interviewer Effects in Video-Enhanced Web Surveys. Results from a Randomized Field-Experiment...; 2008; Fuchs, M.
- The Online Use of Randomized Response Measurements; 2008; Snijders, C., Weesie, J.