Web Survey Bibliography
The utility of an archived survey mainly depends on the quality and elaborateness of its documentation. This holds true for traditional-static and computer-assisted data collection and especially for online surveys. Online surveys allow for documentation standards which exceed the needs in classical paper-based surveys. Hitherto known documentation standards for offline conducted surveys were evaluated with online surveys in mind. In a collaboration of the two GESIS institutes ZU MA and ZA these standards were revised and, if necessary, extended for their use in online surveys. New demands arise especially because (a) partial completions (dropouts) remain in the dataset, and (b) variations in the visual design affect the answers. We mayaiso add (c) particularities for online surveys which are based on or include experimental designs. Negative effects in online surveys (e.g. high non-response) are often caused by inadequate and poor operationalisations of the questionnaire. To allow for an assessment of any research result it is necessary to provide information on the operationalisations for the reader. Similarly, a description of the flow of the questionnaire (filter paths) is needed. All the same, the layout and design of single questions should be documented in online surveys, as they are known to influence answer behavior.
The resulting guidelines for documentation practice in online surveys therefore focus on the following aspects:
1) Coding of missing data. Our proposed scheme for missing data documentation combines two known standards, clears it from unnecessary irregularities and extends it to the area of online surveys.
2) Codebook. We propose an extended version of the classical codebook with simple frequency distributions, information on the page number and the display of the questions.
3) Process documentation. We explain how the questionnaire flow and controls may be described.
4) Variable labels, The well known label approach prefix-stem-suffix is explicated for online surveys.
Examples are used to illustrate and discuss the guidelines.
Der Nutzen einer archivierten Befragung ist im Wesentlichen abhangig von der Gute und Detailliertheit ihrer Dokumentation. Dies gilt fOr traditionell-statische und computergestotzte Erhebungen, insbesondere aber auch fOr Befragungen, die mittels des Internet realisiert werden. Im Vergleich zu Papier-gestotzten Erhebungen ermoglichen Online-Befragungen den Einsatz von Dokumentationsstandards, die weit Uber das Bisherige hinausgehen.
ln einer Zusammenarbeit der beiden GESIS-Institute ZUMA und ZA wurden die gangigen Dokumentationsstandards fOr offline durchgefOhrte Erhebungen im Hinblick auf ihre Tauglichkeit in Online-Befragungen UberprUft und, soweit dies notwendig erschien, erweitert. Neue Anforderungen entstehen vor allem dadurch, dass (a) unvollstandige Interviews in den Datensatz gelangen (Dropouts) und (b) den zahlreichen Variationsmoglichkeiten im visuellen Design, die zu speziellen Antworteffekten fOhren konnen. Hinzu kommen (c) Besonderheiten, sofern den Online-Befragungen experimentelle Designs zugrunde liegen.
Bei Online-Befragungen lassen sich negative Effekte wie z.B. ein hoher Nonresponse haufig auf mangelhafte Operationalisierungen zurUckfOhren. Daher sollte zur Bewertung der Forschungsergebnisse die Operationalisierung fOr den Leser verfUgbar sein. Damit einhergehend ist zu einer genaueren Dokumentation von Abbruchquoten eine Beschreibung des Fragebogenablaufs und der Fragebogensteuerung notwendig. Gleichwohl sollten gerade im Online-Bereich Design und Layout einzelner Fragetypen dokumentiert werden, da diese einen Einfluss auf das Antwortverhalten ausUben konnen.
Die entstandenen Richtlinien zur Dokumentationspraxis legen ihre Schwerpunkte daher auf die folgenden Aspekte:
1) Codierung fehlender Angaben: Hierbei stehen die Bereinigung von Irregularitaten in der Codevergabe, die generelIe GUltigkeit bei verschiedensten Befragungen, sowie die Erweiterung auf den Online-Bereich im Vordergrund.
2) Codebuch: Erweiterung des klassischen Codebuchs um Haufigkeitstabellen, Angaben zur Befragungsseite, sowie der verwendeten Darstellungsform.
3) Prozessdokumentation: Darstellung des Fragebogenverlaufs und der -steuerung.
4) Variablenbezeichnungen: Explizierung der bekannten Dreiteilung PrefixStamm-Suffix auf Online-Befragungen.
Anhand von Beispielen sollen die hier entwickelten Standards vorgestellt und zur Diskussion gestelit werden.
Abbruchquoten eine Beschreibung des Fragebogenablaufs und der Fragebogensteuerung notwendig. Gleichwohl sollten gerade im Online-Bereich Design und Layout einzelner Fragetypen dokumentiert werden, da diese einen Einfluss auf das Antwortverhalten ausUben konnen.
Web Survey Bibliography - General Online Research Conference (GOR) 2007 (37)
- Online Factorial Surveys as an Approach for International Comparative Research; 2007; Berger, R., Burek, M.
- Pure Text vs. HTML in Email Invitations; 2007; Neubarth, W., Kaczmirek, L., Hellwig, O.
- The Usage of Magnitude Estimation Scales in Online Surveys - Results of a Joint Project; 2007; Althoff, S., Dumke, U.
- The Influence of Regulatory Focus and Other Personality Traits on the Participation in Online Surveys...; 2007; Stratmann, C., Verheyen, C.
- "Dirty Politics" Web Experiments on the Effects of Negative Communication Actions ; 2007; Tatzl, G.
- A Comparison of Visual Analog and Graphic Rating Scales ; 2007; Thomas, R. K., Couper, M. P.
- The Best of Intentions: Response Format Effects on Measures of Behavioral lntention ; 2007; Thomas, R. K., Klein, J. D., Behnke, C. S., Terhanian, G.
- New Market Insights by Analysing Public Online Communication ; 2007; Troemel, M.
- Media usage in the age of Web 2.0 ; 2007; Trump, T., Spahlinger, M. P.
- The impact of the duration of affiliation and the intensity of questioning on the willingness of participation...; 2007; Wachenfeld, A.
- From "Innavators" to "Laggards" - Diffusion of Unrestricted Surveys on the Web ; 2007; Wolsing, A., Faas, T.
- Is it all rubbish? Credibility of answers in web surveys ; 2007; Zajac, J., Rakocy, K., Nowak, A.
- Quality of Online Research: Does it Improve Results? ; 2007; Lindemann, M.
- SniperScale: Graphical scaling in data collection and its effect on the response behaviour of participants...; 2007; Luetters, H., Westphal, D., Heublein, F.
- Good intentions are very popular. They can always be used again. On forecasting of product potential...; 2007; Melles, T., Puetzfeld, S.
- testMaker An Open Source Tool for Web-based Aptitude Testing ; 2007; Milbradt, A., Zimmerhofer, A., Hornke, L. F.
- New Access to Information laws in Germany - a big bang for Computer-Assisted Reporting (CAR)? ; 2007; Redelfs, M.
- VASgenerator.net - A Web-Based Tool for Creating Visual Analogue Scales ; 2007; Reips, U. -D., Funke, F.
- Participation Motives of Online Panellists ; 2007; Rodenhausen, T., Kaufmann, G., Hartmann, A.
- Online research praxis: the role of online research at Yahoo! ; 2007; Gonzales, R.
- Reducing social desirability bias through indirect questioning in scena rios: When does it work in online...; 2007; Snijders, C., Matzat, U.
- Is Online Deception Really a Threat to Data Quality in Online Studies? Results from a Review; 2007; Stieger, S.
- Subjective Anonymity in Online-Surveys ; 2007; Strassnig, B.
- B2B Online Research in China ; 2007; Bumann, B.
- Peeping Over Computers The Slovenian Internet Audience Measurement Mix Model ; 2007; Cucin, P., Kropivnik, S., Hocevar, J.
- Can Open-Source Survey Tools be used in Wleb-based Market Research? ; 2007; Frichter, C.
- Dynamic Forms: Online Surveys 2.0 ; 2007; Funke, F., Reips, U. -D.
- Online Research 2.0 » Join the MindVoyage ; 2007; Gadeib, A., Lichter, C.
- Using Change to Improve Navigation in Grid Questions ; 2007; Galesic, M., Tourangeau, R., Couper, M. P., Conrad, F. G.
- The High Hurdie Technique Put to the Test: Do Artificially Increased Loading Times Enhance Data Quality...; 2007; Goeritz, A., Stieger, S.
- A closer look at the effect of recruitment methods on data quality for online panel surveys ; 2007; Irmer, C., Wenzel, O., Peichl, M.
- Sample and Method Effects: A Comparison between Off-line and On-line Collected Data ; 2007; Jarchow, C.
- Documentation of Online Surveys ; 2007; Kaczmirek, L., Neubarth, W., Bandilla, W., Watteler, O.
- Putting Social Psychological lncentives to Work: Motivation and Non-Monetary Incentives in Online Information...; 2007; Antin, J., Cheshire, C.
- The Impact of Screen Size and Background Color on Response in Web Surveys ; 2007; Baker, R. P., Couper, M. P.
- On whom do we rely? Personality traits and nonresponse in an online surve ; 2007; Bipp, T.
- Choice-Based Conjoint Analysis on the Internet: How Complex Should the Tasks Be? ; 2007; Brocke, M.