Web Survey Bibliography
The utility of an archived survey mainly depends on the quality and elaborateness of its documentation. This holds true for traditional-static and computer-assisted data collection and especially for online surveys. Online surveys allow for documentation standards which exceed the needs in classical paper-based surveys. Hitherto known documentation standards for offline conducted surveys were evaluated with online surveys in mind. In a collaboration of the two GESIS institutes ZU MA and ZA these standards were revised and, if necessary, extended for their use in online surveys. New demands arise especially because (a) partial completions (dropouts) remain in the dataset, and (b) variations in the visual design affect the answers. We mayaiso add (c) particularities for online surveys which are based on or include experimental designs. Negative effects in online surveys (e.g. high non-response) are often caused by inadequate and poor operationalisations of the questionnaire. To allow for an assessment of any research result it is necessary to provide information on the operationalisations for the reader. Similarly, a description of the flow of the questionnaire (filter paths) is needed. All the same, the layout and design of single questions should be documented in online surveys, as they are known to influence answer behavior.
The resulting guidelines for documentation practice in online surveys therefore focus on the following aspects:
1) Coding of missing data. Our proposed scheme for missing data documentation combines two known standards, clears it from unnecessary irregularities and extends it to the area of online surveys.
2) Codebook. We propose an extended version of the classical codebook with simple frequency distributions, information on the page number and the display of the questions.
3) Process documentation. We explain how the questionnaire flow and controls may be described.
4) Variable labels, The well known label approach prefix-stem-suffix is explicated for online surveys.
Examples are used to illustrate and discuss the guidelines.
Der Nutzen einer archivierten Befragung ist im Wesentlichen abhangig von der Gute und Detailliertheit ihrer Dokumentation. Dies gilt fOr traditionell-statische und computergestotzte Erhebungen, insbesondere aber auch fOr Befragungen, die mittels des Internet realisiert werden. Im Vergleich zu Papier-gestotzten Erhebungen ermoglichen Online-Befragungen den Einsatz von Dokumentationsstandards, die weit Uber das Bisherige hinausgehen.
ln einer Zusammenarbeit der beiden GESIS-Institute ZUMA und ZA wurden die gangigen Dokumentationsstandards fOr offline durchgefOhrte Erhebungen im Hinblick auf ihre Tauglichkeit in Online-Befragungen UberprUft und, soweit dies notwendig erschien, erweitert. Neue Anforderungen entstehen vor allem dadurch, dass (a) unvollstandige Interviews in den Datensatz gelangen (Dropouts) und (b) den zahlreichen Variationsmoglichkeiten im visuellen Design, die zu speziellen Antworteffekten fOhren konnen. Hinzu kommen (c) Besonderheiten, sofern den Online-Befragungen experimentelle Designs zugrunde liegen.
Bei Online-Befragungen lassen sich negative Effekte wie z.B. ein hoher Nonresponse haufig auf mangelhafte Operationalisierungen zurUckfOhren. Daher sollte zur Bewertung der Forschungsergebnisse die Operationalisierung fOr den Leser verfUgbar sein. Damit einhergehend ist zu einer genaueren Dokumentation von Abbruchquoten eine Beschreibung des Fragebogenablaufs und der Fragebogensteuerung notwendig. Gleichwohl sollten gerade im Online-Bereich Design und Layout einzelner Fragetypen dokumentiert werden, da diese einen Einfluss auf das Antwortverhalten ausUben konnen.
Die entstandenen Richtlinien zur Dokumentationspraxis legen ihre Schwerpunkte daher auf die folgenden Aspekte:
1) Codierung fehlender Angaben: Hierbei stehen die Bereinigung von Irregularitaten in der Codevergabe, die generelIe GUltigkeit bei verschiedensten Befragungen, sowie die Erweiterung auf den Online-Bereich im Vordergrund.
2) Codebuch: Erweiterung des klassischen Codebuchs um Haufigkeitstabellen, Angaben zur Befragungsseite, sowie der verwendeten Darstellungsform.
3) Prozessdokumentation: Darstellung des Fragebogenverlaufs und der -steuerung.
4) Variablenbezeichnungen: Explizierung der bekannten Dreiteilung PrefixStamm-Suffix auf Online-Befragungen.
Anhand von Beispielen sollen die hier entwickelten Standards vorgestellt und zur Diskussion gestelit werden.
Abbruchquoten eine Beschreibung des Fragebogenablaufs und der Fragebogensteuerung notwendig. Gleichwohl sollten gerade im Online-Bereich Design und Layout einzelner Fragetypen dokumentiert werden, da diese einen Einfluss auf das Antwortverhalten ausUben konnen.
Web Survey Bibliography - Kaczmirek, L. (69)
- Cognitive Probes in Web Surveys: On the Effect of Different Text Box Size and Probing Exposure on Response...; 2013; Behr, D., Bandilla, W., Kaczmirek, L., Braun, M.
- GESIS Online Panel Pilot: Results from a Probability-Based Online Access Panel; 2013; Kaczmirek, L., Bandilla, W., Schaurer, I., Struminskaya, B., Weyandt, K.
- Effects of incentive reduction after a series of higher incentive waves in a probability-based online...; 2013; Struminskaya, B., Kaczmirek, L., Schaurer, I., Bandilla, W.
- Sample composition discrepancies in different stages of a probability-based online panel; 2013; Bosnjak, M., Haas, I., Galesic, M., Kaczmirek, L., Bandilla, W., Couper, M. P.
- Challenges of assessing the quality of a prerecruited probability-based panel of internet users in...; 2012; Struminskaya, B., Kaczmirek, L.
- Item comparability in cross-national surveys: results from asking probing questions in cross-national...; 2012; Behr, D., Braun, M., Kaczmirek, L., Bandilla, W.
- Assessing Cross-National Equivalence of Measures of Xenophobia: Evidence from Probing in Web Surveys; 2012; Behr, D., Braun, M., Kaczmirek, L.
- The Mode of Invitation for Web Surveys; 2012; Bandilla, W., Couper, M. P., Kaczmirek, L.
- GESIS Online Access Panel Pilot Study: Recruitment and Panel Maintenance; 2012; Kaczmirek, L., Bandilla, W., Schaurer, I., Struminskaya, B., Weyandt, K.
- Panel Conditioning: Results from Two Experiments in a Probability-based Online Panel; 2012; Struminskaya, B., Kaczmirek, L., Schaurer, I., Bandilla, W.
- WEBDATANET: A Network on Web-based Data Collection, Methodological Challenges, Solutions and Implementation...; 2012; Steinmetz, S., Kaczmirek, L., de Pedraza, P., Reips, U. -D., Tijdens, K., Lozar Manfreda, K., et, al...
- The price we have to pay: Incentive experiments in the recruitment process for a probability-based online...; 2012; Schaurer, I., Struminskaya, B., Kaczmirek, L., Bandilla, W.
- Little experience with technology as a cause of nonresponse in online surveys; 2012; Struminskaya, B., Schaurer, I., Kaczmirek, L., Bandilla, W.
- Asking Probing Questions in Web Surveys: Which factors have an Impact on the Quality of Responses? ; 2012; Behr, D., Kaczmirek, L., Braun, M., Bandilla, W.
- Testing the Validity of Gender Ideology Items by Implementing Probing Questions ; 2012; Behr, D., Braun, M., Kaczmirek, L., Bandilla, W.
- Online Research @ GESIS; 2011; Kaczmirek, L., Lenzner, T.
- Seeing Through the Eyes of the Respondent: An Eye-tracking Study on Survey Question Comprehension; 2011; Lenzner, A., Kaczmirek, L., Galesic, M.
- Equivalence of Measures of Xenophobia in Cross National Survey Research: Findings Based on a Web Probing...; 2011; Bandilla, W., Behr, D., Braun, M., Kaczmirek, L., Majer, S.
- Asking sensitive questions in a recruitment interview for an online panel: the income question; 2011; Schaurer, I., Struminskaya, B., Kaczmirek, L., Bandilla, W.
- Cognitive process in answering questions: Are verbal labels in rating scales attended to?; 2011; Menold, N., Kaczmirek, L., Lenzner, T.
- Cognitive interviewing in web surveys: the use of probing questions in cross-national web surveys; 2011; Behr, D., Braun, M., Kaczmirek, L., Bandilla, W.
- Left feels right! The optimal position of answer boxes in Web surveys; 2011; Galesic, M., Kaczmirek, L., Lenzner, T., Merkert, M.
- Quality of a probability-based online panel for the social sciences in Germany: first results.; 2011; Bandilla, W., Kaczmirek, L., Schaurer, I., Struminskaya, B.
- Category Selection Probing in Online Access Panels.; 2011; Behr, D., Kaczmirek, L., Braun, M., Bandilla, W.
- Asking Sensitive Questions: Do They Affect Participation In Follow-Up Surveys?; 2011; Schaurer, I., Struminskaya, B., Kaczmirek, L., Bandilla, W.
- Which Technologies Do Respondents Use in Online Surveys – An International Comparison?; 2011; Kaczmirek, L., Behr, D., Bandilla, W.
- Developing a Research Framework for Usability in Online Surveys: Human-Survey Interaction; 2010; Kaczmirek, L.
- Attention and Usability in Internet Surveys: Effects of Visual Feedback in Grid Questions; 2010; Kaczmirek, L.
- Security and Data Protection: Collection, Storage, Feedback in Internet Research; 2010; Thiele, O., Kaczmirek, L.
- Wie empfinden Teilnehmer die Fragen in Online-Befragungen? Entwicklung eines Diktionärs für die automatische...; 2010; Kaczmirek, L., Baier, C., Züll, C.
- Social and Behavioral Research and the Internet: Advances in Applied Methods and Research Strategies; 2010; Das, M., Ester, P., Kaczmirek, L.
- Cognitive burden of survey questions and response times: A psycholinguistic experiment; 2010; Lenzner, T., Kaczmirek, L., Lenzner, A.
- What are They Asking Me? A Web Survey Experiment on Question Clarity and Measurement Error; 2009; Faas, T., Kaczmirek, L., Lenzner, A.
- Respondent-Oriented Interaction Design Reduces Item Nonresponse in Internet Surveys; 2009; Kaczmirek, L.
- Is this e-mail relevant? An eyetracking experiment on how potential respondents read e-mail invitations...; 2009; Kaczmirek, L., Faaß, T., Galesic, M.
- What are They Asking Me? A Web Survey Experiment on Question Clarity and Measurement Error; 2009; Faas, T., Kaczmirek, L., Lenzner, A.
- Respondent-Oriented Interaction Design Reduces Item Nonresponse in Internet Surveys; 2009; Kaczmirek, L.
- Panel Discussion: Does Mixed Mode Help Us Increase Response Rates?; 2009; Kaczmirek, L.
- Respondents’ Evaluations of Questionnaires: A Single-Item Open-Ended Instrument for Quality Control...; 2009; Baier, C., Kaczmirek, L., Züll, C.
- A literature review on constructing answer formats; 2009; Menold, N., Kaczmirek, L., Hoffmeyer-Zlotnik, J.
- Social Research and the Internet: Advances in Applied Methods and New Research Strategies; 2009; Das, M., Ester, P., Kaczmirek, L.
- Coverage- und Nonresponse-Effekte bei Online-Bevölkerungsumfragen ; 2009; Bandilla, W., Kaczmirek, L., Blohm, M., Neubarth, W.
- Human-Survey Interaction: Usability and Nonresponse in Online Surveys; 2008; Kaczmirek, L.
- Psycholinguistic Determinants of Question Difficulty: A Web Experiment; 2008; Faaß, T., Kaczmirek, L.
- Internet Survey Software Tools; 2008; Kaczmirek, L.
- Increasing item completion rates in matrix questions ; 2008; Kaczmirek, L.
- Prenotification in Web-Based Access Panel Surveys: The Influence of Mobile Text Messaging Versus E-Mail...; 2008; Bosnjak, M., Neubarth, W., Couper, M. P., Bandilla, W., Kaczmirek, L.
- Nicht-reaktive datenerhebung: Teinahmeverhalten bei befragungen mit paradaten evaluieren. [Non reactive...; 2007; Kaczmirek, L., Neubarth, W.
- Response time measurement in the lab and on the Web: A comparison; 2007; Galesic, M., Reips, U. -D., Kaczmirek, L., Czienskowski, U., Liske, N., von Oertzen , T.
- Applications of the Document Object Model (DOM) in Web-Surveys; 2007; Neubarth, W., Kaczmirek, L.