Web Survey Bibliography
Title Comparing Web Surveys and Paper & Pencil Surveys: Measurement Error and Mode Differences
Author Fuchs, M.
Year 2002
Access date 21.04.2004
Abstract Based on the increasing methodological research web surveys are increasingly adopted by survey researchers. In terms of the validity of web surveys early studies suggested that--controlling for other sources of survey error--little differences are to be expected in terms of response distributions. However, little insight is available regarding the cognitive processes at work in a respondent's mind when answering a survey question on the internet. We assume that the cognitive capacity available when answering a survey question is impaired by the respondent's navigational efforts when working though the questionnaire. This would harm data quality. In order to assess the cognitive processing of a web survey we use well documented question order and response order experiments from the literature and administer them both under web survey conditions as well as under paper and pencil conditions. We aim to demonstrate that it is not sufficient to compare response distributions when evaluating differences of web surveys and paper and pencil surveys. In this talk we present results from a large scale field experiment (n = 5,000) on measurement error in a mixed mode survey (p & p and online) among the German youth conducted in spring of 2001. In this survey, 6 experiments on measurement error were incorporated: 2 experiments on question order, 2 experiments on response categories, and 2 experiments on response order in long lists.
Abstract - optional Nachdem die Methodenforschung sich relativ gründlich mit einzelnen Problemen und Aspekten von Online-Umfragen beschäftigt hat, werden sie mittlerweile in großem Stil in der Umfrageforschung eingesetzt. Erste vorliegende Vergleiche haben gezeigt, dass die online gewonnenen Daten sich nicht dramatisch von offline gewonnenen Ergebnissen unterscheiden. Weniger erforscht ist bisher jedoch, ob die kognitiven Prozesse des Befragten bei Beantworten einer Fragebogen-Frage im Internet mit denen vergleichbar sind, die bei der Beantwortung eines Papier-Fragebogens auftraten. Wir vermuten, dass die kognitive Kapazität des Befragten bei der Bearbeitung eines Online-Fragebogens durch die Navigation und andere Aspekte belastet werden, was die Datenqualität beeinträchtigen würde. Um die kognitiven Prozesse bei der Beantwortung der Fragebogen-Fragen zu untersuchen haben wir in der Literatur gut dokumentierte Experimente zur Fragereihenfolge und zur Antwortreihenfolge sowohl in einer Online-Befragung wie auch in einer schriftlichen Befragung administriert. Die Ergebnisse zeigen, dass die kognitiven Prozesse beim Befragten bei Online-Umfragen variieren und dass es zur Evaluation der Validität von online gewonnenen Daten nicht ausreicht Antwortverteilungen von Web-Umfragen und schriftlichen Befragungen zu vergleichen. Im Vortrag werden Ergebnisse eines groß angelegten Feld-Experimentes (n= 5.000) zu Messfehlern in Multi-Mode-Befragungen (Paper & Pencil und Online) referiert, die im Frühjahr 2001 unter deutschen Jugendlichen durchgeführt wurde. In diese Umfrage wurden 6 Experimente zur Fragereihenfolge, zur Antwortreihenfolge und zu Skalen-Effekten eingebaut, deren Ergebnisse vergleichend referiert werden sollen.
Access/Direct link Homepage - conference (abstract)
Year of publication2002
Bibliographic typeConferences, workshops, tutorials, presentations
