Web Survey Bibliography
Five experiments examined whether and how participation in Web based studies was influenced by such a simple measure as framing the reception of an incentive as being contingent on the completeness of the submitted questionnaire. Four experiments were carried out in a university-based online panel and one in a market research online panel. Four times the incentive was a prize draw and once it was a personal gift. Two conditions were contrasted in the experiments: one group received an invitation e-mail mentioning that all participants are eligible for the incentive, whereas the other group was told that only those participants who completely fill-out the questionnaire would receive the incentive. Dependent measures were response, retention, number of omitted closed-ended items, length of answers to open-ended questions, and stereotypical answering of grid-like question batteries. Across all experiments consistent patterns were found suggesting that conditional incentives decrease response and increase retention and data quality. However, in neither study these tendencies reached a conventional level of statistical significance. Therefore, individual results were meta-analytically integrated to find out whether individual experiments were merely underpowered to detect small effects.
Fünf Experimente widmeten sich der Fragestellung, ob und wie die Teilnahme an webbasierten Studien dadurch beeinflusst wird, dass der Erhalt eines materiellen Anreizes von der Vollständigkeit des ausgefüllten Fragebogens abhängig gemacht wird. Von den fünf Experimenten wurden vier in einem universitären Online-Panel und eines in einem kommerziellen Marktforschungspanel durchgeführt. Vier mal wurde als Incentive die Teilnahme an einer Verlosung angeboten: ein mal wurde ein persönliches Incentive ausgelobt. In jedem Experiment wurden zwei Bedingungen kontrastiert: Eine zufällig ausgewählte Gruppe erhielt eine Einladungs-E-Mail, in der erwähnt wurde, dass alle Teilnehmer eine Anwartschaft auf das Incentive haben, wogegen der anderen Gruppe mitgeteilt wurde, dass nur Teilnehmer, welche den Fragebogen vollständig ausfüllen, für das Incentive in Frage kommen. Abhängige Variablen waren die Ausschöpfung, die Retention, die Zahl der nicht beantworteten geschlossenen Fragen, die Länge der Antworten auf offene Fragen sowie die stereotype Beantwortung von Matrix-Fragen. Über alle Experimente hinweg wurden Muster in der Richtung beobachtet, dass konditionale Incentives die Ausschöpfung senken, die Retention und die Datenqualität jedoch heben. Allerdings waren diese Tendenzen in keinem der Experimente signifikant. Deswegen wurden in einem zweiten Schritt die einzelnen Studien meta-analytisch zusammengefasst, um herauszufinden, ob die Primärstudien lediglich eine zu geringe Teststärke aufwiesen, um kleine bis sehr kleine Effekte aufzudecken.
Homepage - conference (abstract)
Web survey bibliography - Goeritz, A. (24)
- Response Effects of Prenotification, Prepaid Cash, Prepaid Vouchers, and Postpaid Vouchers: An Experimental...; 2015; van Veen, F.; Goeritz, A.; Sattler, S.
- Determinants of the starting rate and the completion rate in online panel studies; 2014; Goeritz, A.
- Online panel research: History, concepts, applications and a look at the future; 2014; Callegaro, M., Baker, R., Bethlehem, J., Goeritz, A., Krosnick, J. A., Lavrakas, P. J.
- The Use of Paradata to Predict Future Cooperation in a Panel Study; 2014; Funke, F., Goeritz, A.
- Incentive effects; 2013; Goeritz, A.
- How Do Lotteries and Study Results Influence Response Behavior in Online Panels?; 2013; Goeritz, A., Luthe, S. C.
- Reminders in Web-Based Data Collection: Increasing Response at the Price of Retention?; 2012; Goeritz, A., Crutzen, R.
- Does social desirability compromise self-reports of physical activity in web-based research?; 2011; Crutzen, R., Goeritz, A.
- Handle with Care: The Impact of Using Java Applets in Web-Based Studies on Dropout and Sample Composition...; 2011; Stieger, S., Goeritz, A., Voracek, M.
- Web panels: Replacement technology for market research; 2010; Goeritz, A.
- Social desirability and self-reported health risk behaviors in web-based research: three longitudinal...; 2010; Crutzen, R., Goeritz, A.
- The Effects of Different Incentives on Data Quantity and Data Quality in Online Panels; 2010; Singh, R. K., Voggeser, B. J., Goeritz, A.
- The longitudinal effect of incentives on participation and data quality in online panels; 2010; Neumann, B. P., Goeritz, A.
- The influence of the field time on data quality in list-based Web surveys; 2009; Goeritz, A., Stieger, S.
- Using online panels to conduct Web-based research: What works and what doesn’t; 2009; Goeritz, A.
- Distortion of demographics through technically induced dropout in restricted online surveys; 2009; Voracek, M., Stieger, S., Goeritz, A.
- Payments via Paypal as an Incentive in Online Panels; 2009; Goeritz, A., Wolff, H.-G., Goldstein, D. G.
- Using the World-Wide Web to obtain large-scale word norms: 190,212 ratings on a set of 2,654 German...; 2009; Lahl, O., Goeritz, A., Pietrowsky, R., Rosenberg, J.
- Individual payments as a longer-term incentive in online panels ; 2008; Goeritz, A., Wolff, H.-G., Goldstein, D. G.
- The effects of incentives in internet panels: a review; 2008; Goeritz, A.
- Cash Lotteries as Incentives in Online Panels; 2006; Goeritz, A.
- Meta-Analyses on Contingent versus Unconditional Incentives; 2005; Goeritz, A.
- Recruitment for online access panels; 2004; Goeritz, A.
- The impact of material incentives on response quantity, response quality, sample composition, survey...; 2004; Goeritz, A.