Notice: the WebSM website has not been updated since the beginning of 2018.

Web Survey Bibliography

Title Paper and pencil or online? Methodological Experiences from an employee survey
Year 2004
Access date 11.05.2004
Abstract

Due to the fact, that at Universities in general all employees should be familiar with running a computer, it is assumed that an online-based interview among all university lecturers should represent a good alternative to the traditional paper and pencil form particularly with regard to costs terms. However, the effect this specific interview method may produce on the quality of the resulting sample as well as on the quality of the resulting answers was not yet clear. The following results from an employee survey of the University of Bremen shall give an answer to these questions.

Between November 2002 and February 2003 all university lecturers were invited to participate in an interview concerning the actual job situation and job satisfaction at the University. Determined at random, half of the interviewees got a traditional questionnaire whereas the other half was asked to fill in an online questionnaire. Both questionnaires were identical in order to estimate the actual effect of the different interview methods. In consequence this meant, that the questionnaire was elaborated for the traditional method but it was not optimised for the online one.

The results were analysed in two respects: with regard of the random sample and with regard of the content. The rate of return of about 47% already revealed differences due to specific interview methods: The rate of return of the traditional questionnaire was about 50% whereas only 43,4% of the online questionnaires were returned. Both rates are acceptable if one considers, that the binding character of the interview was not more than the simple interest of one employee of the University.

Analysing the two samples with regard of sex and position of the interviewees it appeared, that the rate of return among the women was higher than those of the men. As far as the position was concerned there was an effect of the interview method. The rate of return of traditional questionnaires among professors was higher than those of the online questionnaires. This effect could also be interpreted as an effect due to the age of the interviewees.

The analysis of the content should give answers to three main questions: Are there effects on interview methods concerning the response distribution of the questions? Are there effects on the degree of non-response? Are there specific effects on the answers of free-response questions?

The main result was that both interview types delivered equivalent quality of data. Nevertheless, some characteristics must be kept in mind.

Abstract - optional

Internetgestützte Befragungen der Lehrenden an Universitäten müssten durch die große Verbreitung der Technik und ihre selbstverständliche Nutzung eine gute Möglichkeit sein, relativ kurzfristig und kostengünstig durchführbar sein. Unklar blieben dabei bisher die Auswirkungen der spezifischen Erhebungsmethode auf die Güte der resultierenden Stichprobe und auf die Güte der resultierenden Antworten. Diesen Fragen wurde im Rahmen einer Mitarbeiterbefragung an der Universität Bremen nachgegangen.

Zwischen November 2002 und Februar 2003 waren alle Lehrenden aufgefordert, an einer Befragung zur Arbeitssituation und Arbeitszufriedenheit an der Universität teilzunehmen. Zufällig differenziert konnte die eine Hälfte der Angesprochenen den Fragebogen schriftlich beantworten, während die andere Hälfte gebeten wurde, den Fragebogen im Internet zu beantworten. Um den tatsächlichen Effekt der Erhebungsmethode zu schätzen war der Fragebogen für beide Varianten konstant gehalten. Das bedeutete in der Konsequenz, dass er zwar für die schriftliche Fassung, nicht aber für die netzgestützte optimiert war.

Analysiert wurden die Ergebnisse in zwei Hinsichten: mit Blick auf die Stichprobe und inhaltlich. Bei einer Gesamtrücklaufquote von fast 47% zeigten sich erhebungsspezifische Unterschiede: für die schriftliche Befragung ist ein Rücklauf von 50% zu berichten; für die netzgestützte Variante von 43,4%. Beide Rückläufe sind vor dem Hintergrund der Verbindlichkeit der Teilnahme, die sich lediglich aus einem Forschungsinteresse einer Universitätsmitarbeiterin speiste als akzeptabel einzuschätzen.

Betrachtet man die beiden Stichproben nach dem Geschlecht und der Position der Befragten zeigt sich darüber hinaus, dass für Frauen in beiden Befragungsformen ein höherer Rücklauf konstatiert werden kann als für Männer und dass es einen Erhebungsformeffekt für die Position gibt. In der schriftlichen Variante haben Professoren einen deutlich höheren Rücklauf als andere Lehrenden, in der Online-Variante kehrt sich dieser Befund um. Dies kann auch als Alterseffekt interpretiert werden.

Bezogen auf die inhaltliche Fragestellung sollen insbesondere drei Fragen beantwortet werden: Gibt es Erhebungsformeffekte auf die Antwortverteilungen der Fragen? Gibt es Auswirkungen auf das Ausmaß fehlender Fälle? Gibt es spezifische Effekte auf die Beantwortung offener Fragen?

Im Ergebnis wird festgestellt werden, dass netzgestützte Lehrendenbefragungen zu einer äquivalenten Datenqualität wie schriftliche Befragungen führen, dass aber gleichzeitig einige Besonderheiten zu beachten sind.

Access/Direct link

Homepage - conference (abstract)

Year of publication2004
Bibliographic typeConferences, workshops, tutorials, presentations
Print