Online-Befragungen in der Praxis

Online-Befragungen in der Praxis Meinald T. Thielsch & Simone Weltzin Universität Münster // tivian GmbH Zusammenfassung Online-Befragungen kommen als Methode immer häufiger zum Einsatz. Der vorliegende Beitrag stellt zentrale Vor- und Nachteile heraus und gibt verschiedene Handlungsemp- fehlungen, insbesondere zur Erstellung einer Online-Studie, zur Stichproben-Rekrutierung und zur Feldphase selbst. In einem Praxisbeispiel werden die besonderen Anforderungen und Gegebenheiten von Online-Mitarbeiterbefragungen dargestellt. 1 Einleitung Online-Befragungen erfreuen sich in den letzten Jahren einer stetig wachsenden Beliebtheit. Immer mehr Daten werden über das World Wide Web erhoben, immer mehr Personen sind per E-Mail erreichbar und können zu Befragungen eingeladen werden. Dieser Trend zeigt sich auch in der Wirtschaftspsychologie, wie aktuelle Zahlen aus der Marktforschung verdeutlichen: Die jährliche Befra- gung der Mitglieder des ADM (Arbeitskreis Deutscher Markt- und Sozialfor- schungsinstitute e.V.) zeigt einen kontinuierlichen Anstieg des Anteils von Onli- ne-Befragungen in den letzten 10 Jahren. Im Jahr 2008 lag dieser Anteil bei 31 Prozent aller quantitativen Befragungsformen1. Grund für den Erfolg der Online-Methode sind neben dem kontinuierlichen Wachstum des Nutzerkreises des Internets und der Verfügbarkeit stetig besserer Online-Befragungssoftware besonders die zahlreichen Vorteile von Online- 1 Siehe http://www.adm-ev.de/ 70 Meinald T. Thielsch & Simone Weltzin Untersuchungen (siehe Tabelle 1). Vor allem die Ökonomie dieser Befragungs- form, die es einfach macht große Stichproben in kurzer Zeit zu erheben, ist für viele Anwender das entscheidende Kriterium. Tabelle 1: Methodische Vor- und Nachteile von Online-Untersuchungen Vorteile Nachteile Zeiteffizienz bei Erhebung, Auswertung und Die Programmierung der Online- Präsentation der Daten Untersuchung braucht einen gewissen zeitlichen Vorlauf Aufwand und Kosten für Druck, Austeilung Gegebenenfalls Aufwand für Einarbei- und Kodierung von Fragebögen, Interviewer tung in entsprechende Befragungssoft- und Dateneingaben entfallen ware Automatisierbarkeit und somit teilweise Die Durchführungsbedingungen der hohe Objektivität: Keine Fehlerquellen durch Datenerhebung können nicht kontrolliert Dateneingabe, keine Versuchsleiter-Effekte, werden, daher Probleme bei der Durch- keine Gruppeneffekte führungsobjektivität. Heterogenere Stichprobenzusammensetzung Keine Repräsentativität für die Gesamt- als bei durchschnittlichen offline durchge- bevölkerung erreichbar führten Studien Alokalität des Mediums: Manche offline Nicht alle Zielgruppen sind online, nicht schwer erreichbare Personenkreise sind alle Computer bezüglich Soft- und Hard- online ansprechbar ware auf ausreichend aktuellem Stand Hohe Datenqualität; Kontrollskripte verhin- Mehrfachteilnahmen von Befragten sind dern „missing data“; Konsistenzprüfungen technisch nur bedingt kontrollierbar, der Daten anhand von Zeitprotokollen u. ä. Rückfragen können nur asynchron und möglich auf Initiative des Befragten hin beantwor- tet werden Zumeist hohe Akzeptanz aufgrund von Frei- Akzeptanzprobleme wenn die Befragten willigkeit, Flexibilität und Anonymität Direktmarketing oder andere uner- wünschte Datennutzungen vermuten Verfahrenstransparenz, Ethik: Online- Daten(banken) der Online-Studie müssen Studien sind transparenter, da sie stärker gegen unberechtigten Zugriff geschützt öffentlich zugänglich sind als Offline- werden. Studien Online-Befragungen in der Praxis 71 Gleichzeitig erfreuen sich Online-Methoden zumeist einer hohen Akzeptanz bei den Befragten. Im Vergleich zu Offline-Studien werden für Online- Untersuchungen vergleichbare oder sogar bessere Datenqualitäten festgestellt, unter anderem bedingt durch ehrlicheres Antwortverhalten, geringere Effekte sozialer Erwünschtheit, hohe empfundene Anonymität, höhere ökologische Vali- dität und höhere Stichprobenvarianz (Döring, 2003; Dzeyk, 2001; Gosling et al., 2004; Reips, 2002; Welker et al., 2005). Nachteile liegen vor allem in der unklaren Identität der Befragten und der gerin- gen Kontrolle über die Durchführungsbedingungen. Nicht ganz auszuschließen sind auch technische Schwierigkeiten bei einzelnen Befragten, vor allem wenn diese veraltete Software und ältere Anzeigegeräte nutzen. Trotz der zunehmenden Verbreitung der Methodik ist bisher nur an wenigen Hochschulen die Konzeptionierung und Durchführung von Online-Studien fester Teil der (psychologischen) Ausbildung. Daher soll im vorliegenden Beitrag nachfolgend auf grundsätzliche Regeln bei der Befragungskonzeption, Datener- hebung und Datenkontrolle eingegangen werden. Das Praxisbeispiel „Online- Mitarbeiterbefragung“ dient zur Veranschaulichung dieser Regeln. 2 Erstellung einer Online-Befragung Grundsätzlich gelten für Online-Befragungen die gleichen Regeln hinsichtlich der Item- und Fragebogenkonstruktion wie für Offline-Befragungen (siehe bspw. Bühner, 2006; Moosbrugger & Kelava, 2007, Porst, 2008). Dabei lohnt es sich im Vorfeld Zeit in eine gute Konstruktion und Prüfung der Fragen zu investieren. Missverständliche oder fehlerhaft formulierte Items sind für die spätere Auswer- tung wertlos. An dieser Stelle sollte man sich selbst zudem kritisch fragen, ob alle Items notwendig sind und der endgültige Fragebogen wirklich vollständig nur noch aus zielführenden Teilen besteht. Im Anschluss erfolgt die Umsetzung des Fragebogens in einer Online-Befragungssoftware. 2.1 Die Startseite der Befragung Grundsätzlich sollte man die Instruktionstexte in einer Online-Befragung versu- chen kurz und maximal verständlich zu halten, das gilt auch für die Startseite. Hier müssen die Teilnehmer über die zentralen Aspekte der Befragung informiert werden, das heißt: 72 Meinald T. Thielsch & Simone Weltzin • Um welches Thema geht es? Was ist das Ziel der Befragung? • Wer ist für die Befragung verantwortlich? Welche Institution steht dahinter? • Wie lange wird die Befragung dauern? Hinzukommen sollte auf der Startseite oder einer nachfolgenden Informations- seite ein kurzer Hinweis zur Anonymität und Datenschutz. Die Ansprechpartner der Studie sollten wenn möglich verlinkt sein. Falls vorhanden kann man an dieser Stelle auch auf eine Vergütung der Teilnahme, eine Verlosung oder einen Ergebnisbericht hinweisen. 2.2 In der Befragung Direkt zu Beginn der Befragung werden die demographischen Variablen erho- ben. Zum einen können so die Abbrecher mit den Nicht-Abbrechern statistisch verglichen und ein selektiver Abbruch ausgeschlossen oder zumindest näher analysiert werden. Zum anderen entspricht dieses Vorgehen, wenn persönliche und eher sensitive Aspekte als erstes gefragt werden, der so genannten high hurdle technique (Reips, 2002). Die high hurdle technique umfasst verschiedene Mittel zu Beginn der Befragung, um die Ernsthaftigkeit der Teilnahme zu be- günstigen und die Motivation eines Teilnehmers zu überprüfen. So werden die Befragten über die Untersuchung aufgeklärt und es erfolgen auf der Startseite reale Zeitangaben über die Dauer. Zudem sollten entsprechend der high hurdle technique die ersten Befragungsseiten so gestaltet sein, dass sich auf ihnen deut- lich mehr Texte, Items oder Informationen befinden als auf den späteren Befra- gungsseiten – frei nach dem Motto: Wer die ersten umfangreicheren Seiten bear- beitet, wird auch die nachfolgenden angenehmeren (und inhaltlich für den Unter- sucher spannenderen) Seiten bearbeiten. Offene Fragen sollten nur in begrenztem Umfang eingesetzt oder zumindest eher ans Ende der Befragung gestellt werden. Erfahrungsgemäß senkt dieser Fragetyp die Teilnahmemotivation und führt zu erhöhten Abbruchquoten. Gerade bei vielen offenen Fragen zu Beginn befürchten die Teilnehmer sie müssten im wei- teren Verlauf der Befragung selbst viel Text produzieren – das wirkt auf viele demotivierend. Was die technischen Einstellungen einer Online-Befragung betrifft, so sollte generell versucht werden eine möglichst hohe Usability (Benutzbarkeit) der Befragung zu erreichen (siehe hierzu Kaczmirek, 2009). Neben verständlichen Items und Instruktionen sollte die Befragung leicht zu bedienen sein und mög- Online-Befragungen in der Praxis 73 lichst auf jedem Computer auch mit langsameren Internetverbindungen funktio- nieren. Keinesfalls ist von den Befragten zu verlangen irgendwelche Plug-ins oder andere zusätzliche Software installieren zu müssen, dieser Aufforderung werden nur wenige Folge leisten. Hier sollte auf Standard-Applikationen der Webbrowser gesetzt werden, so kann JavaScript bei den allermeisten, ein Flash- Player bei einem Großteil der Webnutzer erwartet werden. Die Befragung selbst sollte in etwa eine Bildschirmbreite von 800 Punkt haben und so eingerichtet sein, dass auf keinen oder nur möglichst wenig Seiten gescrollt werden muss. Wenn möglich kann ein Fortschrittsbalken eingeblendet werden, um die Befrag- ten über den jeweiligen Bearbeitungsstand zu informieren.