Maurice Sanner

Befragungsdesign

Das Ziel einer Befragung ist das Erheben gewünschter Daten um einen Sachverhalt, wobei die Personen einer Befragung gemäß der Zielgruppen repräsentativ ausgewählt werden. Gängige Befragungsmethoden sind persönlich oder unpersönlich und via Mail, Telefon, Fragebogen, Internetbefragung, oder computergestützte Fragebögen. Gewöhnlicherweise lassen sich Fragen in Klassen einteilen. Diese Klassen haben einen unterschiedlichen Anspruch an Befragten und liefern unterschiedlich repräsentative Daten. Die zwei Hauptkategorien der Klassen sind offene und geschlossene Fragen. In dieser Ausarbeitung möchte ich auf die einzelnen Bausteine eines Fragebogens und den damit verbundenen Effekten eingehen.

Welche Art von Befragung eignet sich wofür?

Als erstes sollten sich Gedanken über das Ziel der Befragung gemacht werden. Nur wenn genau feststeht, welche Informationen von den Zielpersonen gewünscht sind, kann abgegrenzt werden, welche Bevölkerungs-/Zielgruppen für eine Befragung überhaupt in Betracht kommen. Zum Beispiel ist es relativ sinnlos, ältere Personen über die effiziente Nutzung eines Handys zu befragen, wo man bei der jüngeren Generation viel einfacher und schneller an brauchbare Aussagen kommt. Jetzt muss entschieden werden, welche Art der Befragung durchgeführt wird, jeder Methode hat ihre eigenen Vor- und Nachteile. Als Richtlinie mag gelten, dass je anonymer die Befragung ist, desto eher werden persönliche oder intime Daten ermittelt. Die Methode muss an die Zielgruppe und ihre technischen Möglichkeiten angepasst werden, sonst wird ein womöglich verzerrtes Bild ermittelt. Wichtig ist bei einer soliden Befragung, darauf zu achten, dass ALLE Personen einer Zielgruppe repräsentiert werden. Im Folgenden will ich kurz auf mögliche Anwendungsbereiche der unterschiedlichen Methoden eingehen. Aspekte der persönlichen Befragung (eine Unterklasse davon ist die begleitete Befragung, wo die Fragen selbstständig beantwortet werden, aber ein Beobachter für Rückfragen und Erklärungen dabeisitzt) sind Gesprächsbereitschaft, Zielpersonselektion und Vorführungen. In einem Interview können Beispiele oder Proben von Interessenobjekten vorgeführt werden und der Gesprächsteilnehmer ist generell eher geneigt, sich länger mit dem Interviewer zu unterhalten. Die Nachteile dieser Art von Befragung spiegeln sich in Zurückhaltung gegenüber eines Fremden wider und einer begrenzten Personenschicht. Wenn nahe beieinander gelegene Testpersonen befragt werden, haben sie das gleiche soziale Umfeld und zeigen stärkere Korelationen auf, als Testpersonen in zB verschiedenen Vierteln. Da kommt auch der Kostenfaktor zum tragen, Interviews sind sehr teuer und zeitintensiv. Kostengünstiger und effizienter in Sachen Erreichbarkeit sind Telefonbefragungen. Dort können weite Personenkreise einfach erreicht werden und geschulte Interviewer können meist genauere Antworten herauskitzeln, als eine reine Emailbefragung. Durch Benutzung eines CATI (Computer Assisted Telephone Interviewing) können Fragen automatisch generiert und anhand logischer Berechnungen umstrukturiert werden, die erhobenen Daten sind kurz nach dem Telefonat bereits erhältlich. Die Nachteile einer Telefonbefragung liegen auf der Hand: Privatpersonen reagieren undankbar, wenn sie zu hause gestört werden und die erreichbaren Personen sind oftmals aus der selben eingeschränkten Zielgruppe (Hausfrauen, Arbeitslose, etc). Noch günstiger sind Befragungen über Hauspost, wobei jedoch die Antwortzeit mitunter am längsten dauert. Die Testpersonen können sich beim Beantworten beliebig viel Zeit lassen. Im Gegensatz zur telefonischen Befragung können hier jedoch Bilder von Produkten beigefügt werden, um die Testpersonen zu informieren. Relativ neu sind die CDI, oder Computer Direct Interviews, bei denen die Testpersonen anonym und effizient ihre Antworten direkt in ein Computersystem eingeben können (als Beispiel die Besucherbefragungen bei der systems Messe) Hier ist die Wahrscheinlichkeit am grössten, brisante Daten zu erheben, da Testpersonen gewöhnlicherweise offener an einem Terminal antworten, als auf Papier, oder bei Interviews. Ausserdem werden die Fragen immer nach dem gleichen Muster gestellt, Antwortvarianzen wegen unterschiedlich formulierter Fragen von Interviewern werden bei CDI eliminiert. Internetseiten sind schnell und billig und können multimedialen Content haben. Auch hier können Frageketten gescripted werden, damit nicht Themen, die die Testperson bereits vorher verneint hat, wiederkommen. Es fällt dank der Anonymität auch hier Befragten leichter, ehrliche Antworten zu sensiblen Themen zu geben, die sie sonst nicht geben würden und generell fällt die Antwort zu offenen Fragen länger aus, als in allen anderen eigenverantwortlichen Befragungen. Leider kann die Internetpopulation nicht auf die Gesamtpopulation gespiegelt werden und lange Befragungen werden oftmals abgebrochen. Ausserdem kann nur schwer eingegrenzt werden, wer alles diese Seite besucht.

Welche Art von Fragen werden wozu verwendet?

Nachdem die Form der Befragung feststeht, muss sie noch mit Leben gefüllt werden. Gemäß den gewünschten Daten kommen dabei mehrere Fragetypen in Betracht. Offene Fragen (W-Fragen) ermöglichen Antworten nach Belieben, geschlossene Fragen grenzen Antwortmöglichkeiten ein. Offene Fragen werden in Antwortkategorien eingestuft, geschlossene Fragen werden nach ihren Antwortalternativen skaliert. Offene Fragen werden besonders für qualitative Auswertungen verwendet, geschlossene Fragen für quantitative. Bei qualitativen Auswertungen geht es darum, aus möglichst detaillierten Antworten Trends und intersubjektiv nachvollziehbare Ereignisse zu erfassen. Die Antworten danach auszuwerten kostet einiges an Zeit und Geld. Quantitative Auswertungen erfassen Statistiken und Häufigkeiten. Klar zu sehen ist, dass qualitative Auswertungen davon abhängen, wie gut der befragte schriftlich bewandert ist und die höhere Komplexität der Antwort meistert. Der Vorteil liegt vor allem in neuen Erkenntnissen und Randbedingungen, die bei Skalierung rausgefallen wären. Bei der Skalierung ist darauf zu achten, welche Skala für die Frage angemessen ist, ob sie ein nominales Skalenniveau (ja, nein), ein ordinales Skalenniveau ( Fall1, Fall2, Fall3) oder ein Intervallskalenniveau (Bitte geben Sie Ihren IQ auf 10 Punkte genau an, bei 0 kreuzen Sie "Sonstige" an) Skalen sollten nicht zu sehr differenziert sein, weil der Befragte keinen Unterschied zwischen kleinen Abweichungen macht. 5 bis 9 Abstufungen sind auf jeden Fall hinreichend. Ob die Skala einen Mittelpunkt haben sollte, oder nicht, ist ein nicht zu unterschätzendes Problem. Ohne Mittelpunkt werden Befragte zu einer Entscheidung gedrängt, und wirklich neutrale haben keine Antwortmöglichkeit. Bei einem Mittelpunkt ist es bequem, sich neutral zu geben.

Fragetypen

Fragen sollten in logischen Gruppen zusammengefasst werden, so wird die Bearbeitung angenehmer. Zum Beispiel wäre eine mögliche Anordnung Fragetypen mit gleicher Antwortkategorie (Ja/Nein), eine andere wäre Fragen eines Themas zu gruppieren. Ineinander übergehende Fragen, die im Kontext schlüssig sind, sind angenehmer zu beantworten. Eine neutrale Antwort, oder ein "Weiß nicht" ist im Fragebogendesign umstritten. Einerseits gibt sie den Testpersonen die Möglichkeit, darauf auszuweichen, sollten sie wirklich nicht in der Lage sein, die Frage zu beantworten, andererseits weichen viele einfach aus dem Grund darauf aus, weil es die bequemere Alternative ist. Solche möglichen Antworten sollten nur mit Bedacht eingesetzt werden. Testfragen enthalten die Daten, die erhoben werden sollen. Sie müssen klar verständlich sein und Fremdworte, wie Schachtelsätze sind tabu. Testfragen lassen sich grob in weitere Kategorien unterteilen. Die Sachfragen sollen von jedem leicht zu beantworten sein. Z.B. ist "Besitzen Sie einen Internetzugang?" eine solche Sachfrage. Dabei muss darauf geachtet werden, die Testperson nicht zu überfordern, sei es mit Dingen, die weit in der Vergangenheit liegen, oder Themen abfragen, die Recherche benötigen: "Wie lange haben sie in letzten Jahr pro Monat gesurft?" Wissensfragen hingegen testen den Bildungs- und Informationsstand. Hier sollte darauf geachtet werden, dass nicht zu viele und zu schwierige Fragen gestellt werden. Einstellungs- und Meinungsfragen werden meist mit dem semantischen Differential abgefragt, als Beispiel "Wie finden sie die Xbox360? Gut - Annehmbar - Mangelhaft - Schlecht" Hier treten Fehldaten besonders häufig durch die "keine Ahnung" Antworten auf und dadurch, dass Befragte sich meist erst dann Gedanken um ihre Meinung zu einem Thema machen und so Pseudo-Meinungen aufkommen. Zuletzt sollen Verhaltensfragen Gewohnheiten und Nutzungsbedingungen von Befragten testen. Die Formulierung der Frage hat hier besonders grossen Einfluss auf die Antwort, also sollte auf den genauen Wortlaut geachtet werden. Damit der Fragebogen nicht zu Kategorisiert oder aushorchend wirkt, werden Funktionsfragen eingesetzt, die die Testperson durch einen Fragebogen leiten und eine korrekte Beantwortung der Testfragen gewährleisten sollen. Zum Beispiel, da viele Testpersonen sich von direkten Fragen verwirrt, oder persönlich berührt, fühlen, ist es, gerade im Interview, wichtig, erstmal eine Beziehung zur Testperson aufzubauen und sie so ins Reden zu bringen. Dazu werden Eisbrecherfragen eingesetzt, die mit der eigentlichen Auswertung nichts zu tun haben, aber leicht zu beantworten sind. Eine weitere Funktionsfrageart sind die Überleiterfragen, die mehrere logische Module und Themenbereiche eines Fragebogens sinnvoll miteinander verknüpft. Um sinnvolle Daten zu erhalten, ist es wichtig, zu überprüfen, ob die Testperson überhaupt qualifiziert ist, Auskunft über ein Thema zu geben. Dazu werden Trichter- und Filterfragen benutzt, die sequentiell Aussortieren sollen, wer einen Themenblock beantworten kann und soll und wer nicht. Ein Beispiel ist die Nutzung von MMS. Eine mögliche Trichterfrage wäre, ob die Person ein Handy besitzt, wenn ja, vielleicht welcher Anbieter und letztendlich, ob damit SMS oder MMS versandt werden. Erst dann ist die Testperson in der Lage, verwertbare Daten zu liefern. Filterfragen werden ähnlich eingesetzt, nur werden durch sie Testpersonen in Kategorien eingeteilt, wie zB "o2 Kunden, vodafone Kunden, eplus Kunden", wo in separaten Frageblöcken mehr spezifische Details erfragt werden können. Filter- und Trichterfragen machen den Aufbau eines Fragebogens kompliziert, da Teile übersprungen werden müssen und vielleicht ganz andere Voraussetzungen gelten, die Fehleranfällig sind (z.B. neue Seiten zücken etc.). Da sind computergestützte Fragebögen äußerst hilfreich, da sie keine Fehler machen und automatisch Fragen auslassen, oder hinzunehmen können, ohne, dass die Testperson was merkt. Kontrollfragen letztendlich prüfen die Konsistenz der erhobenen Daten, indem sensible Bereiche unter anderer Fragestellung später nochmal abgefragt werden, um die Antworten zu verifizieren. Aus all diesen Frageklassen muss nun ein sinnvoller Aufbau erfolgen, der am effizientesten die Daten ermittelt. Meist gilt der Grundsatz "in der kürze liegt die Würze", da viele Testpersonen sich schnell langweilen oder den Test einfach abbrechen, sollte er zu lange sein. Eine weitere Richtlinie ist die Steigerung des Anspruchs der Fragen, wo einfache Fragen und Eisbrecherfragen am Anfang kommen sollen und schwere und diskrete Fragen eher zum Schluß. Wichtig für das ganze Konzept ist eine Standardisierung der Befragung. Jede Befragung soll für jede Testperson gleich ablaufen. Welche Mittel sind nötig, um dies für alle Teilnehmer zu gewährleisten? Zuletzt muss der Fragebogen ein einer kleinen Gruppe von möglichen Zielpersonen getestet werden und evtl. Angepasst werden, bevor die eigentliche Befragung beginnt, damit Fehler und Problempunke ausgemerzt werden können.

Welche Probleme treten häufig bei Befragungen auf?

Da alle Befragten Menschen sind, reagieren sie auch auf Einflüsse, die aus logischen Zusammenhängen des Fragebogens, oder der Präsenz eines Interviewers entstehen. Probleme können bei Antwortverzerrung aufgrund der Frageformulierung auftreten. Dabei spielen kognitive und affektive Ausstrahlungseffekte eine Rolle, die bei aufeinanderfolgenden Fragen auftreten. Die Testperson versucht automatisch, die Fragen in einen Kontext zu setzen, was u.U. zu einer Fehleinschätzung der Frage führen kann. Um besonders gut dazustehen, geben sich Testpersonen Mühe, kompetent zu wirken und eine einheitliche Meinung zu vertreten. Die Konsistenzeffekte, die dabei auftreten können, spiegeln also Pseudo-Meinungen wider, von denen der Befragte meinen könnte, diese werden von ihm erwartet. Dies geht Hand-in-Hand mit der sozialen Erwünschtheit, Testpersonen äußern ungern Meinungen, von denen sie glauben, sie entsprächen nicht der der Mehrheit. Kontrasteffekte hingegen suggerieren, dass Fragen unterschiedlich beantwortet werden sollen, wenn weit auseinanderliegende Antwortmöglichkeiten gegeben sind, zum Beispiel "telefonieren sie heute mehr mit ihrem Handy als letztes Jahr?". Primacy/Recency Effekte treten bei langen Ketten von Fragen und Auswahlmöglichkeiten auf, weil Testpersonen dazu neigen, entweder die zuletzt gehörte Option zu wählen, oder die zuerst halbwegs zutreffende. Mittlere Antworten werden eher selten benutzt. Da sich Testpersonen durchaus bewusst sind, dass sie in einer Testumgebung sind, versuchen sie, den Grund dahinter zu ermitteln. Das heisst, sie könnten nach einigen Fragen die Vermutung haben, wer hinter dem Fragebogen stehen könnte und passen ihre Antworten an den vermeintlichen Fragesteller an. Dies nennt man Sponsorship Effekt. Eine weiter Antwortverzerrung passiert durch die sogenannten Interviewereffekte, wobei sich Testpersonen am Interviewer orientieren und ihre Antworten auf ihn abstimmen. Nahe verwandt sind da auch der Anwesenheits- und Zustimmungseffekt, Testpersonen neigen dazu, anders zu antworten, wenn eine dritte Person anwesend ist, zB der Ehepartner. Deswegen bestehen Interviewer darauf, Testpersonen nur allein zu befragen. Der Zustimmungseffekt entsteht vor allem durch suggestive Fragestellung, von der Forscher meinen, dass Personen mit geringer Ich-Stärke sie im "beabsichtigten" Sinne beantworten, oder dadurch, dass sich "unterprivilegierte" Schichten durch ihre Antworten behaupten wollen.

Quellen:

http://www.surveysystem.com/sdesign.htm Methoden der empirischen Kommunikationsforschung, Brosius/Koschel, Westdeutscher Verlag 2003