Fehlerquellen im User Research - Teil 4

Die ersten drei Teile dieser Serie von Blogartikeln konzentrierten sich bisher auf den Befragten, die Fragen und den Interviewer/ Moderator. Im heutigen Blogbeitrag dreht sich alles um mögliche Fehlerquellen in Fragebögen.

FEHLERQUELLE 4: DER FRAGEBOGEN

Fragebögen (sofern diese nicht im Gespräch mit dem Interviewer/ Moderator ausgefüllt werden) haben die Fehlerquelle von Interviewer/ Moderator erfolgreich eliminiert, dafür sind aber andere Effekte möglich, die bspw. mit dem Medium der Befragung oder der Gestaltung des Erhebungsinstrumentes zusammenhängen. Die im Folgenden vorgestellten Effekte können dabei zusätzlich zu den im ersten und zweiten Teil vorgestellten möglichen Fehlerquellen auftreten.

Medium:
Das Medium einer Befragung beeinflusst ihre Teilnehmer.

Mit einer Online-Befragung kann nur ein bestimmter Teil einer - abhängig vom Thema - eventuell auch größer zu fassenden Zielgruppe angesprochen werden. Das gleiche gilt für eine Befragung, die auf Papier erfolgt und bspw. an Orten ausgelegt wird, die - ggf. wiederum nur von einem Teil der Zielgruppe - aufgesucht werden.
Das Medium sollte daher immer in Abhängigkeit von der Themenstellung ausgewählt werden, ggf. empfiehlt sich auch eine Kombination aus Off- und Online-Befragungen. Insgesamt sollte man bei der Planung der Befragung im Hinterkopf behalten, dass eine Einladung zu einer Befragung über Facebook bspw. dann auch schwerpunktmäßig nur dessen Benutzer und damit ggf. nur einen bestimmten Teil der Zielgruppe erreicht. - Wird genau dieser Ausschnitt der Zielgruppe benötigt, kann das jedoch auch vollkommen ausreichend sein.

Instruktion:
Uneindeutige oder fehlerhafte Aufgabenstellungen beeinflussen die Ergebnisse einer Befragung.

In Fragebögen sind zum Teil weiterführende Instruktionen oder Hinweise zur Aufgabenstellung notwendig. Diese sind dann zwar bei jedem Befragten standardisiert und damit identisch, aber bei Unklarheiten kann der Befragte oft nicht oder nur mit zeitlicher Verzögerung nachfragen. Umfangreiche Instruktionen werden zudem auch nicht von jedem Beteiligten mit der nötigen Sorgfalt gelesen.
Innerhalb von Pretests kann die Verständlichkeit und der Umfang der Instruktionen gut getestet werden. Eine Kontaktmöglichkeit für Rückfragen und ein offenes Bemerkungsfeld am Ende für gegebenenfalls nicht in der Befragung abbildbare Aussagen ist ebenfalls hilfreich.

Antwortskala:
Vorgegebene Antwortabstufungen geben dem Befragten Hinweise zur erwarteten Antwort und beeinflussen damit das Ergebnis.

Werden Antwortmöglichkeiten vorgegeben, "muss" der Befragte sein "privates" Urteil in das Antwortformat einpassen. Gleichzeitig gibt ihm die Antwortskala einen möglichen Hinweis auf die gewünschten Informationen: "Wie oft ärgern Sie sich über die Software - stündlich, täglich, mehrmals pro Woche?" impliziert ein häufigeres Auftreten als die Frage "Wie oft ärgern Sie sich über die Software - mehrmals pro Woche, pro Monat, im Jahr?". Die zur Auswahl stehende Häufigkeit impliziert dabei, ob es sich eher um Kleinigkeiten aus dem Alltag oder um schwerwiegende Probleme im Umgang mit der Software handelt. Werden die Befragten nach der Frage der Häufigkeit gebeten, "typische Ärgernisse" zu beschreiben, dann nennen Befragte mit der Skala "mehrmals pro Woche, pro Monat, im Jahr" extremere Beispiele als die Befragten, denen als Skala "stündlich, täglich, mehrmals pro Woche" vorgegeben wurde.
Eine vorgegebene Antwortskala ist daher mit entsprechender Sorgfalt auszuwählen.

Restkategorie:
Fehlende Restkategorien können zu falschen Angaben, zu viele Restkategorien zum Vermeiden von Entscheidungen führen.

Werden Antwortkategorien vorgegeben, so müssen diese jede mögliche Antwort des Befragten abdecken, da dieser sich sonst nicht einordnen kann und die Frage entweder gar nicht oder durch ein Kreuz an einer anderen Stelle beantwortet. Alternativ kann eine sogenannte "Restkategorie" eingeführt werden, z.B. die Antwortkategorie "Sonstiges" (bspw. ergänzt durch ein Freitextfeld) oder "keine Angabe".
Nun könnte man argumentieren, dass dann doch idealerweise bei jeder Frage auch die Möglichkeit für "Sonstige" oder "keine Angabe" gegeben werden sollte. Dagegen spricht jedoch, dass damit gerade bei Entscheidungs- und Bewertungsfragen dem Befragten die Möglichkeit gegeben wird, auszuweichen und keine Entscheidung zu treffen.

Antwortextrem:
Extrem formulierte Antworten werden seltener gewählt.

Für die Formulierung von Antwortskalen gilt, dass keine Antwortalternative gegenüber der anderen einen Vorteil besitzen darf: Werden für die Frage "Wie oft bitten Sie Ihre Kollegen um Hilfe?" die Antwortmöglichkeiten "nie - gelegentlich - oft" vorgegeben, dann ist im Vergleich zu "gelegentlich" und "oft" das Wort "nie" zu extrem und wird kaum gewählt werden. Will man trotzdem eine eindeutige Tendenz einer Zustimmung oder Ablehnung erfahren, dann ist es hilfreich je eine extrem formulierte positive und negative Antwortkategorie hinzuzunehmen: "nie - selten - gelegentlich - oft - immer". Die Kategorien "nie" und "immer" werden vielleicht vermieden, aber die Wahrscheinlichkeit, dass durch die Auswahl von "selten" und "oft" eine Tendenz bestimmt wird, steigt.

Tendenz zur Mitte:
Mittlere Kategorien (z.B. "stimmt mittelmäßig" in den Antwortmöglichkeiten "stimmt nicht - stimmt wenig - stimmt mittelmäßig - stimmt ziemlich - stimmt sehr") werden bevorzugt gewählt.

Dieser Effekt wird v.a. bei Ratingskalen, d.h. bei sogenannten Einschätzungsskalen, beobachtet und führt dazu, dass nicht die "richtige" (d.h. wahre) Antwort, sondern eine weniger extreme Alternative ausgewählt wird.
Wird eine konkrete Tendenz der Zustimmung oder Ablehnung in den Ergebnissen benötigt, dann kann man diese durch Verzicht auf die Mittelposition erzwingen. Auch eine Erhöhung der Antwortalternativen (statt fünf bspw. sieben Abstufungen) kann hilfreich sein, birgt aber die Gefahr der Überforderung ungeübter Teilnehmer. Wird eine Mittelposition innerhalb der Antwortskalen verwendet, so sollte diese graphisch möglichst wenig hervorgehoben werden.

Positionseffekt:
Die Anordnung der Antwortmöglichkeiten beeinflusst die Häufigkeit ihrer Auswahl.

Antwortalternativen, die am Anfang und am Ende einer möglichen Auswahl stehen, werden tendenziell häufiger gewählt.
Diese Tendenz kann vermieden werden, indem die Anordnung der Antwortvorgaben innerhalb der Fragebögen zufällig variiert wird (split-ballot-Verfahren). Das gilt natürlich nicht für Ratingskalen oder bspw. die Abfrage des Alters: Die Antwortmöglichkeiten "20 bis 39 - jünger als 20 - über 60 - 40 bis 59" würden in dieser Reihenfolge eher Verwirrung stiften und die Fehleranfälligkeit der Befragung erhöhen.

In den letzten Wochen haben die vier Blogbeiträge der Serie "Fehlerquellen im User Research" hoffentlich einen guten Einblick darin gegeben, was man als User Researcher bezogen auf die Befragten, die Fragen, den Interviewer/ Moderator und bei der Erstellung und Verwendung von Fragebögen beachten sollte. Sowohl bei den diskutierten Fehlerquellen als auch bei den vorgestellten möglichen Gegenmaßnahmen handelt es sich jedoch  - trotz der Länge der Blogserie - nur um Auszüge ohne Anspruch auf Vollständigkeit.

---