Falsche Fünfziger: Wenn Probanden nicht die Wahrheit sagen...

Bei jeder Art von User Research sollte man sich des Unsicherheitsfaktors "Mensch" bewusst sein, denn jeder Proband hat für seine Teilnahme an der Befragung, egal in welcher Form diese erfolgt, eine bestimmte Motivation.

Dabei wird in der Psychologie zwischen intrinsischer und extrinsischer Motivation unterschieden: Ein Teilnehmer ist intrinsisch, d.h. "von innen her kommend" motiviert, wenn er an der Befragung ohne eine äußere "Belohnung" teilnimmt, weil ihn das Thema interessiert, er in diesem Bereich etwas bewegen möchte oder Ähnliches. Extrinsische Motivation wird dagegen von außen angeregt, z.B. in Form von materiellen Anreizsystemen. Durch eine "Belohnung" (egal ob finanzieller oder sachpreislicher Natur) kann die Anzahl der Abbrecher bei Fragebögen verringert und die Zeit, die sich der Proband für die Befragung nimmt, verlängert werden. Extrinsische Motivation kann aber gleichzeitig auch zu sogenannten "Incentive-Jägern" führen. Dabei handelt es sich um Probanden, die bspw. Screener so beantworten, dass sie für die spätere (bezahlte) Fokusgruppendiskussion oder das qualitative Interview besonders geeignet erscheinen oder um Personen, die des Geldes wegen Online-Fragebögen mehrfach beantworten.

Wie viele Teilnehmer durch Incentives zu "falschen Fünfzigern" werden, kann man vor der Erhebung nicht abschätzen und manchmal auch danach nicht mit Sicherheit sagen. Aber auch wenn man die Möglichkeit, dass Probanden nicht die Wahrheit sagen, nicht zu 100 Prozent ausschließen kann, so kann man trotzdem einiges tun, um die Wahrscheinlichkeit dafür zu minimieren. Im Folgenden soll dabei vor allem auf Möglichkeiten für die verbesserte Auswahl von Teilnehmern für qualitative Interviews und Fokusgruppendiskussionen eingegangen werden - einerseits, weil eine qualitative Arbeitsweise Schwerpunkt von D-LABS ist; andererseits, weil bei anonymen Online-Befragungen ohnehin weniger bzw. ganz andere Möglichkeiten zum Prüfen auf "falsche Fünfziger" bestehen.

… und was man dagegen tun kann!

Der Unsicherheitsfaktor "Mensch" kann bereits vor Beginn der eigentlichen Befragung durch die Auswahl der Probanden beeinflusst werden. Dazu gehört ein sorgfältig ausgearbeiteter Screener, der wichtige Kriterien für die Befragung erhebt und nach dem Interview bzw. der Fokusgruppendiskussion auf Widersprüche hin untersucht werden kann. Zusätzlich können Probanden direkt am "Ort des Geschehens" rekrutiert werden. Ein Beispiel zur Erläuterung? Will ich eine Fokusgruppendiskussion zum Thema "Anpassung des Kurzstreckentickets in Potsdam" durchführen und sichergehen, dass wirklich Kurzstreckenfahrer an der Diskussion teilnehmen, dann rekrutiere ich diese am besten direkt in den öffentlichen Verkehrsmitteln - bei der Fahrt mit einem Kurzstreckenticket.

Ein wichtiger Punkt, sowohl in der Rekrutierung als auch zu Beginn der Befragung, ist zudem die ausführliche Information der Teilnehmer: Das Ziel der Befragung, was mit Hilfe der Teilnehmer erreicht/ verbessert/ verändert werden soll, kann die intrinsische Motivation verstärken.

Ein weiterer Ansatzpunkt ist die Auswahl und Zusammenstellung der Methoden für die Erhebung: Je mehr persönlichen Kontakt eine Methode beinhaltet, umso höher ist die Hemmschwelle für bewusste "Falschaus-sagen". Qualitative Interviews und (Fokus-) Gruppendiskussionen haben zudem den Vorteil, dass der Proband nicht versuchen kann mehrmals an der Erhebung teilzunehmen. Probanden, die sich als jemand anderes ausgeben, als sie eigentlich sind, können dadurch abgeschreckt werden, dass die Befragung vor Ort, d.h. bspw. am Arbeitsplatz oder am Rechner zu Hause stattfindet. Eine weitere Möglichkeit besteht darin, sich während der Befragung ausgewählte Inhalte und Vorgehensweisen bspw. am Rechner demonstrieren zu lassen: Bei der Beobachtung der direkten Interaktion werden zuvor übertriebene Aussagen z.B. zum Umgang mit dem Computer schnell relativiert und eine bessere Einschätzung der zuvor durch den Probanden getroffenen Aussagen ermöglicht.

Incentivierung ja oder nein?

Ein wichtiges Thema ist aber natürlich auch der Umgang mit der möglichen Incentivierung der Teilnehmer: Will man bezogen auf ein bestimmtes Projekt eine Entscheidung dafür oder dagegen treffen, sollte man sich zunächst die Vor- und Nachteile vor Augen halten:  Ohne Incentivierung werden v.a. intrinsisch motivierte Probanden benötigt, die gegebenenfalls nicht in ausreichender Anzahl gefunden werden können. Zudem sind oft vor allem Personen, die besonders negative oder besonders positive Erfahrungen mit dem Thema der Befragung gemacht haben, bereit kostenlos Feedback zu geben (siehe auch:
http://www.uxbooth.com/blog/incentivizing-users-for-feedback/ ).

Wie erreiche ich dann aber die Nutzer, die vollkommen durchschnittliche Erfahrungen gemacht haben und wahrscheinlich die Mehrheit darstellen? - Bspw. mithilfe einer Belohnung. Damit werden die Teilnehmer dann aber wahrscheinlich auch extrinsisch motiviert und die Gefahr, dass "falsche Fünfziger" dabei sind, steigt.

Beide Vorgehensweisen, mit und ohne Incentivierung, bergen also ihre Gefahren. Deshalb sollte man sich vor der Entscheidung bewusst machen, WARUM man eigentlich zu diesem Mittel greifen will:

• Besteht die Gefahr, dass ich sonst nicht genug Teilnehmer für die Befragung zusammen bekomme? Woher weiß ich das? Ist ausreichend Zeit vorhanden, dann kann ich zunächst einen Aufruf zur Teilnahme am Interview machen, ohne eine Belohnung zu erwähnen.
• Befürchte ich, dass die Teilnehmer sonst zwar zum Interview/ der Fokusgruppendiskussion kommen, aber ohne Aussicht auf Belohnung zu wenig mitarbeiten? Woher weiß ich, dass es mit Aussicht auf Belohnung besser wird? Incentivierungen sind typischerweise an die Teilnahme, nicht an deren "Benotung" geknüpft, sodass ein Proband die ganze Sache für die Belohnung auch "aussitzen" kann.
• Will ich mit der Incentivierung erreichen, dass mir die Probanden auch für andere Befragungen zur Verfügung stehen? Dann kann ich das Incentive ohne Ankündigung auch am Ende der Befragung übergeben, quasi als unverhoffte und dadurch vielleicht besonders schöne Überraschung.

Wie es sich jetzt schon angedeutet hat, gibt es verschiedene Möglichkeiten WIE man incentiviert:

• Kündigt man die Belohnung schon bei der Suche nach Probanden ganz groß an? Oder spricht man lieber von "einer angemessenen Aufwandsentschädigung" oder "einer Überraschung"?
• Gibt es Sachpreise oder finanzielle Anreize, bar oder in Form von erst anzuhäufenden Bonuspunkten? Oder gibt eine Belohnung in Form von Wissen, d.h. das Versprechen einer Information über die Ergebnisse der Befragung?
• In welcher Höhe gebe ich Incentives? Ab welchen Wert werden "Incentive-Jäger" munter und "falsche Fünfziger" aktiv?

In Hinblick auf eine Incentivierung gibt es keine richtige oder falsche Entscheidung, die Entscheidung sollte vielmehr immer bezogen auf das Projekt, die Zielgruppe und die notwendige Pflege der Beziehung zu den Probanden getroffen werden.

In diesem Blog-Beitrag hat sich bisher alles um "falsche Fünfziger" gedreht, im Sinne von Personen, die bewusst nicht immer die Wahrheit sagen, um die in Aussicht gestellte Belohnung zu erhalten. Dabei sollte nicht außer Acht gelassen werden, dass der Unsicherheitsfaktor "Mensch" noch viele weitere Dimensionen hat: Der Proband kann die Ergebnisse auch vollkommen ohne Absicht verfälschen. Ein Beispiel dafür ist der Effekt der sozialen Erwünschtheit, in dessen Zuge Antworten gegeben werden, von denen angenommen wird, dass sie sozial anerkannter sind als andere. Ein anderes Beispiel ist der Hawthorne-Effekt, bei dem sich das Verhalten durch das Wissen, dass man "beobachtet" wird, verändert. Gleichzeitig kann auch der Moderator einer Fokusgruppendiskussion, der Interviewer im qualitativen Interview oder der Ersteller des Fragebogens durch seine Fragestellung bestimmte Antworten nahelegen (Suggestivfragen) oder durch ihre Reihenfolge bestimmte Effekte erzielen (Halo-Effekt). Und so gibt es noch vieles mehr zu beachten (und vielleicht auch in folgenden Blog-Beiträgen zu betrachten), solange sich Research um "Menschen" dreht.

---