Medizinische Diagnose-Verfahren und wissenschaftliche Befragungen haben das gleiche Ziel: Beide sollen eine oder mehrere Eigenschaften einer Person korrekt bestimmen – mit möglichst wenig Fehldiagnosen bzw. Falschantworten. Die Forschung untersucht mit Validierungsstudien, wie gut das funktioniert.
Fehldiagnosen in der Medizin
Stellen Sie sich vor, ein neues medizinisches Diagnose-Verfahren, z.B. ein Bluttest, wurde entwickelt und soll validiert werden: wie exakt gibt es an, ob jemand an einer bestimmten Erkrankung leidet oder nicht? Kaum ein Diagnose-Verfahren ist perfekt und deshalb geht es bei der Validierung darum, das Ausmass der Fehldiagnosen zu bestimmen. Dabei wird zwischen zwei Fehlern unterschieden: den falsch-positiven Diagnosen, wo eine Erkrankung fälschlicherweise diagnostiziert wird, und den falsch-negativen Diagnosen, wo eine Erkrankung fälschlicherweise nicht diagnostiziert wird. Ist das Ausmass dieser beiden Fehler bekannt, kann die Güte des Verfahrens eingeschätzt werden.
Falschantworten bei Befragungen
Analog dazu untersucht die Umfrage-Forschung, ob Befragte wahrheitsgemäss antworten oder nicht. Das ist selten problematisch bei der Frage nach dem Geschlecht, ist aber kritisch bei heiklen Fragen – zum Beispiel nach Drogenkonsum, Sexualverhalten oder einer HIV-Infektion. Auch bei Befragungen des Gesundheitspersonals zu Behandlungsfehlern oder unethischem Verhalten steht und fällt die Aussagekraft einer Studie damit, ob die Befragten ehrlich antworten.
Antworten auf heikle Fragen “verschleiern”
Die Umfrage-Forschung hat eine Reihe von speziellen Verfahren entwickelt, um auch auf heikle Fragen möglichst ehrliche Antworten zu erhalten. Unter anderem werden mit einem kleinen statistischen Trick (Randomized Response Technik) Antworten der einzelnen Respondenten “verschleiert”, sodass eine individuelle Antwort unter gar keinen Umständen nachvollziehbar ist. Die Privatsphäre der Respondenten ist perfekt geschützt. Aber geben die Respondenten deswegen tatsächlich eine ehrliche Antwort?
Dem Lügen auf der der Spur
Bisherige Studien konnten dies nicht wirklich beantworten. Denn es ist äusserst schwierig, das Ausmass der Falschantworten («Lügen») bei einer Befragung zu heiklen Themen zu bestimmen. In einer eben in PLOS ONE publizierten Studie ist es uns nun gelungen, das Ausmass von Falschantworten für verschiedene Befragungs-Verfahren genau zu bestimmen. Analog zur Validierung eines medizinischen Diagnose-Verfahrens haben wir dazu falsch-positive und falsch-negative Falschantworten der Befragten identifiziert.
Spezielle Befragungs-Verfahren für heikle Fragen funktionieren schlecht
Unsere Resultate stellen bisherige Befunde in Frage. Sie zeigen, dass einige als erfolgsversprechend angepriesene Befragungs-Verfahren nicht halten, was sie versprechen. Das Ausmass der Falschantworten wird mit ihnen nicht kleiner, sondern sogar grösser. Was auf den ersten Blick als Rückschlag für die Umfrage-Forschung erscheint, ist bei näherem Hinsehen ein Fortschritt: denn mit dem von uns entwickelten Validierungs-Design können Falschantworten bei Befragungs-Verfahren endlich besser bestimmt werden. So können bessere Befragungsmethoden entwickelt werden – damit Befragungen zu heiklen Themen der Wahrheit in Zukunft etwas näher kommen.
Marc Höglinger ist Gesundheitsversorgungsforscher am WIG und Experte für Forschungsmethoden. Er hat sich intensiv mit der Befragung sensitiver Themen befasst und dazu eine Reihe von Beiträgen publiziert.
Der im Beitrag erwähnte Artikel: Höglinger, M., & Jann, B. (2018). More is not always better: An experimental individual-level validation of the randomized response technique and the crosswise model. PLoS ONE, 13(8), e0201770. doi:10.1371/journal.pone.0201770