Ein Drittel der Männer in Deutschland findet Gewalt gegen Frauen akzeptabel – diese Nachricht sorgte 2023 für Empörung. Später stellte sich heraus: Die Umfrage war nicht sauber durchgeführt. Doch woran erkennen wir schlechte Umfragen?
Im Sommer 2023 löste die Nachricht über die angebliche Gewaltbereitschaft eines Drittels der Männer in Deutschland eine hitzige Debatte aus. Damals waren viele über diese Ergebnisse schockiert. Später stellte sich bei genauerer Recherche heraus: Sauber durchgeführt war die Umfrage nicht. Oder anders formuliert: Von der Art, wie die Umfrage durchgeführt wurde, ließ sich schlussfolgern, warum die Ergebnisse so extrem ausgefallen sind.
Warum es immer mehr Umfragen gibt
Zugegeben: Als Laie ist es nicht immer leicht festzustellen, ob eine Umfrage seriös ist. Aber es ist wichtig, sagt die ESRA, die European Survey Research Association. Der Fachverband kritisiert, dass immer mehr Umfragen schlecht gemacht und ihre Ergebnisse dadurch irreführend seien.
Kathrin Kühn aus der Wissenschaftsredaktion des Deutschlandradios hat sich mit der Stellungnahme des Verbands beschäftigt und kann erklären, wie es überhaupt dazu kommt, dass wir in Zeiten einer Umfragenschwemme leben.
"Online ist es viel einfacher und günstiger geworden, Menschen zu befragen, als früher per Telefon, an der Haustür oder per zugeschicktem Fragebogen."
Ulrich Kohler von der ESRA und Professor für Methoden der empirischen Sozialforschung an der Universität Potsdam rät vor allem bei ungewöhnlichen und extremen Ergebnissen, stutzig zu werden.
"Wenn wir mehr Umfragen haben, die fehleranfällig sind, kriegen wir mehr extreme Ergebnisse. Das erzeugt den Eindruck, dass wir in extremen Zeiten leben."
Er appelliert, Umfrageergebnisse kritisch zu hinterfragen. Dieser Appell richtet sich sowohl an Medien und Politik als auch an Influencer*innen, wenn sie auf Social Media über vermeintliche wissenschaftliche Erkenntnisse berichten.
Woran erkennen wir seriöse Umfragen?
Doch um Umfrageergebnisse kritisch hinterfragen zu können, müssen wir wissen, was eine seriöse Meinungsumfrage ausmacht. Reporterin Kathrin Kühn fasst die wichtigsten Kriterien der ESRA zusammen.
So spielt es eine Rolle, ob die Teilnehmenden per Zufall rekrutiert wurden oder sich selbst für die Teilnahme entschieden haben. Auch die Art der Fragen ist entscheidend, denn Suggestivfragen können beeinflussen, wie Menschen antworten. Ein Beispiel dafür: Immer mehr Leute zweifeln daran, dass die Klimakrise zu bewältigen ist – finden Sie das auch?
"Per Zufall ausgewählte Teilnehmende führen dazu, dass Ergebnisse stärker verallgemeinerbar sind."
Darüber hinaus sollte geprüft werden, wer die Umfrage durchgeführt hat und welche Motivation dahintersteckt. "Man sollte sich außerdem wundern, wenn Umfragemacher gar keine oder kaum Angaben zu ihrer Methodik machen", sagt Kathrin Kühn.
Motivation hinter der Umfrage berücksichtigen
Am Ende, fasst Kathrin Kühn zusammen, gehe es hauptsächlich um die Frage: Soll mit einer Umfrage Aufmerksamkeit geschürt oder ein bestimmtes Interesse bedient werden? Oder geht es den Umfragemachenden wirklich darum, herauszufinden, wie die Lage ist?