Der SPIEGEL, Deutschlands selbsternannte führende Nachrichtenseite, ist ein Hort der Ahnungslosigkeit und das nicht wegen der Relotiusaffäre. Nein, die ahnungslosen Redakteure vertrauen bei Wahlen auf Umfragen, die CICERO schon 2019 als schädlich für unsere Demokratie bezeichnete.*
Nun habe ich im November des letzen Jahres einen Einblick in die Suppenküche der Wahlumfragen gegeben.** Wie jeder weiß, ist Suppenkochen keine Wissenschaft, sondern eine praktische Tätigkeit. Genauso ist das mit der Umfrageforschung. Sie ist, wenn gelungen, eine herausragende Ingenieursleistung, welche die Kritik der Kathedermethodiker blass aussehen lässt. Aber um die geht es heute nicht.
Hier geht es um die „Geiz ist geil“ Umfragen, über die CICERO zu recht herzieht. Aus aktuellem Anlass, wegen der morgigen Wahlen dazu das Wesentliche, warum der Spiegel ein Tal der Ahnungslosen ist.
Dazu ein kurzer Blick auf die Methodik der Spiegelumfragen***:
„Das Meinungsforschungsinstitut Civey arbeitet mit einem mehrstufigen voll automatisierten Verfahren. Alle repräsentativen Echtzeitumfragen werden in einem deutschlandweiten Netzwerk aus mehr als 20.000 Websites ausgespielt (»Riversampling«), es werden also nicht nur Nutzer des SPIEGEL befragt. Jeder kann online an den Befragungen teilnehmen und wird mit seinen Antworten im repräsentativen Ergebnis berücksichtigt, sofern er sich registriert hat. Aus diesen Nutzern zieht Civey eine quotierte Stichprobe, die sicherstellt, dass sie beispielsweise in den Merkmalen Alter, Geschlecht und Bevölkerungsdichte der Grundgesamtheit entspricht. In einem dritten Schritt werden die Ergebnisse schließlich nach weiteren soziodemografischen Faktoren und Wertehaltungen der Abstimmenden gewichtet, um Verzerrungen zu korrigieren und Manipulationen zu verhindern.“
Halten wir fest: wer immer auf irgendeiner Website auf die Civey-Werbung stößt, kann sich registrieren und an Umfragen teilnehmen. Civey bastelt sich zuvor ein kleines Modell der deutschen Gesellschaft an Hand von Alter, Geschlecht (wie vielen Geschlechtern?), Stadt-Land (Bevölkerungsdichte) usw. Wer da nicht hineinpasst, kommt nicht in die Auswertung (dessen Stimme wird weggeworfen). Ein zweites Modell, das man nur erahnen kann, nimmt sich wahrscheinlich alte Umfragen vor und schaut dort nach Zusammenhängen zwischen Einstellungen (Civey nennt das Wertvorstellungen, was ein Graus) und Verhalten. Wenn also das Wählen der FDP irgendwie mit Freude am Denken korreliert (statistisch zusammenhängen könnte), oder das Wählen der SPD mit Freude am Wein, das der CDU mit Freude am Pfeffer, das der Grünen mit Badefreuden, der Linken mit Lippenstiftnutzung oder ähnlichem Unsinn der aus den den Daten herausploppt, schlägt das Civey Modell „automatisch“ zu. Wobei „automatisch“ schlicht ein Synonym für „Computerprogramm“ ist, das Menschen gemacht haben. Mit dem „Zuschlagen“ ist die wundersame Vermehrung oder Verminderung einer Person gemeint. Wenn eine Person 1 ist, dann sind zwei Personen 2. Soweit so gut. Wenn jedoch in dem Menschenkonglomerat, von Civey Stichprobe genannt, zu wenige Lippenstiftnutzende mögliche Linke sind, dann werden diese rechnerisch aufgeblasen: sie sind dann nicht mehr 1 sondern etwa 1,3. Zugleich werden die weinseligen SPDler reduziert auf, sagen wir 0,9, weil es von denen zu viele gibt. Das wird, wie Sie sich vorstellen können, ein ziemlich undurchsichtiges rauf- und runterrechnen, wenn Sie an die anderen Parteien denken. Irgendwann ist dann aber Schluss damit und es stehen da dann irgendwelche Zahlen auf dem Bildschirm.
Und da wird es dann richtig lustig. Der Spiegel berichtet am 10. März 2021 ein „Kopf an Kopf Rennen „ zwischen SPD und CDU in Rheinland-Pfalz (wann gab es die letzte „klare Wahl“ in Deutschland) 31% zu 30%. Aha, sagt der kleine Statistiker, das ist doch völliger Unsinn, denn „statistisch“ gesehen geht das nicht. Der berechnete Unterschied liegt doch im Unschärfebereich der Statistik, oder? Ja und Nein. Ja, wenn Civey eine sogenannte Zufallsstichprobe, besser „Wahrscheinlichkeitsstatistische Stichprobe Nach Neyman-Pearson“, gezogen hätte. Dann liesse sich ein Stichprobenfehler berechnen, der im übrigen immer wesentlich kleiner ist als die gesamte Ungenauigkeit einer Umfrage (Total Survey Error, lässt sich bingen oder googeln). Civey macht das aber nicht, wie oben ausgeführt. Civey macht eine Quotenstichprobe mit preiswertem Internetfischzug. Da kann man keinen Stichprobenfehler berechnen. Geht einfach nicht, auch wenn Civey sagt: „In unseren Grafiken ist der statistische Fehler als farbiges Intervall dargestellt.“ Wie gesagt, Geiz ist geil, aber so billig kommen die uns nicht davon.
Denn, mit Schlagwörtern wie „automatisch“, „Internet“, „viele Leute“, „statistischer Fehler“ kann man zwar Spiegelredakteuren etwas vormachen, nicht aber Ihnen, nachdem sie CICERO und das hier gelesen haben. Schade um das Geld.
Was heißt das nun für das Wahlergebnis in Rheinland-Pfalz oder Baden-Württemberg? Hier gehe ich einen Schritt zurück zur Ingenieursleistung der Umfrageforschung. Das Modell, das ich mir von Deutschland mache, beruht auf langer Erfahrung mit Wahlen, Umfragen und dem Leben in Deutschland. Erfahrung hat gelegentlich den Nachteil, dass sie blind gegen Neues macht. Das Neue ist Corona. So ein Jahr wie das letzte sprengt unsere Erfahrung. Wir wissen nicht, ob die alten Zusammenhänge von Pfeffer, Wein oder Lippenstift mit Parteien noch gelten. Das müssen wir erst noch erfahren. Weil die Computerprogramme von Civey und anderen diese neue Erfahrung noch nicht enthalten, sind sie prinzipiell falsch. Und damit sind auch die Ergebnisse der sogenannten Umfragen nur mit spitzen Fingern in feuerfesten Handschuhen anzufassen.
Wenn es morgen für die Umfragen nach Civey et al. „gut“ geht, war das reines Glück, keine Ingenieurskunst. Wenn es nicht „gut“ geht? Sie sind gewarnt. In diesem Sinne, bleiben Sie negativ.
Peter Mohler
* Thomas Perry 2019 in www.cicero.de/wirtschaft/civey-yougov-umfragen-meinungen-empirie-methoden-demokratie
** https://blog4587.eu/soziologen-welt/wer-umfragt-kann-sich-irren/
*** https://www.spiegel.de/backstage/die-methodik-hinter-den-civey-umfragen-a-b50353b3-b072-43c8-ab70-7fab20d48710
Neueste Kommentare