Mittwoch, 23. Oktober 2013

Was bei PISA und all den anderen Bildungsstudien gerne vergessen wird

Bei Pisa werden die Ergebnisse normiert, sodass der Mittelwert bei 500 Punkten liegt. D.h. wer in diesem Bereich liegt ist so gut wie der Durchschnitt. Nun werden in den Darstellungen der Presse und der Politik fleißig Mittelwerte verglichen und vergessen, dass die Standardabweichung bei 100 Punkten liegt. Das wird bei anderen Studien nicht besser aussehen. Da wird gejubelt was das Zeug hält, wenn man 10 Punkte über einem anderen Land oder Bundesland liegt. Vergessen wird dabei, dass die Unterschiede in der Standardabweichung liegen und eine Aussage über besser oder schlechter nur sehr bedingt zutreffen.

Chris

Kommentare:

  1. Dein Kommentar ist leider ebenfalls nicht ganz richtig. Du kritisierst zwar zu Recht, daß normalerweise Statistiken nur unzureichend in den Veröffentlichungen erklärt werden. Das einfache Vergleichgen von Mittelwerten reicht eben nicht aus. Aber, die bloße Angabe der Standardabweichung, wie Du sie vornimmst, ist auch nicht sehr viel aussagekräftiger. Man sollte stattdessen Konfidenzintervalle angeben. Diese hängen zwar auch von der Standardabweichung ab, aber nicht nur.

    Im übrigen liegt Deutschland ungefährt eine halbe Standardabweichung unter der Spitzengruppe. Das ist sehr viel und nicht einfach wegzudiskutieren. Auch zehn Punkte sind nicht wenig.

    AntwortenLöschen
    Antworten
    1. Stimmt schon. Mein Punkt war nur, dass man die Studien (gerade im Bereich der Sozialforschung) mit vorsicht genießen sollte.
      Ein Punkt den ich ebenfalls nicht genannt habe ist, dass die 500 Punkte den Durchschnitt aller darstellen. Das heißt wenn sich alle verschlechtern und man selbst sich weniger als die anderen verschlechtert, wird es als Verbesserung gesehen.
      Normierungen sind immer gefährlich, wenn man zwischen zwei Zeitpunkten nicht die gleiche Norm nimmt oder nehmen kann. (verbesser mich, wenn ich falsch liege)

      Löschen