PISA – die wahren Ursachen guter und schlechter Ergebnisse

*** Hier KLICKEN: Das BUCH dazu! *** Da von Zeit zu Zeit immer wieder völlig sinnentleerte Diskussionen über die Ursachen der Ergebnisse von PISA – seien diese nun gut oder schlecht – beginnen, werde hier die Ursachen für das unterschiedliche Abschneiden der einzelnen Länder in einer Übersicht zusammengedasst:

Auf Grund der Selektion der Aufgaben, die für sehr unterschiedliche Bildungssysteme gleich sein müssen, kommt es zu einer Reduktion auf ein eher banales Fragenniveau, das viele TeilnehmerInnen schlicht unterfordert, da sie nicht erkennen können, wie trivial die Frage eigentlich gemeint ist.  Die zweifelhafte inhaltliche Qualität einiger Aufgaben legt die Vermutung nahe, dass ein Schüler, der sich fachlich auskennt und nicht mit der nächstliegenden, oberflächlichen Lösung begnügt, bei manchen Aufgaben benachteiligt ist. Amerikanische Schüler haben etwa trotz schlechter fachlicher Voraussetzungen ausgesprochen geringe Hemmungen, auf schwierige oder abstruse Testaufgaben irgendeine Antwort zu geben und niederländische Schüler sind den speziellen Stil der Fragen schon gewohnt, zumal einige PISA-Aufgaben aus niederländischen Schulbüchern stammen (Kießwetter 2002, Meyerhöfer 2005).

PISA definiert eine Lernkultur, die der Tradition von klassischer Bildung widerspricht, ohne dass man eine generelle Überlegenheit dieser neuen Lernkultur behaupten könnte, wobei es eher um Normierung und Vereinheitlichung statt um Individualisierung und Differenzierung geht, was in vielen nationalen Lehrplänen explizit festgeschrieben ist. Durch den Druck, den die PISA-Ergebnisse in den einzelnen Ländern erzeugen, wird Pisa allmählich selbstreferenziell, sodass immer mehr zu fragen ist, ob höhere Werte bei PISA tatsächlich für eine bessere Schulbildung sprechen. Außerdem: Wer sich jemals mit der Erhebung und Auswertung quantitativen Daten berufsmäßig beschäftigt hat, weiß, wie leicht sich statistische Artefakte als substantielle Ergebnisse präsentieren lassen. Nicht zuletzt ist PISA Pisa ein Programm der OECD, bei dem es um ökonomischen Wettbewerb geht, also um etwas ganz anderes als bei einer wissenschaftlichen Studie.

Fast alle Aufgaben – auch die in Mathematik oder naturwissenschaftliches Wissen – gehen von einem sprachlichen Trivialniveau aus, das ebenfalls unter dem sonst üblichen in der Schule geforderten Niveau liegt, sodass es zu einer Verkennung der Komplexität der Aufgaben kommt. Hinzu kommt, dass Übersetzungen der PISA-Aufgaben in die verschiedenen Sprachen mitunter durch die Eignung bzw. Nichteignung mancher Sprachen, eine Aufgabe klar und einfach zu formulieren, automatisch einen unterschiedlichen Schwierigkeitsgrad bedingen, der in der Testpraxis nicht zu eliminieren ist, also von vorneherein unterschiedliche Testergebnisse definiert, bevor noch ein einzelner Schüler eine Aufgabe bearbeitet hat. Eine Eichung kann aber in diesem Fall gar nicht vorgenommen werden, denn das würde in diesem Fall ja bedeuten, dass die vorgeblich zu messenden Unterschiede von vornherein nivelliert werden und nur noch Aussagen über die Verteilungsform möglich wären, nicht aber über Sprachgrenzen hinaus.

*** Hier KLICKEN: Das BUCH dazu! *** Persönliche Anmerkung: Aus diesem letztgenannten Grund habe ich eine ursprünglich Einladung bzw. auch kurz angedachte Mitarbeit bei der Entwicklung der ersten PISA-Tests abgelehnt, da ich durch langjährige Beschäftigung mit der Übertragung englischsprachiger Testverfahren ins Deutsche diese Problematik als letztlich unlösbar kennengelernt hatte. Ein Grundproblem bei PISA ist und bleibt auch daher, ob man beim Leseverständnis Texte finden kann, die für 15-Jährige aus China, Lateinamerika, Kanada oder der Türkei verständlich und interessant sind, denn erfahrungsgemäß können solche Kompromisstexte vom Inhaltlichen für 15-Jährige in allen verglichenen Kultiurkreisen nicht ansprechend sein. Es ist des Weiteren auch ungeklärt, wie man etwa Texte in idiomatischen Schriften wie Kanji im Chinesischen oder Japanischen mit alphabetischen Schriften vergleichen kann. Außerdem wird die Lesekompetenz praktisch allein funktional-kognitionsorientiert geprüft, was aber nur ein Ausschnitt der alltagspraktischen Lesefähigkeit darstellen kann.  Übrigens wurde auch eine Arbeitsgruppe um Erich Neuwirth, einem Statistikexperten der Universität Wien, die die PISA-Ergebnisse 2000 für Österreich noch kontrollierte und gravierende methodischen Schwächen entdeckt und korrigiert hatte, von einer weiteren Mitarbeit ausgeschlossen.

In manchen Bildungssystemen besteht eine große Erfahrung mit Trivialaufgaben, die denen von PISA ähneln. Die Ergebnisse hängen also in hohem Maße von den Testerfahrungen der TeilnehmerInnen mit solchen Aufgaben ab. Dass Shanghai nun in allen Bereichen an der Spitze liegt, ist daher nur amüsant und eine Beleg für die geringe Leistungsfähigkeit der PISA-Tests, Schulqualität adäquat abzubilden. Und wer von der Qualität der südostasiatischen Schulsysteme so angetan ist, sollte vielleicht einmal die Selbstmordraten unter SchülerInnen in diesen Ländern anschauen, oder die dort üblichen Aufwendungen für Nachhilfe, die manche Familien ins Elend stürzen.

Wenn man sich die Ergebnisse der Schulsysteme mit Spitzenplatzierung in der jüngsten PISA-Studie übrigens genauer ansieht, findet man große Leistungsunterschiede bei den SchülerInnen. Vor allem in Mathematik und in den Naturwissenschaften ist der Unterschied der Schülerleistungen sehr groß, während sich für das Lesen kein solcher Zusammenhang ergibt. In Ländern wie Singapur oder Shanghai sind dabei die Unterschiede in den Leistungen der einzelnen Schüler sehr groß, während in generell schlecht abschneidenden Ländern wie Rumänien oder Mexiko die Leistungen der Schüler durchgehend schlecht sind. Eine Förderung der Leistungsschwachen greift daher allein zu kurz, denn damit kann kein besseres Schulsystem erreicht werden. Entweder man bekennt sich zu maximaler Leistung und akzeptiert große Leistungsunterschiede, oder man bekennt sich zu Leistungsabfall und Nivellierung. Die Quadratur des Kreises wäre zu versuchen, sowohl bessere als auch homogene Leistungen beim nächsten PISA-Test zu erbringen, denn es gibt nicht zwangsweise eine Leistungssteigerung, wenn alle Schüler gleich abschneiden.

Nach der Teacher Education and Development Study ist eine hohe fachmathematische und fachdidaktische Kompetenz der LehrerInnen wichtig für eine gute Leistung der SchülerInnen, aber es ist nur eine notwendige, aber keine hinreichende Voraussetzung für gute Schülerleistungen. Bei dieser Studie haben übrigens Taiwan, China, Russland und die Schweiz besonders gut abgeschnitten. Hierzu ist anzumerken: Chinesische, taiwanesische oder koreanische Eltern legen äußerst großen Wert auf schulische Erfolge, welche die Erfolge der Eltern bei weitem übertreffen sollen, daher investieren die Eltern jegliche verfügbaren finanziellen und zeitlichen Ressourcen in ihre Kinder. In China wird Kindern schon ab vier Jahren ein Gefühl für Zahlen vermittelt, danach wird den Kindern bei Schulbeginn eine Nummer zugeteilt, eine zwischen eins und dreißig, da in den meisten öffentlichen Schulen eine Klasse aus 30 Kindern besteht. Während des Mathematikunterrichts stellen LehrerInnen eine Frage, rufen dann beliebig eine Nummer auf, und das Kind mit dieser Nummer muss aufstehen und seine Lösung der Rechenaufgabe präsentieren. In der ersten Klasse lernen Kinder in China, zweistellige Zahlen zu addieren und subtrahieren, kennen Zahlenreihenfolgen bis weit über Hundert und können die Tabelle des 1×1 auswendig.

Alle Kinder sitzen bis zum späten Nachmittag oder Abend in der Schule, d.h., Freizeit wie in Europa gibt es nicht, die Kinder erhalten regelmäßig Nachhilfestunden und zusätzlichen Unterricht an den Wochenenden. Dieser Lern- und Leistungsdruck setzt sich fort, bis sie ihren Schulabschluss, am besten einen Universitätsabschluss erreicht haben. Oft verschulden sich Familien, um ihrem Nachwuchs die beste Schulbildung zu ermöglichen. Das Schulsystem ist darüber hinaus auch auf stures Pauken und das Auswendiglernen hin ausgelegt, was auf Grund der Sprache in diesen Ländern diese Methode fast unumgänglich macht, denn mindestens sechs Jahre lang wird beinahe nichts anderes als das Beherrschen der Schriftzeichen unterrichtet, wobei es sich nur um eine Grundalphabetisierung handelt, denn eine Zeitung kann man damit noch nicht wirklich lesen und verstehen. Auch in anderen Fächern wird vor allem das Auswendiglernen von Texten und Formeln erwartet.

Lösung: Für jedes Land muss ein Korrekturkoeffizient hinsichtlich der Passung der vom Bildungssystem intendierten Ziele eingeführt werden, sodass Länder, die andere Ziele als die PISA-Tests verfolgen, einen Aufwertungsfaktor erhalten, während Länder, die sich eher an Trivialzielen orientieren und daher eine höhere Passung haben, einen Abwertungsfaktor zugeordnet erhalten. So wird in Österreich im Deutschunterricht mehr Gewicht auf Textproduktion als auf Textanalyse gelegt, sodass Aufgaben, die sich allein an der Analyse orientieren, den intendierten Lernzielen nicht gerecht werden. Auch kann allein die Konnotation des Wortes „Test“ in Ländern unterschiedliche Einstellungen zu der Untersuchung auslösen, sodass die Motivation bzw. auch Anstrengungsbereitschaft unterschiedlich ausfallen wird. Schulsysteme, in denen Tests an der Tagesordnung stehen, müssten gegenüber Systemen, in denen Tests eher selten stattfinden, in den Ergebnissen abgewertet werden. Auch müsste aus psychologischer Sicht in der Bewertung der Testergebnisse berücksichtigt werden, dass Tests, die nicht im Zusammenhang mit Benotung und Schulleistung stehen, von SchülerInnen mancher Länder unterschiedlich ernst genommen werden – jedem Sportler ist der Effekt „freundschaftlicher Länderspiele“ bekannt.

Grundsätzliches zu PISA

Thomas Jahnke schreibt dazu in der NZZ vom 29. Januar 2012 unter dem Titel „Die Illusion der Statistiker„, dass sich die statistische Methoden von PISA dem wissenschaftlichen Diskurs weitgehend entziehen und eine selbst-referenzielle Testindustrie mit Millionen Umsatz entstanden ist. Er verweist darauf, dass von den fünf Bildungsdienstleister vier private Unternehmen sind, die PISA entwickelt und an 67 Staaten verkauft haben, wobei diese Firmen wesentlich an ihrem eigenen Profit interessiert sind: „Die privatwirtschaftliche Durchführung von Pisa entzieht dieses Programm weitgehend der wissenschaftlichen Diskussion und gibt seinen Betreibern eine Gestaltungs- und Deutungshoheit, die sich einem demokratischen und auch einem nationalen Diskurs entzieht“. Er verweist darauf, dass etwa in Mathematik eine «mathematische Grundbildung» getestet wird, die sich nicht um nationale Lehrpläne nicht kümmert, also letztlich Leistungen von Schülerinnen und Schülern an Zielen gemessen werden, die man gar nicht verfolgt. PISA-Ergebnisse lassen überhaupt keine Aussagen über ein Schulsystem zu – also ist jede dementsprechende Diskussion sinnlos. Diese Studien sind ein hervorragendes Spielfeld für Erziehungswissenschaftler, für ihr Fachgebiet Gelder zu lukrieren. Die Absurdität etwa der österreichischen Ergebnisse belegt nichts anderes, als dass die PISA-Tests nicht in der Lage sind, ein differenziertes und gutes Schulsystem, das Österreich zu einem der reichsten Länder der Welt gemacht hat, und ein Land, das eine hohe Exportquote von qualifiziert Ausgebildeten hat, vernünftig einzuschätzen. Die Gesamtschule existiert übrigens sowohl in gut als auch in schlecht bewerteten Ländern.

Ein Wettkampf, wie er durch den PISA-Test und seine Darstellung in den Medien nahegelegt wird, darf im Bildungsbereich nicht der einzige Zweck sein, denn es geht um Menschenbildung, nicht um einen Kampf aller gegen alle, denn Konkurrenz ist immer eine Form der Rücksichtslosigkeit, eine Darstellung von Überlegenheit. Bei solchen Reihenfolgen gibt es notgedrungen erste und letzte Plätze, auch wenn die Unterschiede oft nur dem statistischen Zufall geschuldet sind. Marian Heitger kritisiert in einem Pressegespräch vom 7. März 211 die durch PISA angeheizte Evaluierungshysterie, denn seiner Meinung nach leben wir in einem pädagogischen Kontrollstaat, d.h., man evaluiert Schüler, Schulen und Lehrer, wobei PISA aber sicher kein Bild dessen liefert, was man unter einem gebildeten Menschen versteht, sondern PISA misst immer nur Äußerlichkeiten, also ob man dieses oder jenes gelernt hat. Seit der Aufklärung versuchen Menschen, sich die Welt untertan zu machen, indem sie ihr Wissen benützen, um diese zu beherrschen, ohne aber in gleichem Maße gelernt zu haben, dieses „Herrschenkönnen“ auch zu verantworten.

Die jetzt konstatierten großen Schwankungen der Testergebnisse innerhalb weniger Jahre belegen testtheoretisch nur die schlechte Qualität der eingesetzten PISA-Testverfahren. Besonders die nach und nach an die Öffentlichkeit gelangenden Detaildaten zu einzelnen Bundesländern in Österreich zeigen die mangelhafte Reliabilität der eingesetzten Testverfahren, denn die angeblichen Verschlechterungen innerhalb von drei Jahren (Zitat aus einem Presse-Artikel: „Da schnitten (2006; Anmerkung des Verfassers) die Schulen in der einzigen österreichischen Stadt mit mehr als einer Million Einwohner beim Lese-, Mathematik- und Naturwissenschaftstest noch – relativ – gut ab. Etwas besser nämlich als die Schulen in den Millionenstädten des Nachbarlands Deutschland. Jetzt ist alles anders: Wie die PISA-Tests des Jahres 2009 ergaben, deren Ergebnisse Anfang Dezember präsentiert wurden, liegt Wien nicht nur klar unter dem OECD-Durchschnitt von 34 Ländern, sondern auch hinter Deutschland. Beim Lesen – dem größten „Problembereich“ der österreichischen 15-Jährigen – liegt Wien mehr als neun Prozent hinten, bei den Naturwissenschaften sind es sogar zehn Prozent, in der Mathematik knapp acht Prozent. Das zeigen Zahlen aus der OECD-Datenbank zu PISA 2009, (…). Die 1,7-Millionen-Stadt Wien ist also gegenüber dem Schnitt aus Städten von Berlin bis München abgerutscht, wobei in Deutschland traditionell südliche Länder wie Bayern gut liegen. Auch Gesamtdeutschland hat seit dem ersten PISA-Test 2000 aufgeholt: So hat es sich beim Lesen – PISA-Kerndisziplin in den Jahren 2000 und 2009 – von 484 auf 497Punkte gesteigert, es belegt nun Platz 15. Österreich ist seit 2000 von 507 auf 470Punkte abgesackt, es belegt nur noch Platz31 unter 34 OECD-Ländern.“) korrelieren mit keinerlei Veränderungen im österreichischen Schulsystem. Die Konsequenz kann nur sein, sich aus diesem dilettantischen Spielchen der OECD zu verabschieden, und die dadurch eingespartem Gelder in den Schulen zu investieren. Man sollte also die Datenpanne in Österreich nutzen, um diese Evaluationshysterie im Bildungssystem rasch zu beenden.

Das überall als Vorbild hingestellte Beispiel Finnland rutscht übrigens bei den Pisa-Ergebnissen ab, wobei man festgestellt hat, dass die guten Ergebnisse  Anfang des Jahrtausends vor allem den gesellschaftlichen Verhältnissen und dem Schulsystem in den Jahren vor Einführung der Reformen geschuldet waren. Finnland war zuvor eine homogene, eher bäuerlich geprägte, industriell und gesellschaftlich zurückgebliebene Gesellschaft gewesen, in der Lehrer besondere Achtung genossen und einen durchaus autoritären Bildungsstil gepflegt hätten. In dem Maße, wie Finnland sich modernisiert habe und die im Zuge dieser Modernisierung durchgeführten Bildungsreformen gegriffen hätten, ist auch die Leistung der finnischen Schüler gesunken. Allerdings geht der Rückgang der Leistung finnischer Schüler mit einem verbesserten Schulklima einher, sodass ein kooperativer Unterrichtsstil mit einem verbesserten Human- und Sozialkapital in Verbindung stehen. Daran wird auch deutlich, dass Pisa nicht unbedingt das misst, was für eine Gesellschaft wichtig ist.

Die Schwäche bzw. Absurdität der eingesetzten Verfahren wird auch durch die wesentlich „positiveren“ Ergebnisse von PISA 2012 bestätigt, denn diese auf Maßnahmen im Bildungssystem zurückzuführen ist bei Kenntnis der Trägheit solcher Systeme unsinnig. Vielmehr bestätigen die nun konstatierten Sprünge mancher Länder innerhalb der Rangreihen nur die hier vorgebrachte Argumentation, dass PISA und andere Vergleichsstudien wenig bis gar nichts mit der Qualität eines Schulsystems zu tun haben. Punktunterschiede von 20 bis 30 Punkten zwischen Ländern sind statistisch betrachtet reiner Zufall bzw. können auf die letztlich nie wirklich vergleichbaren Stichproben zurückzuführen sein, wobei aber etwa 20 Punkte genau das ist, was das hochgelobte Finnland ohne Änderungen seiner Bildungspolitik von einer Erhebung auf die andere verloren hat.

Sahlgren von der London School of Economics hat 2015 den Niedergang des finnischen Bildungswunders untersucht und zeigt, dass das finnische Schulsystem zum Zeitpunkt seines großen Pisa-Erfolgs von Früchten zehrte, die lange zuvor unter ganz anderen Bedingungen gesät wurden. Dieses System, das auf den Schüler fokussiert und den Lehrer als Lern-Koordinator sieht, wurde erst in den 90er-Jahren eingeführt wurde, bis dahin war der Frontalunterricht mit einer starken autoritären Stellung des Lehrers maßgebliches Prinzip und die Schulen vergleichsweise hierarchisch aufgebaut, und somit eine Kultur des Gehorsams und der Autorität reflektierten, die in der finnischen Gesellschaft viel länger maßgeblich war als in anderen nordeuropäischen Ländern. Finnlands Lehrer genießen in Umfragen noch heute enorme Anerkennung in der Bevölkerung, was auch daran liegt, dass nur die besten eines Jahrgangs Lehrer werden dürfen, doch gleichzeitig zeigen Studien vergangener Jahrzehnte, dass diese Anerkennung nichts mit Sympathie für die Pädagogen zu tun hat, denn sehr viele Schüler beschreiben ihre Lehrer bis weit in die 90er-Jahre hinein als unnahbar und wenig empathisch. Anfang 2007, also mitten in Finnlands Pisa-Hochphase, berichtete ein Unicef-Report, dass in keinem anderen Land Kinder weniger gern zur Schule gehen, was das vorherrschende Bild konterkarierte. Kalkuliert man jedoch ein, dass dieses System und seine aktuellen Lehrformen nicht unbedingt etwas mit dem Schulklima, das über Jahrzehnte entsteht und der entscheidenden Rolle des Lehrers zu tun haben, wird das Ergebnis plausibel, denn die Schüler nahmen Schule und Lehrer offenbar noch immer als autoritär und dominierend wahr, was sich erst seit der Jahrtausendwende änderte, wobei gleichzeitig die Leistung der Schüler zurück ging. Finnland fiel bei Pisa 2012 beim Lesen weit zurück, wobei die Reformen, die in den 90ern angestoßen worden waren, nicht zum Vorteil der Leistungsfähigkeit waren. In der Bildungsforschung dauert es bekanntlich mindestens zehn bis 15 Jahre, bis Veränderungen sichtbar werden, sodass die Erfolge dem Nachwirken des alten Systems geschuldet waren (Vitzthum, 2015).

Rindermann (2006) weist wie viele andere Experten darauf hin, dass die Kompetenzwerte in den verschiedenen Aufgabenfeldern extrem stark miteinander korreliert sind, und zwar weitaus stärker als die Ergebnisse verschiedener Intelligenztests. PISA misst demnach in erster Linie überhaupt nicht bestimmte fachliche Kompetenzen, sondern einen Generalfaktor kognitiver Fähigkeiten, also das, was man landläufig als Intelligenz bezeichnet.

Die Ursachen dieses internationalen Unsinns werden noch durch weitere ohnehin bekannte Faktoren wie die Bildungsferne mancher Teilnehmergruppen verstärkt, die aber auf Grund der politischen Un/Korrektheit die Diskussion leicht in eine falsche Richtung lenken. Die hier getroffene Feststellung enthält auch keine Wertung dahin gehend, ob es nicht Ziel der Bildungspolitik eines Landes sein kann/darf/soll, Kinder in Richtung solcher von PISA vorgegebenen Trivialziele auszubilden und zu testen. Es sollte auch nicht vergessen werden, dass früher Lesen die einzige Möglichkeit war, Informationen zu erhalten, doch heute ist die Konkurrenz zum Lesen durch die neuen Medien größer geworden. Es ist daher sicherlich nicht die Lese-Kompetenz gesunken, vielmehr zeichnen die PISA-Ergebnisse in ihrer ja relativen Rangliste jene Länder aus, die an konservativen Bildungszielen aus dem letzten Jahrhundert festhalten. Das illustriert etwa der Beispieltext einer PISA-Aufgabe „Macondo“ von Gabriel García Márquez aus dem Roman „Hundert Jahre Einsamkeit“, der sicher für manche Literaturbegeisterte in seiner verqueren und verschachtelten Sprache unterhaltsam zu lesen ist, doch mit der modernen Lebenswelt von Jugendlichen dieses Alters (15 bis 16 Jahre) sehr wenig zu tun hat. Wenn dann in der Begründung für die Auswahl dieser Aufgabe etwas von einem „für Schüler/innen geläufigeren Themenbereich“, nämlich das Kino steht, dann erkennt man, dass die TestautorInnen wenig Ahnung von der Mediennutzung des 21. Jahrhunderts haben, auch wenn diese bei manchen Aufgaben auch das Web einbeziehen. Bei dieser Aufgabe wird übrigens ein Weiterdenken bestraft, indem auf die Frage „Wer sind die „Phantasiegeschöpfe“, die in der letzten Zeile des Textes erwähnt werden?“ nur die Antwort „Figuren in den Filmen“ als korrekte Antwort anerkannt wird, während die Antwort „Schauspieler/innen“ als falsch gilt, wobei es sich in einer weiterdenkenden Logik natürlich natürlich bei allen „Phantasiegestalten“ auf Grund der Kenntnis des Mediums Film um SchauspielerInnen handelt.

Wenn nun von manchen ExpertInnen und PolitikerInnen mit der Reizüberflutung durch Internet und Medien als Ursache mangelhafter Lesefähigkeit argumentiert wird, dann ist das schlichter Ignoranz, denn gerade die neuen Medien sind vorwiegend texbasiert – das Internet ist ohnehin ein Textmedium und auch das Handy wird intensiv für die Textkommunikation genutzt. Übrigens: Schon Walter Benjamins dachte 1936 in seinem Essay „Das Kunstwerk im Zeitalter seiner technischen Reproduzierbarkeit“, dass das Bombardement mit Bildern im Kino, das dem Denken wenig Zeit gibt, ein Übungsinstrument für eine gesteigerte Geistesgegenwart wäre, die man als Mensch in der modernen Lebenswelt braucht, um überleben zu können. Dabei kannte er noch nicht einmal die raschen Schnittfolgen moderner Fernsehserien. Ob Ähnliches für das Internet gilt?

Allerdins verlangen diese neuen Medien völlig andere Formen des Umgangs mit Text und der Textrezeption als die sozial eher isolierenden, bücherwurmstichigen Lesefertigkeiten, wie sie in PISA verlangt werden. Die „Sprache“ des 21. Jahrhunderts verlangt andere Codes, als sie in Schulbüchern oder daran angepassten Tests geboten und gefordert werden. Die passive Rezeption von Text und Sprache ist einer wesentlich aktiveren Form des Umgangs damit gewichen, die durchaus kreative Aspekte aufweist. Eine Generation, die so komplexe Medien wie Computer- oder Onlinespiele beherrscht, braucht freilich andere Kompetenzen, als sie in den konservativen PISA-Ranglisten abgebildet werden. Das wird durch ein Nebenergebnis der PISA-Studie übrigens gestützt: Die „ideale Handy-Quote“ für Österreich sind zwei Stück pro Haushalt. International gilt dagegen: Je mehr Handys in der Familie, desto besser der PISA-Wert.

Die von manchen nun genannten Defizite aus den Elternhäusern und Schulen sind nur ein Produkt der Defizite bei den Testkonstrukteuren, die etwa die mit den neuen Medien verbundenen Kompetenzen bei ihren Testaufgaben nicht berücksichtigen. Es ist nicht sinnvoll, über einen Papier & Bleistift-Test das Verständnis einer Bedienungsanleitung eines modernen Mobiltelefons zu überprüfen, sondern den Umgang damit bzw. die interaktive Aneignung des Umgangs mit diesen Medien. Der reine Text spielt in einer medial geprägten Welt nur mehr in knapper Form eine wichtige Rolle, wobei sich die Sprache immer mehr auf den Informationskern reduziert – man kann das einerseits mit einem nostalgisch verharrenden Bildungsbürgertum beklagen oder sich den Herausforderungen stellen. In diesem Sinne: Hi leutz, cu, lg 8-})

Nachkontrolle der PISA-Daten statt Volksbegehren

Erich Neuwirth, Statistiker an der Universität Wien, schreibt in einem Gastkommentar in der Presse vom 12. Februar 2011, das die PISA-Ergebnisse 2010 vermutlich statistisch so unzuverlässig sind, dass man ohne Nachuntersuchung keine Schulreform mit ihnen begründen sollte. Wie die OECD hat auch er ganz klar Vorbehalte gegen den Vergleich der österreichischen PISA-Ergebnisse von 2009 mit früheren PISA-Ergebnissen, denn bei der derzeitigen Datenlage sind keine zuverlässigen Aussagen über den Grad einer möglichen Leistungsverschlechterung der österreichischen SchülerInnen gar nicht möglich, sodass alle Argumente, die die PISA-Ergebnisse als Grund für Änderungen im Schulsystem anführen, daher auf eher wackeligen Beinen stehen. Es scheint verdächtig, dass sich die BIFIE so dagegen wehrt, die nur ihr zugänglichen Daten in Bezug auf die durch einen Schülerboykott verfälschten Testergebnisse offen zu legen. Bei PISA könnte es nämlich sein, dass potenziell leistungsstarke Schüler eher boykottiert haben als weniger leistungsstarke Schüler, was unkorrigiert natürlich einen Einfluss auf das Gesamtergebnis hätte. Schon bei PISA 2000 waren die Stichprobengewichte der einzelnen Schichten deutlich von den Anteilen an der Gesamtbevölkerung verschieden, was ein Grund für das verfälschte, ursprünglich publizierte Ergebnis war, das im Nachhinein von einer Arbeitsgruppe um Neuwirth korrigiert wurde. Auch damals war die Schichtenzuordnung der einzelnen Schüler in den öffentlich zugänglichen Daten auf Veranlassung der österreichischen PISA-Verantwortlichen nicht enthalten. Neuwirth betont zu Recht, dass die Vorgehensweise der Wissenschaft üblicherweise unter anderem darauf beruht, dass publizierte Ergebnisse von anderen Wissenschaftlern nachgeprüft werden können. Schon PISA 2000 hatte gezeigt, dass Nachanalysen das Ergebnis verändern und ganz erheblich korrigieren können, was angesichts der Ungereimtheiten bei der Erhebung für PISA 2011 noch wesentlich wichtiger wäre. Einige bisher bekannt gewordenen schlechten Detailergebnisse aus Vorarlberg und Tirol sind nämlich äußerst verdächtig, da auf Grund des für Wien erwartbaren noch schlechteren Ergebnisses offensichtlich Bundesländer wie Oberösterreich oder die Steiermark wesentlich bessere Daten aufweisen müssten, um einen so schlechten Schnitt zu erreichen, wie er für Gesamtösterreich veröffentlicht wurde. Neuwirth bedauert auch zu Recht, dass die erste Publikation üblicherweise schon so stark meinungsbildend wirken – siehe das abstruse Volksbegehren -, dass Korrekturen danach ohnehin nur noch bedingt wirksam werden können. Daher ist aus wissenschaftlicher Sicht zu fordern, dass bei PISA schon im Vorhinein begleitende Qualitätskontrollen in ausreichendem Umfang zu institutionalisieren sind, um die Gefahr eines Meinungsbildungsmonopols möglichst gering zu halten.

Eine Ergänzungsstudie zur Pisa-Studie 2012 durch Reiss et al. (2017) in Deutschland zeigte, dass sich Jugendliche von der 9. zur 10. Klasse in Mathematik nur geringfügig und in Naturwissenschaften sowie Lesen gar nicht darin verbesserten, ihre Kenntnisse im Alltag anwenden zu können. Für die am Donnerstag veröffentlichte Studie „Pisa Plus“ wurden den getesteten Neuntklässlern ein Jahr später erneut Pisa-Aufgaben vorgelegt. Bei den Aufgaben ging es in Mathematik unter anderem darum, die Grundfläche einer Wohnung zu berechnen, in den Naturwissenschaften sollten aufgrund von Karten und Informationen zum Vulkangürtel „Pazifischer Feuerring“ Aussagen zur Erdbebenwahrscheinlichkeit in bestimmten Weltregionen gemacht werden. Eine typische Pisa-Aufgabe im Lesen ist es, Fahrten im öffentlichen Nahverkehr aufgrund eines Liniennetzes zu planen.

Dabei wurde die Schere zwischen leistungsstarken und -schwachen Schülerinnen und Schülern beim Wiederholungstest in Mathematik und Naturwissenschaften größer, ebenso die zwischen den Schularten, denn während die Jugendlichen auf Sekundarschulen insgesamt keine Lernfortschritte machten, haben sich die Gymnasiasten etwas verbessert. Eine Erklärung für den mangelnden Lernzuwachs bei Sekundarschülern ist vermutlich die Art der Prüfungsvorbereitung während der 10. Klasse, denn hier kommt die Kompetenzorientierung wohl zu kurz. Das belegen auch Vergleichsaufgaben aus der deutschen Ländervergleichsstudie zu den Bildungsstandards, die mehr an den Lehrplänen ausgerichtet sind, denn hier schnitten die Zehntklässler besser ab.

Perverse Effekte der Steuerung in Schulen

Malte Brinkmann, Professor für Allgemeine Erziehungswissenschaft, hielt einen Vortrag über „Perverse Effekte der Steuerung in Schulen“ und berichtete von eigenen Untersuchungen zu diesem Thema, und kritisierte an der aktuellen Bildungsreform die Umstellung auf Bildungsstandards, Kompetenzen und Tests wie PISA. Aus internationalen Leistungsstudien wie PISA, aber auch aus den nationalen Tests und den statistisch erhobenen Daten lassen sich keine kausalen Erklärungen ableiten, warum ein Wert besser oder schlechter gerankt wird, denn es gibt keinen direkten Bezug zur Praxis und damit keine Antwort auf die Frage: Was tun? In den Medien und insbesondere in der Politik funktioniert PISA als eine Art Legitimationsinstrument für unterschiedliche bildungspolitische Reform- und Strukturmaßnahmen, wobei die einen sagen, die Effizienz des dreigliedrigen Schulsystems sei damit bewiesen, die anderen sagen, nein, das Gegenteil sei der Fall.
Bekanntlich wird mit der Überprüfung der Bildungsstandards das Versprechen gegeben, dass damit mehr Qualität und mehr Gerechtigkeit an den Schulen erreicht werden kann. Allerdings wurden dabei eher gegenteilige, d. h. perverse oder umgekehrte Effekte für Schüler und Lehrer ausgemacht, denn der Unterricht wird nicht besser, sondern durch diese damit verbundene technokratische Vorstellung vom Unterricht wird regelrecht Unaufmerksamkeit erzeugt. Zusätzlich findet eine Deprofessionalisierung der Lehrer statt, denn man konnte mittlerweile empirisch nachweisen, dass der Unterricht in vielen Fällen nicht besser wird, denn die Lehrerinnen und Lehrer verfügen nur noch über wenig pädagogische Urteilskraft und können nicht erklären, warum Unterricht, wenn er nicht gut läuft, nicht gut läuft. Das ist aber nicht die Schuld der Lehrerinnen und Lehrer. Ihre Aufgabe wird im aktuellen Evaluationssystem und in der Ausbildung vielfach darauf reduziert, aufgrund der sogenannten objektiven Datenrückmeldungen Datennutzung zu betreiben, doch ist eine diagnostische Datennutzung noch lange nicht das Halten eines guten Unterrichts.
Nach Brinkmann sind vor allem zwei Aspekte für guten Unterricht wichtig. Im Unterricht wird zum einen das lebensweltliche Wissen und Können der Schüler in symbolisches Wissen und Können transformiert, d. h., sie sollen den Umgang mit Symbolsystemen wie Zahlen, Schriftzeichen oder dem Periodensystem lernen, aber auch den Umgang mit Anderen und Fremdem. Dieser Transformationsprozess muss didaktisch inszeniert werden, wofür Fragen und Zeigen die wichtigsten pädagogischen Handlungsformen darstellen. Zudem sind dafür Zeit, Ruhe und Muße zentrale Bedingungen, doch aufgrund der Beschleunigung, die die Schulen in der Dauerreform erfasst hat, ist ein Unterricht, in dem sich die Schüler über eine längere Zeit konzentriert und fokussiert mit einer Sache beschäftigen, kaum noch möglich. Unterricht besteht heute vielfach aus einer sehr kurzatmigen Sequentialisierung mit schnellem Wechsel von Sozialformen und Methoden, wodurch SchülerInnen so Unaufmerksamkeit lernen.
Quelle: Zusammengefasst nach einem Interview von Lisa Zimmervoll im Standard vom 18. Jänner 2016.

Österreichs differenziertes Schulsystem

Wie wichtig ein differenziertes Schulsystem sein kann, beweist unter anderem das Abschneiden der österreichischen VertreterInnen bei der „Euroskills“ in Lissabon, bei denen Österreich mit 30 Fachkräften im Alter von 18 bis 25 Jahren in 26 Berufen vertreten war. Unter den 463 Teilnehmern aus 26 Nationen war das österreichische Team eines der besten und brachte 20 Medaillen, zwölf in Gold nach Hause. Offensichtlich schneiden „Produkte“ des so schlechten österreichischen Schulsystems bei Aufgaben und Problemstellungen, die ihnen sowohl liegen als auch auf eine zukünftige berufliche Karriere zugeschnitten sind, gut ab, während sie bei PISA-Beispielen, die weltfremd sind und eher kruden Einfällen von ErziehungswissenschaftlerInnen entspringen versagen. Es wäre fatal, das ausgezeichnete berufsbildende Schulwesen in Österreich, das offensichtlich eine solide Basis für den Lebenserfolg darstellt, mit einer flächendeckenden Einheitschule zu zerstören, wo alle Schülerkompetenzen an der Bewältigung von mehr oder minder lebensfremden Papier- und Bleistiftaufgaben gemessen werden. Dazu Rudolf Taschner, Mathematiker und Betreiber des math.space im quartier 21, Museumsquartier Wien, in einem Artikel in der Presse vom 4.2.2011: Nun sind eben Berufe wie Grafikdesign, CISCO-Spezialist, Web-Design, CAD-Techniker, Mechatronik, Kälteanlagentechniker, Drucktechniker, Anlagenelektriker, Elektroinstallateur, Sanitärinstallateur, Schweißer, Steinmetz, Maurer, Fliesenleger, Spengler, Maler, Gebäudereiniger, KFZ-Techniker, Motorradtechniker, Hufschmied, Florist, Landschaftsdesign, Landschaftsgärtner, Koch und Restaurantservice keine akademischen Berufe. Daher ist das monotone Lamento über die zu geringe Akademikerquote in Österreich im Hinblick darauf lächerlich, da die Akademikerquote statistisch in den verschiedenen Ländern völlig unterschiedlich ermittelt wird, andererseits wird es im Unterschied zu früher für StudentInnen an der Universität auf Grund der notwendigen Verschulung immer schwieriger, unter der Masse der mediokren akademischen Lehrer die wenigen guten und inspirierenden für sich zu gewinnen, um statt des öden Scheinesammelns ein echtes Studium erleben zu können (leicht gekürzt und zusammengefasst; W.S.).

---

Persönliche Anmerkung: Dem Autor dieses Textes waren die seit Jahrzehnten abnehmenden sprachlichen Leistungen der beginnenden StudentInnen an den Universitäten wohl bekannt, doch sind dafür weder die Schulen noch deren Qualität oder Organisation verantwortlich zu machen, vielmehr handelt es sich um gesellschaftliche Entwicklungen, die man bedauern kann, keinesfalls aber in der derzeit vorherrschenden Weise abhandeln sollte, da die diskutierten Veränderungen mit hoher Wahrscheinlichkeit zu einer Verschlechterung führen werden. An dem derzeit angestrebten Verharren auf dem Medium „geschriebener Text“ als allein seligmachend werden vermutlich die kommenden Generationen leiden.

---

Alle verwendeten Quellen stammen von http://www.bifie.at/pisa

Siehe dazu auch: Was will PISA?

Literatur

Baumert, J., & Schümer, G. (2002). Familiäre Lebensverhältnisse, Bildungsbeteiligung und Kompentenzerwerb im nationalen Vergleich (S. 159-202). In J. Baumert et al. (Hrsg.), PISA 2000: Die Länder der Bundesrepublik Deutschland im Vergleich. Opladen: Leske + Budrich.
Kießwetter, K. (2002). Unzulänglich vermessen und vermessen unzulänglich: PISA u. Co. Mitteilungen der Deutschen Mathematiker-Vereinigung, 4,  49–58.
Meyerhöfer, W. (2005). Tests im Test: Das Beispiel PISA. Leverkusen: Barbara Budrich.
Reiss, K., Klieme, E., Köller, O. & Stanat, P. (Hrsg.) (2017). PISA Plus 2012-2013. Kompetenzentwicklung im Verlauf eines Schuljahres. Zeitschrift für Erziehungswissenschaft, Sonderheft 33. Wiesbaden: VS Verlag für Sozialwissenschaften.
Rindermann, H. (2006). Was messen internationale Schulleistungsstudien? Schulleistungen, Schülerfähigkeiten, kognitive Fähigkeiten, Wissen oder allgemeine Intelligenz? Psych. Rundschau, 57, 69-86.
Vitzthum, T. S. (2015). Finnlands Pisa-Wunder entpuppt sich als Irrtum.
WWW: https://www.welt.de/politik/deutschland/article143637971/Finnlands-Pisa-Wunder-entpuppt-sich-als-Irrtum.html (15-12-11)
https://www.cps.org.uk/files/reports/original/150410115444-RealFinnishLessonsFULLDRAFTCOVER.pdf (15-12-11)
http://www.welt.de/debatte/kommentare/article143739296/Schluss-mit-dem-finnischen-Eiapopeia-in-der-Schule.html (15-07-10)