Denkfehler ohne Ende

Ungekürzte Fassung des Beitrags “Ganz schön vermessen” in der ZEIT vom 17.12.2014, S. 68

In der ZEIT vom 4.12.2014 (S. 77) schrieb Martin Spiewak unter dem  Titel “Studien ohne Ende“ über die Vielzahl der empirischen Studien zur Schulforschung. In kurzer Zeit habe sich die Zahl der „empirisch arbeitenden Bildungsforscher an den Universitäten vervielfacht, Fördergelder sprudeln wie nie zuvor“.  Doch selbst Befürworter solcher Studien wie der Hamburger Schulsenator Ties Rabe wüssten mittlerweile vor lauter neuen Akronymen (Fiss, Biss, Neps, Nil …) neben den schon bekannten (Pisa, Iglu, Tosca, Kess …) und den sich widersprechenden Interpretationen nicht mehr weiter:

„Was bringen die ganzen Studien eigentlich? Die einen Wissenschaftler  ziehen daraus diese Schlussfolgerungen, die anderen jene. Was soll ich denn da glauben?“ (Rabe, zit. n. Spiewak)

Rabe bringt damit dreierlei auf den Punkt. Erstens die Interpretationsbedürftigkeit jeglichen statistischen Materials. Zahlen ohne Kontext (hier: Fragestellung und Aufbau der Studien; Methode der Datenerhebung und Auswertung, Parameter und Prämissen der Interpretation) sagen exakt: Nichts. Das ist zwar bitter für Zahlengläubige, gleichwohl wissenschaftlicher Konsens. Das Bonmot „Traue keiner Statistik, die Du nicht selbst gefälscht hast“ lässt sich fortschreiben mit: „Warum Statistiken fälschen, wenn ich a) Fragestellung und Methode festlegen kann und b) die Interpretationshoheit über die erhobenen Daten habe?“

Zweitens die notwendige Kontextualisierung von Daten in den entsprechenden wissenschaftlichen Modellen und Theorien, die durch ihre Prämissen und Axiome bestimmte Interpretationen sachlogisch erwartbar folgen lassen. Das erkenntnisleitende Interesse (Habermas) bestimmt die Herangehensweise. Fragestellung und Methode präjudizieren mögliche Ergebnisse. Daher sind auch sich wechselseitig ausschließende Interpretationen von Daten im Kontext der jeweils eigenen Theorie, Fragestellung und Modelle möglich, auch wenn es Außenstehende verwirren mag. Denn wissenschaftliches Arbeiten ist nicht dualistisch (richtig/falsch), sondern pluralistisch (richtig im Kontext von …).

Drittens der Glaube, sowohl an die Wissenschaft als „neutraler“ Methode wie an die Redlichkeit der Interpreten. Schon die Behauptung der Möglichkeit von wertfreier, objektiver oder ideologiefreier Wissenschaft ist Ideologie. Zahlenfixierten Empirikern und Statistikern muss man immer wieder verdeutlichen, dass Interpretationen (d.h. Auslegung, ditto Hermeneutik!) von Zahlen ständig zu falsifizierende bzw. zu verifizierende Meinungen (doxa) sind und kein „neutrales“ Wissen. (Popper, Logik) Der Computerwissenschaftler Jospeh Weizenbaum formuliert schärfer:

“Wissenschaftliche Behauptungen können nie gewiss sein, höchstens mehr oder weniger glaubwürdig. Und Glaubwürdigkeit ist ein Begriff aus der Individualpsychologie, d.h. ein Begriff, der nur im Hinblick auf einen einzelnen Beobachter sinnvoll ist“ (Weizenbaum, 1977, S. 31).

Der aktuelle Stand der Wissenschaft, lässt sich formulieren, ist nur der derzeit gültige Irrtum. Schon das setzt wissenschaftliche Redlichkeit voraus, die in einem Wissenschaftsmarkt, der sich alogisch über Kennzahlen, Rankings und  z.B. eingeworbene Drittmittel definiert, nicht mehr uneingeschränkt erwartet werden kann. Die systematische Unterfinanzierung der (Hoch-)Schulen und das derzeit geltende Paradigma der Ökonomisierung auch der Bildungseinrichtungen und Wissenschaft zerstört die tradierte Kultur der Ehrlichkeit als Selbstverständnis. Passenderweise erschienen am 5.12.2014, einen Tag nach dem Artikels „Studien ohne Ende“,  die ersten Berichte über systematische Fälschungen bei Medikamentenstudien. Das Bundesinstitut für Arzneimittel und Medizinprodukte (BfArM) hat bereits Medikamente vom Markt genommen, der Umfang der Manipulationen ist noch nicht absehbar, „Betrügereien ohne Ende“ sind ein durchaus realistisches Szenario.

Studien als Datenschrott

Vorsätzlicher Betrug wie bei Medikamentenstudien erwartet bei der empirischen Bildungsforschung derzeit niemand. Die Folgen fehlerhafter Studien, aus denen Methoden und „Rezepte“ für Unterricht abgeleitet werden (sollen), sind aber nicht weniger schädlich für die betroffenen Schülerinnen und Schüler. Es sind zwar selten gesundheitliche (und wenn meist psychische) Schäden. Es sind aber sehr wohl Eingriffe in Bildungsbiographien und damit Lebensentwürfe. Es ist erstaunlich, dass weder Eltern noch Lehrer sich dagegen verwahren, Schule zu einem ständigen Versuchslabor, Schülerinnen und Schüler ungefragt zu Versuchskaninchen der Testindustrie zu machen. Die aktuell einseitige Förderung empirischer Untersuchungen zu Lasten der klassisch philosophischen und textbasierten Forschung marginalisiert wissentlich und vorsätzlich die wissenschaftliche Pädagogik. Statt Besinnung auf pädagogische Traditionen „ertrinken“ derzeit alle Beteiligten in Daten. Das hat Methode. Diese Form der Datenhuberei überfordert schließlich nicht nur Ties Rabe, sondern vorsätzlich alle Entscheider in Bildungsinstitutionen:

„Kein Kultusminister, Bildungsadministrator oder Schuldirektor kann auch nur die wichtigsten Langzeiterhebungen lesen, geschweige denn, deren Bedeutung für die Praxis einschätzen. Die meisten von ihnen verstehen die Abhandlungen noch nicht einmal – außer sie haben ein paar Semester Methodenlehre studiert.“ (Spiewak)

Entscheider an Schulen und in Ministerien bräuchten daher „Übersetzer, Relevanzerklärer, Studienqualitätsprüfer und Schleusenwärter für die Datenflut“. Das sind wiederum die Verantwortlichen der Studien, die ihre unverständlichen „Ergebnisse“ dank Methodenkompetenz übersetzen und Bedeutung sowie Relevanz der Studien für die Praxis erklären könnten, Das wäre ein geschlossener Zirkel, das ist Hybris. Dem Unvermögen (oder Unwillen), die eigene wissenschaftliche Arbeit verständlich zu machen, werden jetzt aber nicht Forderungen nacxh Klarheit in der Sprache, Transparenz in Methodik und Bewertung und Nachvollziehbarkeit der Vorschläge durch Verständlichkeit abgeleitet. Vorgeschlagen wird  stattdessen ein Institut, das alle Studien zur Schulforschung sammelt, bewertet, katgeorisiert und rankt. In diesem Institut dürften wiederum wissenschaftlich in der empirischen Bildungsforschung sozialisierte Kollegen arbeiten, weil nur diese  die „mehrsemestrige Methodenlehre“ nachweisen können und daher als genau jene „Übersetzer, Relevanzerklärer, Studienqualitätsprüfer und Schleusenwärter für die Datenflut“ arbeiten können, weil die Studien ohne Übersetzung nicht lesbar sind. So sollte nicht argumentieren, wer im gleichen Beitrag zugeben muss, dass nach

„den strengen Maßstäben der Biowissenschaft (…) mehr als 90% aller empirischen Schulstudien Datenschrott sein [dürften], Pseudoforschung ohne jede valide Aussage.“

Nicht nur die Bio-, jede Wissenschaft hat strenge Regeln. Das ist geradezu die Existenzbedingung für Wissenschaft. Wissenschaftliches Arbeiten erfordert Genauigkeit in allen Phasen, Offenlegung der Methoden und Daten (Transparenz), Nachvollzieh- und Prüfbarkeit der Thesen (unabhängige Validierbarkeit) und den, auch ergbnis-offenen Diskurs. Wenn selbst der Direktor des Instituts zur Qualitätsentwicklung im Bildungswesen (IBQ), Hans Anand Pant, mit den Worten zitiert wird, es sei schon befremdlich, was in seiner Disziplin mitunter als wissenschaftliche Studie durchgehe, lassen sich mangelnde Wissenschaftlichkeit und fehlende Methodik nicht durch ein Institut beheben, das nachträglich über 90% der Studien als nicht wissenschaftsadäquat aussortiert. Sinnvoller und auch betriebswirtschaftlich effizienter wäre, Relevanz- und Methodenprüfungen vorzuschalten, bevor weiter Datenschrott generiert wird. Das hieße, dass über 90% der Studien als methodisch nicht valide gar nicht erst durchgeführt, die entsprechenden Kolleginnen und Kollegen aus der empirischen Bildungsforschung nicht beschäftigt, die sprudelnden Forschungsgelder nicht abgeschöpft würden. Außerhalb der Scientific Community der empirischen Bildungsforscher wäre das verlustfrei zu verkraften.

Ein Teil des freiwerdenden Etats könnte in verpflichtende Grundkurse Philosophie (Wissenschaftspropädeutik) für alle Studierende der Pädagogik und Bildungsforschung  investiert werden. Die erste Disziplin der Philosophie ist die Logik. Wer logisch denken lernt, hinterfragt die Validität von Messwerten, Empirie und statistischen Durchschnittswerten im Kontext pädagogischer Arbeit  und konzipiert keine Datenschrott-Studien. Die zweite Disziplin der Philosophie ist die Ethik. Wer ethisch denken lernt, richtet Unterricht nicht an Kennzahlen und Rankings aus, sondern besinnt sich auf humanistische und demokratische Parameter an Stelle der ökonomistischen Zurichtung von Humankapital. Wer philosophisch, logisch und erkenntnistheoretisch denken lernt, wird die Wissenschafts- und Zahlengläubigkeit der Empiriker und Statistiker ohnehin der Metaphysik zuordnen.

Die Vermessung der Welt als Irrweg

Erfreulich am Artikel ist immerhin, dass selbst die ZEIT (als Medienpartner des Centrum für Hochschulentwicklung (CHE) und damit per se „Tendenzträger pro Empirie“) die Vielzahl der empirischen Studien, deren Beliebigkeit und wissenschaftliche wie pädagogische Irrelevanz zur Kenntnis nimmt. Unverständlich ist, daraus die Notwendigkeit einer nachgeordneten Prüfstelle abzuleiten anstatt im Vorfeld das Geld für offensichtlich unsinnige Studien zu sparen. Pseudoswissenschaftliche Datenhuberei wird auch durch ein „Cochrane-Center der empirischen Bildungsforschung“ nicht verhindert.

„Seit einem Jahrzehnt vermessen die Pisa-Studien den Lernerfolg von Schülerinnen und Schülern. Die statistische Methode beansprucht Exaktheit, entzieht sich aber dem wissenschaftlichen Diskurs. Entstanden ist eine selbst- referenzielle Testindustrie mit Hunderten Millionen Franken Umsatz. Nationale Bildungstraditionen werden zerstört,weil die Statistik alles über den Kamm der Messbarkeit scheren muss.“ (Thomas Jahnke, 2012)

Nicht einmal die Begrifflichkeit (Bildungsforschung) ist begriffslogisch sauber geklärt. Empirisch untersucht werden Lernfortschritte durch Üben. Abprüfbare Leistung lässt sich trainieren, siehe Pisa. Bildung hingegen lässt sich weder messen noch quantifizieren  (Peter Bieri), aber damit entzögen sich die empirischen Bildungsforscher selbst die Grundlage. Hier schließt sich der Kreis der „Studien ohne Ende“ zu den „Denkfehlern ohne Ende“. Wer glaubt, den Menschen und sein Verhalten messen, steuern und regeln zu können wie die Kybernetiker und Behavioristen mit ihrem programmierten Lernen, vergisst (oder verleugnet) das pädagogische Elementarprinzip. Lehren und Lernen ist immer Beziehungsarbeit zwischen und nicht Produktion von Menschen. Das erfordert den interpersonalen Dialog und Vertrauen in Lehrende wie Lernende statt Glauben an und Fixierung auf Zahlen und Methoden.

Wir können und wollen als Pädagogen Menschen, ihr Lernen und ihre Entwicklung nicht vermessen, sondern aktiv und konstruktiv fördern. Nicht das Erzeugen von Kennzahlen und Rankings anhand von Effektmaßen (Hattie) sind das Ziel, sondern eigenständige und im Wortsinn eigenwillige Persönlichkeiten. Auch Persönlichkeit lässt sich nicht (ver-)messen. Womöglich charakterisiert gerade das Nichtmessbare Wesentliches des Menschen als Individuum und wir müssen erst wieder lernen, die nicht quantifizierbaren Qualitäten des Menschen wertzuschätzen?

Quellen

Bieri, Peter (2005): Wie wäre es, gebildet zu sein? (Festrede 4. November 2005)
Graupe, Silja [Bildung, 2013]: Ökonomische Bildung: Die geistige Monokultur der Wirtschaftswissenschaften und ihre Alternativen
Jahnke, Thomas:  Die Illusion der Statistiker
Krautz, Jochen [Bildungsreform,2013]: Bildungsreform und Propaganda. Strategien der Durchsetzung eines ökonomistischen Menschenbildes in Bildung und Bildungswesen, in: Frost, Ursula/Rieger-Ladich, Markus (Hrsg.): Demokratie setzt aus: Gegen die sanfte Liquidation einer politischen Lebensform. Vierteljahrsschrift für wissenschaftliche Pädagogik – Sonderheft 2013, S. 86-128
Lankau, Ralf (2012): Institutionalisierte Denkfehler (IDF)
Popper, Karl [Logik, 2007]: Logik der Forschung. Die Einheit der Gesellschafts­wissenschaften, Bd, 4, Tübingen: Mohr, 1971
Spiewak, Martin [Studien, 2014]: Studien ohne Ende, in: Die ZEIT vom 4. Dezember 2014, S. 77
Weizenbaum, Joseph, [Computer, 1977]: Die Macht der Computer ist die Ohnmacht der Vernunft, Frankfurt am Main: Suhrkamp, 1977

Der ganze Beitrag als PDF: