Seit 16:05 Uhr Echtzeit
 
  • facebook
  •  
  • twitter
  •  
  • instagram
  •  
  • spotify
 
Seit 16:05 Uhr Echtzeit
 
 

Zeitfragen / Archiv | Beitrag vom 23.10.2014

Qualitätssicherung in der ForschungForschen für die "Old Boys"

Bevor Fachzeitschriften eine wissenschaftliche Arbeit veröffentlichen, muss per Peer Review das Ergebnis überprüft werden

Von Florian Felix Weyh

Zwei Hände fassen eine Petrischale mit Bakterienkulturen zur Genvermehrung. (dpa / picture alliance / Michael Rosenfeld)
Petrischalen mit Bakterienkulturen zur Genvermehrung (dpa / picture alliance / Michael Rosenfeld)

Wer wissenschaftlich forscht, braucht den Segen anderer Forscher des Fachgebiets, um die Ergebnisse publizieren zu können. Peer Review heißt das Verfahren. Klingt theoretisch nach Objektivität, praktisch bündelt es Macht in den Händen der "Old Boys" der Wissenschaftscommunity, mahnen Kritiker.

"Nicht nur ich, sondern auch meine Doktoranden werden am Ende natürlich danach bewertet, dass sie Publikationen in sehr guten Zeitschriften vorzuweisen haben."

Günter M. Ziegler, Professor für Diskrete Geometrie an der Freien Universität Berlin.

"Und ich kenne Leute in Deutschland, die für eine einzelne 'Annals'-Publikation am Ende einen Lehrstuhl bekommen haben und dann teilweise danach auch gar nicht mehr so viel geschafft haben."

Katja Mruck: "Die Zahl der Artikel, die bei uns durchgehen mit wirklich nur minimalen formalen Änderungen, das sind maximal zehn Prozent!"

Dr. Katja Mruck. Herausgeberin der mehrsprachigen Zeitschrift "Forum Qualitative Sozialforschung", Berlin.

"Bei 40 Prozent sind weitergehende Überarbeitungen erforderlich, die teilweise mehrere Schlaufen nach sich ziehen danach. Und der Rest geht nicht!"

"Peer Review heißt 'Rückschau der Gleichaltrigen'."

Sagt Gerhard Fröhlich, Professor für Philosophie und Wissenschaftstheorie an der Johannes Keppler Universität Linz.

"Das heißt, wenn sich ein paar – bitte mit das Beispiel zu verzeihen! – in Russland in Kriegsgefangenschaft Gewesene treffen nach fünfzig, sechzig Jahren und ihr damaliges Leid rekapitulieren und die Hungersnöte, dann ist das eigentlich Peer Review, nach der wörtlichen Übersetzung des Wortes."

Martin Reinhart: "Peer Review ist ein wissenschaftliches Begutachtungsverfahren, wo wissenschaftliche Experten darüber entscheiden, wie Zeitschriftenartikel publiziert werden, wie Gelder vergeben werden innerhalb der Wissenschaft."

Martin Reinhart, Junior-Professor am Institut für Forschungsinformation und Qualitätssicherung, kurz IfQ, einer Einrichtung der Deutschen Forschungsgemeinschaft, Berlin.

"Die Idee wäre, dass das Experten sind, die einschätzen können, wie gut oder schlecht ein entsprechender Antrag oder ein entsprechendes Manuskript aus einem spezialisierten Forschungsbereich tatsächlich ist."

Gerhard Fröhlich: "Es wird immer so getan, als ob Peer Review halt Fachkollegen sind, gleichrangige. In Wahrheit ist es oft so, dass einige wenige alte Kacker – verzeihen Sie mir den Ausdruck –, 'old boys networks', dass die alle Gutachten machen! Und daher können zwei, drei Leute im worst case, in einer Subdisziplin alles unter Kontrolle haben. Die sind bei zehn, bei zwanzig Journals gleichzeitig Gutachter, bei allen Forschungsfonds, und wenn sie einem dieser Gutachter mal sauer aufgestoßen sind, ist das eigentlich schon fast Selbstmord."

Stefan Hornborstel: "Die Gutachtertätigkeit ist nicht gleich verteilt auf alle Wissenschaftler, sondern ganz im Gegenteil, sie ist extrem schief verteilt!"

Stefan Hornborstel, Professor für Wissenschaftsforschung an der Humboldt-Universität Berlin und zugleich Leiter des IfQ.

"Als Gutachter sucht man bevorzugt Leute, die erstens im Fach eine gewisse Reputation haben, und zweitens die auch die sozialen Kompetenzen mitbringen. Das heißt, sie sollen ihr Gutachten pünktlich abliefern, wenn's geht. Sollte möglichst wenig Beschimpfungen der Kollegen enthalten, sollte sachlich sein und so weiter."

"Einem außenstehenden Beobachter des Wissenschaftsgeschehens kann man Peer Review kurz als eine Art Schema oder Ritual erklären ..."

Peer Review als Qualitätskontrolle

Erklärt 2004 in einem Aufsatz der Wiener Physiker Karl Svozil, selber Gutachter.

"... in dem es zu einer Entscheidung über die Veröffentlichung von wissenschaftlichen Berichten beziehungsweise über die Finanzierungswürdigkeit von Forschungsvorhaben kommt. Im Rahmen dieses Schemas wird ein Artikel vom Autor oder einer Autorengruppe zumeist uneingeladen zur Veröffentlichung eingereicht. Der Artikel wird vom Herausgeber zu unbezahlten Gutachtern, den Peers, geschickt. Diese Gutachter erstellen Berichte und Empfehlungen, nach denen der Artikel vom Autor verändert und wiederum eingereicht wird. Diese Prozedur kann sich öfters wiederholen. In der Folge kommt es zu einer Entscheidung über die Veröffentlichungswürdigkeit des Artikels. Die Entscheidung wird vom Herausgeber auf der Basis der vorliegenden Gutachten und der Reaktion der Autoren getroffen."

Gerhard Fröhlich: "Begonnen hat es etwa im 17. Jahrhundert. Da gab's viele experimentelle Shows und viele Scharlatane, und auch viele, die nur behauptet haben: 'Ich hab doch was ganz Uriges entdeckt!' Und daher brauchte man Zeugen, und diese Zeugen waren Peers. Aber Peers waren keine Gleichrangigen, keine Gleichaltrigen, sondern das waren die höchsten Adeligen. Das heißt, ein Mann – musste natürlich ein Mann sein! – von hohem sozialen Stand hat bezeugt: Das hat tatsächlich geblitzt! Oder die Flüssigkeiten gelb und grün zusammengemischt wurden tatsächlich weiß. Und dann war das Experiment bestätigt."

"Bereits für die im Jahre 1665 gegründete Zeitschrift Philosophical Transactions wurden zur Veröffentlichung eingereichte Beiträge vor der eigentlichen Publikation durch ein Mitglied des Councils der Royal Society begutachtet und entsprechend bewertet."

Datiert die Forschung übereinstimmend das überraschend frühe Geburtsdatum des Peer Review als Verfahren wissenschaftlicher Qualitätskontrolle. Ein angesehenes Mitglied der besseren Gesellschaft beurteilt Äußerungen, bevor sie an die Öffentlichkeit gehen. Vor der Aufklärung, etwa während der ersten wissenschaftlichen Blüte der Renaissance, war das jedoch kaum die Regel, wie der Historiker Valentin Groebner in der Frankfurter Allgemeinen Zeitung beschreibt:

"Wenn ein Humanist einen vorher unbekannten antiken Text gefunden hatte, schickte er seine Rekonstruktion des Textes an möglichst viele Kollegen. Einerseits, damit die ihn auf mögliche Fehler aufmerksam machen und Verbesserungen anbringen konnten; andererseits natürlich, um auf sich und seine Entdeckung aufmerksam zu machen. (...) Das Mitspielen hatte aber auch Risiken. Wenn man auf einen Bluff oder eine Fälschung hereingefallen war oder einem peinliche Übersetzungsfehler aus dem Lateinischen oder Griechischen unterliefen, konnte man sich unsterblich blamieren: Denn alle Kollegen waren gleichzeitig Konkurrenten, und über wenig schrieben die Humanisten so gern wie über die Blamagen ihrer Kollegen, mit cc: an alle. So funktionierten auch die gelehrten Zeitschriften im 17. Jahrhundert."

Es gibt einige schwarze Schafe

Die Fehlerkontrolle, Irrtumskorrektur, Aussiebung von Scharlatanen und Fälschern blieb zunächst also zeitlich nachgeordnet: Erst die öffentliche Behauptung, dann die öffentliche Berichtigung. Durch den Siegeszug der Naturwissenschaften im 19. Jahrhundert schwoll der publizistische Strom freilich derart an, dass sich der Echoraum wissenschaftlicher Verkündigungen gewaltig ausdehnte. Um die größten Blamagen zu vermeiden, empfahl sich die Vorverlegung der Kritik in den geschützten Raum engerer Fachdiskussionen. Das war keineswegs zwingend – aber aus verschiedenen Gründen einigermaßen einleuchtend:

Martin Reinhart: "Man muss das nicht machen! Das ist historisch kontingent auf eine gewisse Art und Weise. Für die Entstehung und die Autonomie des Wissenschaftssystems war's eine ganz wichtige Institution, weil dadurch gewisse Privilegien gegenüber den nationalen Herrschern gesichert werden konnten, inbesondere Druck- und Zensurprivilegien. Damit das Wissenschaftssystem selbst das Privileg kriegt, die eigenen Wissensbestände offen kommunizieren zu dürfen. So wie wir das Peer Review uns heute vorstellen, so ganz klassisch wie es in Zeitschriften aufgebaut ist, mit externen Gutachten, die man einholt – das ist in der Breite ein Phänomen, das eigentlich erst nach dem 2. Weltkrieg so richtig aufkommt."

"Peer Review ist zum Herzstück einer autonomen, selbstverwalteten Wissenschaft avanciert und damit zu einem Verfahren zu dem es keine adäquate Alternative gibt."

Aus einem "Working Paper" des IfQ, Berlin.

"Allerdings erheben sich immer wieder kritische Stimmen zu der Fachbegutachtung durch Kollegen und Kolleginnen, vor allem im Hinblick auf die Reliabilität und Validität. Dem Verfahren wird ein geringer Grad an Gutachterübereinstimmung, mangelnde Transparenz, Innovationsfeindlichkeit und zu hoher Aufwand vorgeworfen."

Gerhard Fröhlich: "Das große Problem ist, dass sowohl Hochschul-Forschungsförderfunktionäre als auch durchschnittliche Wissenschaftler und Wissenschaftlerinnen sobald die Mikrophone ausgeschaltet sind, off records, sobald man beim Büffet und beim Rotwein steht, die schlimmsten Geschichten erzählen! Wenn die Kameras angeschaltet sind und die Scheinwerfer, dann wird ein Loblied über die wissenschaftliche Integrität der eigenen Disziplin gesungen. Es gibt ein paar schwarze Schafe, aber das war's."

Diese schlimmen Geschichten sind Legende: Übersehene Fälschungsskandale, Gerüchte von "Kollegialitätsrabatten" und Bevorzugung berühmter Namen, Ämterhäufung bei den Gutachtern, Plagiate und Ideenklau, Sabotage von Konkurrenzprojekten, Ignoranz gegenüber unkonventionellen Forschungsansätzen und natürlich persönliche Eitelkeiten, Rachsucht, Geltungsdrang – die Verbrechen aus Leidenschaft gewissermaßen. In der Natur der Sache liegt es, dass off record gesprochene Sätze im Radio nicht hörbar gemacht werden können, doch mit dem Linzer Wissenschaftstheoretiker Gerhard Fröhlich wagt sich seit Jahren ein Kritiker des Peer Review in die Manege, der durchaus nicht leise auftritt.

Stefan Hornborstel: "Herr Fröhlich hat seit langem eine sehr kritische Rolle insbesondere zum Peer-Review-Verfahren eingenommen. Das ist auch hilfreich, dass jemand immer mal wieder einen kritischen Blick draufwirft. Und ich glaube, es gibt auch genug Anlässe, sich Sorgen zu machen über das Peer-Review-Verfahren. Das ist nicht zuletzt gestützt durch die vielen Wissenschaftsskandale, die wir in letzter Zeit haben, wo man sagen muss: In den Fällen hat auch das Peer Review nicht wirklich funktioniert!"

Gerhard Fröhlich: "Im zarten Jünglingsalter hab ich schon Gutachten für meinen Chef verfasst, und der hat keinerlei Punkt und Komma geändert, was mich natürlich mit Stolz erfasst hat. Das heißt viele – und gerade diese old boys – machen die Gutachten gar nicht selbst. Sondern das wird delegiert, ob an die Gattin oder an eine Hilfskraft. Und dann kann es natürlich sein, dass auch dieser Mensch wieder sich sagt: 'Bin ich ein nützlicher Idiot? Ich werde ja nicht einmal als Gutachter genannt.' Das ist ja ein schöner Punkt in einem Lebenslauf! Und warum soll ich nicht dem Freund sowieso, der enttäuscht ist, dass er kein Projektantrag durchbringt, warum sollen wir nicht ein bisschen helfen und ihm indiskret das Ganze schicken?"

Stefan Hornborstel: "Die Tatsache, dass wir Probleme haben an manchen Stellen, heißt noch nicht, dass die Behauptung gerechtfertigt sei, das Peer-Review-Verfahren insgesamt sei völlig untauglich und würde sozusagen nur Skurrilitäten erzeugen. Das halte ich nicht für gerechtfertigt, und dafür gibt es meines Erachtens auch keine empirische Evidenz."

Peer Review dient als feinmaschiger Filter

Evident ist, dass Peer Review in den meisten wissenschaftlichen Disziplinen als feinmaschiger Filter dient, den jeder Forscher und jeder Antrag auf Fördergelder passieren muss. Ist das eine Art Grundgesetz, dem man sich nicht entziehen kann?

"Die Sache ist so, dass wir übers Peer Review und andere Qualitätssicherungssysteme immer wieder diskutieren."

Erklärt Dr. Karsten Schuldt vom Schweizerischen Institut für Informationswissenschaft in Chur. Zusammen mit anderen jungen Wissenschaftlern gibt er die Online-Zeitschrift "Libreas" heraus, ein Fachorgan für Bibliothekare und Informationswissenschaftler.

Karsten Schuldt: "Wir hatten lange Zeit einen Redakteur, der ganz explizites, ganz hartes Peer Review machen wollte. Andere haben gesagt: 'Nee, es funktioniert auch anders!' Wir haben jetzt auch ein System, das hat sich eingespielt, Editorial Review. Das heißt, wir als Redaktion sind eigentlich die Peers, die Artikel begutachten. Wir haben uns einfach in der Praxis so ein bisschen dagegen entschieden, so ein richtig radikales Peer Review zu machen. Aber die Diskussion kommt immer wieder auf und sowohl von außen, als auch von innen herangetragen."

In dieser Diskussion spielen die Vor- und Nachteile des Verfahrens eine große Rolle. Peer Review mit externen Fachleuten ist zeitlich und personell aufwändig und für ein ehrenamtliches Projekt nur mit hohem persönlichem Einsatz zu bewältigen. Obwohl die Gutachter im Regelfall unentgeltlich arbeiten, stellt sich die Frage nach Kosten und Nutzen durchaus. Denn trotz der gängigen Anonymisierung – Einreicher von Aufsätzen wissen nicht, wer sie begutachtet – lassen sich seit langem sogenannte Bias-Effekte feststellen, die der scheinbaren Unparteilichkeit des Verfahrens widersprechen. Was verbirgt sich hinter dem Begriff "Bias"?

Martin Reinhart: "Es gibt im Deutschen keine wirklich gute Übersetzung. 'Ungerechtigkeit' wär vielleicht etwas, was am nächsten liegt."

Karsten Schuldt: "Sagen wir mal 'strukturelle Effekte', bei denen bestimmte Personen und Personengruppen bevorzugt werden, ohne dass es irgendwas mit der Qualität zu tun hat. Ein bekannter Bias ist immer der zwischen Männern und Frauen. Dass Frauen einfach weniger publizieren als Männer. Oder der andere Bias ist, dass Personen, die an höherwertigen Einrichtungen angestellt sind, in mehr Peer-Review-Zeitschriften veröffentlichen können. Und sich dann die Frage stellt, warum denn jemand, der an der Humboldt-Uni angestellt ist, bessere Qualität liefern soll als jemand, der an der HTW Chur angestellt ist? Das wäre jetzt die gleiche Person, also ich. Ich hab einfach nur den Arbeitsplatz gewechselt. Das heißt nicht, dass ich schlechter werde!"

Einreicher kennen die Begutachtenden nicht

Martin Reinhart: "Ob tatsächlich Ungerechtigkeiten vorliegen, ist hoch umstritten in der Peer-Review-Literatur! Es gibt genauso viele Studien, die für jedes dieser beliebigen Kriterien sowohl einen Bias nachweisen, wie es Studien gibt, die dann keinen nachweisen. Wo man mit relativ großer Sicherheit sagen kann, dass ein Bias vorliegt, ist, was die geographische Herkunft angeht bei wissenschaftlichen Zeitschriften."

Konkret: Ein osteuropäischer oder asiatischer Autor hat bei führenden Publikationen aus dem angloamerikanischen Raum signifikant schlechtere Aussichten als etwa ein australischer oder neuseeländischer Kollege. Bei der Dominanz englischsprachiger Fachzeitschriften in den Naturwissenschaften sorgt dieser Effekt für eine bedenkliche Schieflage. Er ist nicht der einzige.

Martin Reinhart: "Was wir häufig feststellen, ist, dass es Selbstselektionen gibt. Das ist insbesondere bei der Geschlechterfrage ein Thema, wo wir häufig sehen, dass Frauen die gleichen Erfolgschancen haben, wenn sie sich mal beworben haben mit einer Publikation, mit einem Antrag. Dass die Hürde aber eine Publikation einzureichen, oder einen Antrag einzureichen, für Frauen sehr viel höher ist als für Männer."

Katja Mruck: "Es gibt eine Untersuchung zu der Zeitschrift FQS, wo es genau um die Genderfrage auf der Ebene von Autoren und Autorinnen ging. Da haben wir deutlich am besten abgeschnitten."

Erklärt Katja Mruck von der Zeitschrift "Forum Qualitative Sozialwissenschaft".

"Und bei uns ist es schon so, dass der Frauenanteil extrem hoch ist. Wir gehören auch zu den Zeitschriften, die auf eine nicht nur männliche Schreibweise Wert legen."

Und zu den eher seltenen Publikationen, die das Peer Review im Doppelblindverfahren durchführen: Nicht nur die Einreicher kennen die Begutachtenden nicht, auch die Begutachtenden werden im Unklaren darüber gelassen, wer den Aufsatz anbietet. Die Methode hat sich nicht allgemein durchgesetzt, weil sie bei erhöhtem Aufwand vor allem in "engen Fächern" – also hochspezialisierten Unterdisziplinen mit weltweit nur wenigen aktiven Wissenschaftlern – schnell unterlaufen werden kann. Meist genügt ein Blick ins Literaturverzeichnis, um auf die richtige Spur zu kommen. Oder es läuft noch dümmer:

Gerhard Fröhlich: "Ich hab zum Beispiel von einem sehr renommierten amerikanischen Journal, die ganz auf sich stolz sind, wie toll sie sind, ein Manuskript erhalten. In fünf Sekunden in Google den Titel des Manuskripts eingegeben, hab ich schon die Autoren gefunden, die auf ihrer Webseite geschrieben haben: Zur Einreichung bei diesem renommierten Journal Sowieso diese Artikel abgeliefert."

Karsten Schuldt: "Der Witz ist ja, selbst wenn Sie einen Artikel anonymisieren können, heißt es ja nicht, dass Sie ausschalten, dass irgendjemand rät! Und es ist vollkommen egal, ob der Artikel von Person XY ist, der oder die Reviewende kann auch der Überzeugung sein, der Artikel ist von Person B und bewertet das dann, als wäre das Person B. Da gibt's trotzdem diesen Rateeffekt."

Diverse Studien über die Wirksamkeit des Doppelblindverfahrens erbrachten ernüchternde Ergebnisse: Zwischen 26 und 45 Prozent der Gutachter erkannten mit minimalem Aufwand, wer hinter dem jeweiligen Aufsatz oder Projektantrag steckte. Dass Katja Mruck für ihre sozialwissenschaftliche Zeitschrift dennoch auf strikte Anonymisierung setzt, die über den Begutachtungsprozess hinausgeht und sich auf die gesamten Daten bezieht, hat allerdings auch Gründe jenseits des Peer Review. Die qualitative Sozialforschung hantiert oft mit detaillierte Einzelfall-Beschreibungen und Tiefeninterviews, deren Protagonisten geschützt werden müssen. Denn die Zeitschrift FQS ist ein Open-Source-Projekt, das für jedermann öffentlich einsehbar im Internet steht.

Katja Mruck: "Ich habe viele Diplomarbeiten im Kontext klinische Psychologie betreut, wo es um Depressionen, Suizid, alles das geht. Deshalb war mir relativ schnell klar: Aufpassen! Einfach aufpassen auf Menschen, mit denen wir forschen. In der Regel sind es ja verschiedene Interviews, die entlang unterschiedlicher Interpretationen mit Zitaten genutzt werden. Und die Zitate haben so einen Belegmodus. Aber natürlich könnte eine Person, wenn ich nicht aufpasse, sich identifizieren und feststellen: Ah, okay, das ist mein Zitat, ich weiß, ich hab das gesagt! Und da steht, ich bin ein Soziopath."

Wissenschaft sollte freies Wissen ermöglichen

Wer will das über sich lesen? Andererseits wäre es durchaus wichtig, dass nicht nur Zitate, sondern alle Materialien zugänglich gemacht werden. Dieses Begehren geht über den Spezialfall der qualitativen Sozialwissenschaften weit hinaus. Forschungsskandale auf Basis manipulierter oder erfundenen Daten können mit Peer Review derzeit nämlich kaum aufdeckt werden, weil die Gutachter nur die als Aufsätze vorliegenden Schlussfolgerungen beurteilen, nicht aber das wissenschaftliche Rohmaterial. Der Betrug findet jedoch vor der Formulierung der Schlussfolgerungen statt, indem – etwa in der Medizin – visuelle Belege gefälscht werden:

Gerhard Fröhlich: "Wissenschaft muss offen zugänglich sein! Vor allem muss sie zugänglich sein für Suchmaschinen, für Prüfprogramme, um alle vorhandenen Publikationen nach Bildern abgleichen zu können. Ich hab mir im Fall Hermann/Brach/Mertels[mann], in diesem berühmten deutschen Krebsforscherskandal, hab ich mir die Originale kommen lassen."

"So publizierten die Onkologen Friedhelm Herrmann und Marion Brach nicht nur über mehrere Jahre hinweg gefälschte Ergebnisse eigener Studien. Sie hielten außerdem Forschungsanträge zurück, die sie als Gutachter im Rahmen von Peer-Review-Verfahren zu bewerten hatten, verzögerten die Bearbeitung und setzten die darin beschriebenen Ideen dann teilweise selbst um."

Gerhard Fröhlich: "Die DFG musste die Bilder alle einscannen und vergrößern und dann konnte man erst zeigen: In den Bildern haben sie die "Bemmerl" – würde ich als Österreicher sagen – die Punkte einfach dupliziert, mit Photoshop. Eindeutig. Das war auf dem Papierbild nicht erkennbar."

Katja Mruck: "Natürlich ist es hochspannend, irgendwann eben nicht nur die Veröffentlichung zu haben, sondern auch die Daten, auf deren Basis die Veröffentlichung passiert ist. Wir müssen aber dieses Anonymisierungsproblem lösen, was in dem Feld, in dem ich bin, nicht trivial ist. Was aber unbedingt nachdenkenswert ist."

Als Belohnung für eine derartige Offenlegung des Forschungsmaterials winkt die Möglichkeit, den generellen Weg der Hypothesen- und Theoriebildung nachzuvollziehen – ein völlig neuer Aspekt in der Transparenzdebatte, die rund ums Internet geführt wird.

Karsten Schuldt: "Kann Wissenschaft, wenn sie frei sein soll – und das soll sie ja – tatsächlich geheimniskrämerisch sein?"

Fragt auch der junge Informationswissenschaftler Karsten Schuldt, dessen Zeitschrift "Libreas" auf die Beschränkungen durch Peer Review verzichtet.

Karsten Schuldt: "Die Wissenschaft soll eigentlich, moralisch-ethisch gesprochen, freies Wissen, freie Kommunikation ermöglichen. Wir sollen in der Wissenschaft alles sagen dürfen! Wenn man da ein System hat, das darauf basiert, dass viele Sachen geheim gehalten werden – also wer reviewed, wer ist eigentlich der schreibt und die schreibt? – dann stellt sich schon die Frage, ist das moralisch zu verantworten?"

Moralischer aus dieser Perspektive wäre ein Qualitätsfilter, der auf klandestine Verschleierungen der mächtigen Gutachter verzichtet. Open Review ist solch ein Verfahren, und Stefan Hornborstel vom IfQ erklärt dessen Eigenarten

"Da sind die Gutachter mit Namen und allem bekannt, auch ihr Gutachten ist bekannt und steht zur Diskussion im Netz, zusammen mit meistens dann dem Manuskript, das begutachtet worden ist, und es ist sozusagen freigegeben für eine kritische Diskussion. Das ist allerdings ein Verfahren, was von vielen großen, sehr renommierten Zeitschriften über eine gewisse Zeit versucht worden ist zu installieren ... ohne großen Erfolg! Man kann es sich auch so erklären: Das Interesse von Wissenschaftlern, zusätzlich jetzt noch mal sich die Gutachten durchzulesen und den Text, um dann zu sagen, beides ist nicht so toll, ist begrenzt."

Wissenschaft machen, statt Reputation aufbauen und Karrieren planen

Günter Ziegler: "Es ist üblich in der Mathematik, dass sehr viele der Aufsätze auf dem Preprint-Server zugänglich sind, und zwar auf dem 'Archive'."

Erläutert Günter M. Ziegler von der FU Berlin eine andere, in manchen Disziplinen weit verbreitete, aber offenkundig etwas paradoxe Art wissenschaftlicher Transparenz.

Günter Ziegler: "Das ist ein Preprint-Server, der jetzt an der Cornell-University liegt, und wo vielleicht 60 bis 80 Prozent der Mathematikaufsätze eigentlich in Preprint-Versionen dort abgeladen werden, mit einer minimalen bis keiner Qualitätsprüfung. Das heißt, da liegt auch sehr vieles, was für den Experten allemal offensichtlich Unsinn ist! Aber es ist damit zugreifbar, eben auch mit Zeitstempel für die Einreichung und so weiter. Und die Preprints werden ja gelesen und werden da von der engeren Fachcommunity eben auch begutachtet, und das ist sozusagen der Fortschritt der Wissenschaft!"

Paradox erscheint das, weil das wissenschaftliche Kommunikationsbedürfnis ja schon durch diese "Veröffentlichung vor der Veröffentlichung" zu seinem Recht kommt, und es vorderhand nicht ganz einsichtig wird, was dann die nachgeschobene, "eigentliche" Veröffentlichung noch für einen Mehrwert haben soll. Die neuen Ideen sind auf diese Weise jedenfalls schon lange in der Welt, zugänglich und diskutierbar. Aber sie sind – streng akademisch gesehen – nicht wirklich vorhanden. Das führt bisweilen zu Skurrilitäten, wie sie der Mathematikprofessor selbst seit geraumer Zeit erlebt:

Günter Ziegler: "Da verzweifel ich im Moment gerade mit einem Aufsatz, auf den ich sehr stolz bin, und den ich deswegen eingereicht hab bei bisher der besten Mathematikzeitschrift der Welt, den 'Annals of Mathematics' in Princton. Und wo mein Aufsatz jetzt eben drei Jahre und sieben Monate in der Begutachtung ist inzwischen. Das ist natürlich inakzeptabel! Weil natürlich dieser Aufsatz, inzwischen natürlich sehr oft zitiert worden ist aus der Preprint-Version."

Tatsächlich ist der hochdekorierte Leibnizpreisträger Günter M. Ziegler nicht mehr ganz so wie ein Berufsanfänger auf den versteckten – viele sagen auch: eigentlichen – Mehrwert einer Veröffentlichung in den "Annals of Mathematics" angewiesen; er steht schon oben in Karrierehierarchie seines Faches. Jüngere Wissenschaftler dagegen benötigen die Reputation dringend, die ein Abdruck in einer peer-reviewten Zeitschrift mit strengsten Auslesekriterien verleiht. Und das lernen sie früh:

Karsten Schuldt: "Bevor ich meine jetzige Stelle angefangen hab, hab ich zwei Jahre lang an der Humboldt-Universität in der Bildungsforschung gearbeitet. Und da ist mir das aufgefallen, dass vor allem junge Wissenschaftlerinnen und Wissenschaftler direkt in Kurse geschickt wurden: Wie publiziert man, damit man Reputation aufbaut?"

"Was in einer anderen als der englischen Sprache publiziert ist – forget it. Was in einer anderen Textsorte als der eines Zeitschriftenaufsatzes publiziert ist – forget it. Was nicht in einer der angesehenen Zeitschriften x,y,z publiziert ist – forget it. Was vor mehr als ca. fünf Jahren publiziert ist – forget it."

Verspottete schon in den 90er-Jahren der Linguist Harald Weinrich die Leitlinien akademischen Erfolgsstrebens.

Karsten Schuldt: "Ich fand das immer so ein bisschen komisch, weil für mich Wissenschaftskommunikation nicht heißt, Reputation aufbauen und Karrieren planen, sondern Wissenschaft zu machen! Für mich ist Wissenschaft immer noch: Man will was über die Welt rausfinden, und man will die Welt besser machen! Und ich habe das erlebt, wie Leute dann einfach auch rumliefen und darüber diskutiert haben, wo sie einen Text, den sie schon fertig haben, jetzt einreichen? Also nicht irgendwas zu sagen hatten und was aufschrieben, sondern tatsächlich guckten: Wo reiche ich das ein, um mehr Reputation zu kriegen? Und dass das in Strategiesitzungen dann auch einfach diskutiert wurde!"

Gewissenhaftigkeit verbürgt die Gewissheit nicht

Wie kritisch man auch immer das Peer-Review-Verfahren betrachtet – sein Nutzwert als Werkzeug im Reputationsmanagement lässt sich nicht bestreiten. Wer den Filter des Systems oft genug passiert hat, wird häufiger zitiert, zu Kongressen geladen, auf Lehrstühle berufen. Das dient nicht gerade idealistischen Zielen, strukturiert den komplizierten Forschungsbetrieb aber auf legitime Weise. Die Frage bleibt freilich, ob denn ausschließlich Spitzenleistungen durch den Filter kommen? Forschungsarbeiten und Förderanträge, die nicht bloß akademischen Mainstream hervorbringen, sondern ein Fach insgesamt bereichern

Stefan Hornborstel: "Wenn man sich die Ergebnisse des Peer-Review-Verfahrens anguckt, kann man sicherlich sagen: Peers sind in der Regel sehr gut, das obere Stratum von Manuskripten oder Förderanträgen zu identifizieren. Sie sind auch relativ gut, das untere Stratum zu identifizieren. All die Probleme, die auftauchen, über die wir reden, bewegen sich im Mittelfeld. Da wird es sehr schwer, wirkliche Differenzen im Peer Review handfest und belegbar zu machen."

Schildert Stefan Hornborstel vom DFG-Institut für Forschungsinformation und Qualitätssicherung den aus vielen Studien bekannten Status Quo. Dann schlägt er etwas Überraschendes vor:

Stefan Hornborstel: "Insofern gibt's eine Alternative, die hört sich zunächst mal komisch an, aber über die man ernsthaft nachdenken sollte: Ob nicht genau in diesem mittleren Bereich die Entscheidungsprozesse vielleicht ganz anders laufen sollten? Man kann da durchaus eine Lotterie veranstalten, genau mit der Idee im Hintergrund: Vielleicht gibt's da den einen oder anderen innovativen Gedanken? Der ist umstritten und kann nicht ganz genau eingeordnet werden. Warum soll man nicht ein Stück weit auch mal den Zufall walten lassen?"

Katja Mruck: "Aaah, ich würde das nicht wollen!"

Günter Ziegler: "Ich mein, die meisten von uns sind natürlich irgendwo im Mittelfeld. Und die brauchen erst recht eine Beurteilung und eine Qualitätskontrolle, die dann eben auch die sehr guten und die guten und die durchschnittlichen Sachen eben voneinander trennt, und ich glaube, da ist es dann besonders wichtig!"

Katja Mruck: "Das ist ja die Frage der Perspektive einer Person, die sagt: 'Das ist jetzt das obere Feld und das ist das untere Feld, und das ist das Mittelfeld!' Und es gibt auch eher so Standardprojekte, das ist nicht weltbewegend. Aber im Grunde würde das irgendwann heißen, dass das Nichtweltbewegende verschlechtert würde. Und ich würde auch nicht mögen, das Mittelfeld zu verlieren!"

"Wissenschaftlichkeit ist ein Gütesiegel nur für die Sorgfalt des Herstellers, nicht für die Eigenschaften des Werkes."

Mahnte schon in den 80er-Jahren der Historiker Alexander Demandt.

"Auch höchste Gewissenhaftigkeit verbürgt die Gewissheit nicht."

Sorgfalt lässt sich den Anwendern des Peer-Review-Verfahrens kaum absprechen. Gewissheiten gewinnen sie allerdings damit auch keine.

 

Mehr zum Thema:

Sapienza ohne Papst
(Deutschlandfunk, Campus & Karriere, 16.01.2008)

Eleganter Unsinn. Wie die Denker der Postmoderne die Wissenschaften mißbrauchen
(Deutschlandfunk, Büchermarkt, 18.01.2000)

Zeitfragen

SelbststeuerungDie Auto-Autos kommen
Der Straßenverkehr steht vor einem Umbruch - mit Selbststeuerung.  (picture alliance / dpa / Julian Stratenschulte)

Fahrzeuge handeln immer selbstständiger - mit Folgen für Fahrer, Umwelt und Gesellschaft. Der Straßenverkehr steht vor einem Umbruch. Nun wird versucht, die kleinen und großen Unwägbarkeiten dieses Wandels vorauszuahnen.Mehr

weitere Beiträge

Das könnte sie auch interessieren

Entdecken Sie Deutschlandradio Kultur