Peer-Review

Related Topics:
Peer-Reviewed_Journals

Peer-Review (dt. etwa kollegiale Überprüfung) bezeichnet ein Verfahren zur Beurteilung von wissenschaftlichen Arbeiten im Wissenschaftsbetrieb oder Projekten in Unternehmen durch unabhängige Gutachter, die sogenannten „Peers“ (engl. für Ebenbürtige; Gleichrangige) mit dem Ziel der Qualitätssicherung.

Akademisch-wissenschaftlicher Bereich

Definition

Im akademisch-wissenschaftlichen Bereich sind Peer-Reviews von Zeitschriftenartikeln üblich, bei denen der zur Veröffentlichung vorgesehene Artikel durch einen oder mehrere Experten des entsprechenden Gebietes bewertet werden. Üblicherweise schickt der Autor seinen Artikel an einen Verantwortlichen (z. B. den Herausgeber der Zeitschrift). Dieser wählt ein bis drei anonyme Gutachter, die entscheiden, ob der Artikel in der gegebenen Form veröffentlicht werden soll, bzw. Verbesserungsvorschläge machen. Diese Experten dürfen beim Peer-Review nicht aus dem Umfeld des Autors stammen. Die Unabhängigkeit des Gutachters vom zu bewertenden Objekt ist das wesentliche Kriterium eines Peer-Reviews. Anonymität des Gutachters ist dagegen nicht erforderlich, aber oftmals gegeben. In einem weiteren Sinn wird Peer-Review auch für andere wissenschaftliche Publikationsformen verwendet. Die Tätigkeit der Gutachter wird meistens freiwillig und unentgeltlich erbracht.

Die Anonymität dient dazu, dem Gutachter das Äußern von Kritik und den Verweis auf Mängel der Publikation zu ermöglichen, ohne dass er/sie die Revanche des enttäuschten (und möglicherweise hierarchisch oder an Reputation und Einfluss höher stehenden) Autors fürchten muss. So soll eine gründliche und unvoreingenommene Überprüfung ohne Ansehen der Person des Autors gesichert und letztlich ein höheres Niveau an wissenschaftlicher Qualitätssicherung erreicht werden.

Das Prinzip der Anonymität des Gutachters ist jedoch nicht unumstritten. Vereinzelt wird kritisiert, dass es ein überzogenes, destruktives Kritisieren begünstige. Etablierte Stars eines Teilgebiets der Wissenschaft könnten durch unfundiert-abwertende Gutachten das Eindringen von Konkurrenten in ihre „Nische“ verhindern, und müssten sich dank der Anonymität dafür nicht namentlich rechtfertigen. Die Anonymität der Gutachter fördere so das "Revierverhalten" und behindere einen effizienten Qualitäts-Wettbewerb.

Die Anonymität des Gutachters kann jedoch ebenso zu Beurteilungen führen, die aus Zeitmangel oder ungenügendem Interesse oder Wissen nicht gewissenhaft genug erstellt wurden. So kann ein schlechter Artikel durch das Begutachtungsverfahren rutschen, ohne dass der Gutachter um seinen guten Ruf in der Wissenschaftsgemeinde fürchten muss.

Teilweise wird auch der zu begutachtende Artikel anonymisiert, um einer möglichen Voreingenommenheit des Gutachters zu begegnen („double blind“-Verfahren). Die Autoren werden gebeten im Text Passagen zu vermeiden, die der Anonymität zuwiderlaufen könnten (z.B. Selbstzitierungen in der ersten Person). In vielen Fällen können jedoch anhand der Referenzen, der experimentellen Möglichkeiten etc. die Autoren trotzdem erraten werden, zumal wenn das betreffende Spezialgebiet von einer überschaubaren Anzahl von Leuten weltweit betrieben wird. Daher und aus anderen Gründen wird vielfach auf die Verdeckung der Autorennamen verzichtet.

Das Peer-Review ist im Allgemeinen keine Methode, um Fälschungen oder in betrügerischer Absicht gemachte Experimente aufzudecken. Der Gutachter muss auf den guten Willen und die Angaben des Autors vertrauen. Er kann nur die Relevanz und Aktualität der Fragestellung, die Seriosität und Originalität des Lösungsansatzes und die Plausibilität der Resultate im Kontext überprüfen und auf methodische Fehler hinweisen.

Der Sinn der Begutachtung liegt nicht vornehmlich in der Erhöhung der Qualität eines eingereichten Artikels. Der Gutachter wird auf offensichtlichte Defizite oder Verbesserungmöglichkeiten hinweisen, aber nicht nach Rechtschreibfehlern oder sprachlichen Unzulänglichkeiten suchen. Selbst wenn Schlußfolgerungen, Ableitungen etc. ohne zusätzliches Wissen oder Datenmaterial nachvollziehbar sind, ist es nicht die Aufgabe des Gutachters, deren Korrektheit oder Konsistenz im Detail zu überprüfen.

Kritik

Dieses Verfahren wird überwiegend aus zwei Gründen kritisiert:

Es dauert oft zu lange, meist etliche Monate. In manchen Bereichen können gar leicht zwei oder mehr Jahre vergehen, bis ein Fachartikel erscheint.
Es ist möglich, dass abweichende Forschungsansätze negativ beurteilt werden, wenn das Fachgebiet von einigen Experten dominiert wird, die neue abweichende Meinungen unterdrücken.

Eine Studie (Ioannidis 2005) über das Peer-Preview-Model in medizinischen Veröffentlichungen hat ergeben, dass in fast einem Drittel der Studien zwischen 1990 und 2003, die nach einer Begutachtung veröffentlicht wurden, entweder die Resultate übertrieben worden waren, oder später als widersprüchlich erkannt wurden. Von den untersuchten Artikeln wurden 16% nicht zugestimmt und weitere 16% wurden in Folgestudien nicht bestätigt. Ioannidis räumte ein, dass viele Faktoren, wie andere oder bessere Versuchsanordnungen der zu wiederholenden Untersuchungen, die Unstimmigkeiten begünstigt haben könnten. Der Prozess des Reviews ist unter den 10.000 medizinischen Zeitschriften weltweit nicht standardisiert. Die Ergebnisse der Studie ließen Zweifel an der Zuverlässigkeit des Peer-Review aufkommen. Die in der Regel externen und nicht bezahlten Gutachter bewerten die Stichhaltigkeit des Artikels, ihre Kommentare und Identität werden jedoch vertraulich gehalten. Einige Herausgeber befürworteten daraufhin die Gutachter öffentlich beim Namen zu nennen und zu bezahlen, andere versichern hingegen, dass das aktuelle Peer-Preview-Modell die Veröffentlichung vor fehlerhaften Details und unsicheren medizinischen Anweisungen bewahrt.

Alternativen

In Zusammenhang mit der Zeitschriftenkrise und dem elektronischen Publizieren entwickeln sich neue Qualitätssicherungsverfahren. Ein Pionier auf diesem Gebiet ist Stevan Harnad. Seine Vorschläge, die etwas an ein Wiki erinnern, haben sich jedoch noch nicht durchgesetzt, bzw. es sind kaum Erfahrungswerte darüber bekannt.

Im Jahr 2006 startete eine Wissenschafter-Gruppe aus Großbritannien das Online-Journal Philica, bei dem sie die Probleme des traditionellen Peer Review zu lösen versuchten. Anders als sonst üblich werden alle eingereichten Artikel zuerst publiziert, und der Open-Peer-Review-Prozeß startet erst danach. Die Gutachter werden dabei nicht von den Herausgebern ausgesucht, sondern jeder Forscher, der das möchte, kann den Artikel kritisieren. Der Gutachter bleibt dabei anonym. Die Gutachten werden am Ende jedes Artikels angehängt, und geben dem Leser so eine Einschätzung der Qualität der Arbeit. Der Vorteil dieses Systems ist, das auch unorthodoxe Forschungsansätze publiziert werden, und nicht, wie im klassischen Peer-Review, von etablierten Experten unterdrückt werden können.

Ein ähnliches Projekt ist Dynamic Peer Review der Webseite Naboj. Der Unterschied zu Philica besteht darin, dass Naboj kein vollständiges Online-Journal ist, sondern ein Forum für Gutachten von Preprint-Artikel der Seite arXiv.org. Das System ist dem Beurteilungssystem von Amazon.com nachempfunden, und bietet den Benutzern die Möglichkeit, sowohl die Artikel, als auch die einzelnen Reviews zu bewerten. Dadurch bietet das System den Vorteil (bei einer genügend großen Zahl von Benutzern und Gutachter), das die Qualität demokratisch beurteilt wird.

Im Juni 2006 begann Nature mit einem Versuch namens parallel open peer review. Einige Artikel, die für einen traditionellen Review-Prozeß eingereicht werden, werden parallel dazu auch öffentlich zugängig gemacht, um kommentiert zu werden.

Qualitätssicherung in Unternehmen

Unternehmen setzen Peer-Reviews zur Qualitätssicherung ein. So führen Unternehmen, die im Bereich Wirtschaftsprüfung oder Beratung tätig sind, so genannte Peer-Reviews durch. Dabei wird ein Projekt (Wirtschaftsprüfung oder Beratungsprojekt) eines Unternehmens durch einen Experten oder ein Expertenteam eines anderen Unternehmens der gleichen Branche anhand von Projektunterlagen und Arbeitspapieren überprüft. Diese geben dann in einem Gutachten eine Bewertung über die Güte des Projektes ab. Durch die Wahl eines Fremdunternehmens als Prüfer wird die Unabhängigkeit von Prüfer und Prüfling in hohem Maße sichergestellt. Damit erhält das Peer Review bei Unternehmen in der Qualitätssicherung mehr Gewicht als z. B. ein Inter-Office-Review Gutachter einer anderen Niederlassung) oder Local-Office-Review (Gutachter der gleichen Niederlassung).

Für Wirtschaftsprüfer und Wirtschaftsprüfungsgesellschaften ist eine regelmäßige externe Qualitätskontrolle (Peer-Review) inzwischen gesetzlich vorgeschrieben. Derzeit muss der Peer-Review alle 3 Jahre durchgeführt werden. Bis zum 31. Dezember 2005 musste eine erstmalige externe Qualitätskontrolle erfolgen.

Rehabilitation der gesetzlichen Rentenversicherung

Das Peer-Review-Verfahren wird im Rahmen des Qualitätssicherungsprogrammes der gesetzlichen Rentenversicherung durchgeführt. Zielsetzung ist die Sicherung der Prozessqualität in den von der gesetzlichen Rentenversicherung belegten Rehabilitationseinrichtungen. Hierbei wird ein durch wissenschaftliche Untersuchungen belegter Zusammenhang zwischen Prozessqualität während der Rehabilitation und der Qualität der medizinischen Entlassunsberichte zu Grunde gelegt. Konkret bedeutet das Peer-Review-Verfahren, dass Chefärzte und Leitende Oberärzte mit langjähriger Erfahrung im Bereich der Rehabilitationsmedizin und Zusatzkenntnissen im Bereich der Sozialmedizin ("Peers") nach dem Zufallsprinzip ausgewählte, anonymisierte medizinische Entlassungsberichte anderer Rehabilitationseinrichtungen (zumeist 20-25 pro Durchgang) nach bestimmten, vorher definierten Kriterien beurteilen. Beurteilt werden sechs für den Rehabilitationsprozess wichtige Teilkategorien (Anamnese, Diagnostik, Therapieziele und Therapie, Klinische Epikrise, Sozialmedizinische Epikrise sowie Weiterführende Maßnahmen und Nachsorge) nach dem Vorhandensein von Mängeln (keine Mängel, leichte Mängel, deutliche Mängel, gravierende Mängel) sowie mit einer zu vergebenden Punktzahl (10 Punkte = sehr gut, 0 Punkte = sehr schlecht). Aus den zusammenfassenden Bewertungen der Teilbereiche ergibt sich die zusammenfassende Bewertung des gesamten Rehabilitationsprozesses. Das Peer-Review-Verfahren findet sowohl in den somatischen Indikationsbereichen (Gastroenterologie, Kardiologie, Neurologie, Onkologie, Orthopädie / Rheumatologie, Pneumologie, Dermatologie) als auch für psychosomatische Erkrankungen und Abhängigkeitserkrankungen statt und wird einmal alle 1 bis 2 Jahre auf Veranlassung der Deutschen Rentenversicherung Bund durchgeführt.

Siehe auch

Literatur

Ann C. Weller: Editorial Peer Review: Its Strengths and Weaknesses. asis&t, 2001, ISBN 1-57387-100-1 (Übersicht von Studien über das Peer-Review-System aus verschiedenen Fachbereichen von 1945-1997)
Sietmann, Richard: Der schwierige Abschied von Gutenberg. ^* ursprüngliche Langfassung in: Zirkelspiele, c't, Nr. 21, 1999
Gold, Thomas (1989): New Ideas in Science, Journal of Scientific Exploration 3 (2), 103 – 112. ^*
Anstelle konformitätsfördernder Anonymität von Spezialisten zur Begutachtung fordert Gold einen "science court" mit Wissenschaftlern aus unterschiedlichen Fachgebieten von einer Fakultät.
John P. A. Ioannidis, Contradicted and Initially Stronger Effects in Highly Cited Clinical Research, The Jornal of the American Medical Association, 2005;294:218-228., Abstract
Gerhard Fröhlich, “Informed Peer Review” - Ausgleich der Fehler und Verzerrungen? (PDF), Erscheint in: Von der Qualitätssicherung der Lehre zur Qualitätsentwicklung als Prinzip der Hochschulsteuerung., Bonn : HRK (Hochschulrektorenkonferenz), 2006, S. 193-204.
Heinrich Zankl: Fälscher, Schwindler, Scharlatane : Betrug in Forschung und Wissenschaft, Schriftenreihe: Erlebnis Wissenschaft bei Wiley-VCH, Weinheim : Wiley-VCH, 2003, ISBN 3-527-30710-9
Science between Evalutation and Innovation: A Conference on Peer Review. Max-Planck-Forum 6, München 2003. Dokumentation einer Tagung der Max-Planck-Gesellschaft und der Deutschen Forschungsgemeinschaft.

Weblinks

Hartmann, Frank: Akademische OpenCulture oder globales Wissensbusiness, in: Telepolis, 10. Mai 2001 (^*)
Gerhard Fröhlich: Gegen-Evaluation: Peer Review und Szientometrie im Kreuzfeuer theoretisch-empirischer Wissenschaftsforschung (Vortrag)
Zylka-Menhorn, Vera: Forschungsbetrug: Fachjournale in der Kritik, Deutsches Ärzteblatt 103, Ausgabe 5 vom 03.02.2006, Seite A-234 / B-203 / C-199
Deutsche Rentenversicherung Bund: ^* Zusammenfassender Ergebnisbericht Peer-Review 2003/2004
Eine Diskussion wissenschaftlicher Peer Review-Systeme findet man unter: Nature's peer review debate.

Wissenschaftspraxis

Gourt Home::Gourt :: Peer-Review