Objetivos y principios generales

La calidad de las publicaciones depende de la evaluación que realizan los expertos o pares. El proceso denominado sistema de revisión por expertos o pares (o peer review, en inglés) consiste en que dos o más revisores leen y analizan los artículos para determinar tanto la validez de las ideas y los resultados como su impacto potencial en el mundo de la ciencia. La elección de evaluadores es una de las atribuciones tradicionales de los editores de las revistas académicas. Se buscan entre los investigadores con más prestigio en las diferentes disciplinas.
Los evaluadores no siempre reciben reconocimiento económico, aunque sí cierto prestigio y acceso privilegiado a información.

Este sistema de evaluación no es aceptado por toda la comunidad científica, De hecho se han hecho numerosos estudios en los que se detectan inconsistencias, sesgos positivos en la evaluación, etc. Sin embargo es el sistema más utilizado ya que existen alternativas consolidadas

Fiabilidad y validez de la revisión por expertos

La fiabilidad del procedimiento de la revisión de expertos se ha estudiado evaluando la consistencia de juicios emitidos por un revisor determinado sobre un mismo artículo en ocasiones sucesivas o la consistencia de los juicios emitidos por diversos referees sobre un mismo original. Varios estudios han puesto de manifiesto que en ocasiones, presenta baja fiabilidad y ninguna consistencia. Se han detectado rechazos incorrectos, incluso entre premios nobel. Para solventar este problema, se exige a los evaluadores que sus juicios se reflejen en formularios y expliquen las razones que motiven tanto la aceptación como el rechazo de los artículos.

Otro de los problemas que se detectan en el proceso de evaluación, es en general el rechazo por parte de los evaluadores para aceptar trabajos que desarrollen nuevas teorías y descubrimientos que chocan contra las ideas dominantes u opiniones de los evaluadores. En algunas revistas se ha creado la figura del Defensor del autor, papel representado por un profesional de acreditado prestigio. Las reclamaciones de los autores, no se enviarán nunca a la persona que represente el cargo de Defensor del autor., sino a través de la revista, aportando la demanda debidamente razonada.

Ejemplo: http://www.revneurol.com/normas.html

A continuación se presenta las principales tendencias que se dan en la evaluación por pares:

• Resistencia a publicar trabajos que simplemente reproducen resultados anteriores.
  
• Mayor porcentaje de rechazo en ciencias sociales y humanas.
  
• Trato preferente a investigadores con prestigio
  
• Trato preferente a trabajos de la nacionalidad de la propia revista
  
• Trato preferente por temas de interés económico, conflicto de intereses, etc..
  
• Parcialidad cuando existen conexiones entre editores, autores y revisores para aumentar su posición de poder en determinados campos o disciplinas

Propuestas alternativas o complementarias al sistema de revisión por pares

• Bases de datos en las que se registren los trabajos que han dado resultados negativos en los procesos de evaluación. En este tema Internet, puede jugar un gran papel.
  
• Revisión abierta: conocimiento de los nombres de los evaluadores. Se supone que impone una mayor responsabilidad al evaluador, aunque también produce temor a posibles represalias.
  
• Sistema de doble ciego: que preserva anonimato del evaluador y del autor, aunque a veces es difícil disimular la identidad del autor.
  
• Propuestas más radicales como la eliminación de revisores, y que sea la comunidad científica en su totalidad la que actúe como un gigantesco jurado.
  
• Propuestas como el Metajournal o Recurso Central con el objetivo de que sean las revistas las que compitan por el mejor artículo buscándolo en una base de datos organizada temáticamente. Beneficia a las pequeñas revistas e incrementa la rapidez del sistema
  
• En este sentido existen experimentos en línea con eprints que han demostrado que se acelera el proceso editorial y que incluso se obtiene mayor visibilidad para los artículos.