Ese es el título de un artículo de David Parnas en el número de noviembre de 2007 (vol.50, no.11) de Communications of ACM.

Lo que aquí escribo pretende ser una breve interpretación a mi manera de lo que él dice en su artículo. Ni estoy copiando 100% su artículo (es decir, que me he tomado mis libertades), ni estoy dando mi opinión sobre el tema. Para una idea concreta de lo que él dice recomiendo leer su artículo mejor que lo que yo escribo.

Apenas tres páginas en las que critica el actual modelo de cienciometría (scientometric, ¿se traduce así?), modelo que da lugar a unos investigadores que se dedican a lo superficial, más preocupados en el número de lo que publican que en la calidad –según Parnas.

Precisamente en torno a este binomio cantidad-calidad gira su crítica.

A la hora de elegir un científico para un puesto de trabajo, o para un comité, por citar dos ejemplos, en la mayor parte de los sitios (dentro y fuera de España) se presta más atención al número de publicaciones que a la calidad de cada una de esas publicaciones.

De hecho, rara vez se leen las publicaciones para examinar su calidad, o al menos verificar que no tenemos las mismas ideas publicadas bajo dos títulos distintos en dos artículos diferentes (diferentes en forma, que no en contenido).

Examinar la calidad es algo complicado. No vale cualquiera, sino que el artículo lo tiene que examinar alguien capacitado, y en ciertas áreas muy estrechas puede ser difícil encontrar a alguien.

Para Parnas este modelo de medir la calidad del trabajo de un científico conlleva varios problemas:

1. Favorece una investigación superficial, evita perder tiempo en profundizar –o incluso en verificar la correctitud de lo que publicamos– para rápidamente pasar a explotar otra idea. Pone en desventaja a los investigadores que sí van más allá y que presentan ideas más maduradas.
2. Favorece la redundancia de información: muchos artículos publicados que al final vienen a contar lo mismo y casi no aportan novedades unos sobre otros.

Obviamente, este modelo de evaluación tiene sus ventajas: es rápido de realizar y lo puede realizar cualquiera. Es barato.

Una forma de atenuar tales males es clasificar las revistas en clases: revistas de primera, de segunda, tercera fila, etc. Y de manera ideal, sólo los buenos artículos alcanzan las clases altas. Contamos cuántos artículos de un investigador son 1ª, o de 2ª, etc., y en base a eso nos hacemos una idea de su calidad.

En la práctica resulta que los comités científicos de las revistas adolecen de los mismos problemas señalados más arriba: es más fácil contar artículos (cosa que puede hacer un ordenador), que encontrar gente capacitada que se lea 50 artículos para evaluar a sólo un autor.

Si un científico tiene a su cargo a 20 estudiantes, y simplemente les firma el artículo a esos 20 estudiantes sin esforzarse en que los artículos estén bien pulidos, probablemente la calidad científica deje mucho que desear. Sin embargo, a largo plazo ese científico va a tener más artículos publicados (y potencialmente más citas) que aquel científico que sólo tiene 5 estudiantes a su cargo y se preocupa por que las publicaciones estén un poco más elaboradas.

Dado que normalmente tiene más peso el número de publicaciones que la calidad de éstas, ese científico de los 20 alumnos probablemente llegue a tener más artículos publicados en revistas de 1ª o 2ª línea que el otro. Lo que le lleva a su vez a aumentar su peso, y ampliar las diferencias entre los que firman-y-pulen frente a los que sólo-firman, a favor de los primeros –cuando resulta que los segundos son los que más (o mejor) aportan.

Aparecer en una revista de 1ª no es necesariamente sinónimo de ser muy bueno. Aparecer en una de n-ésima tampoco creo que sea sinónimo de ser muy malo.

Otro método utilizado es utilizar el número de citas que reciben los artículos del científico en evaluación. Según Parnas, esto también se presta a errores. Hay quien cita papers que no se ha leído, o papers que no tienen nada que ver pero cuyo título suena bien.

Parnas describe en su artículo varios métodos de los que se hace uso para publicar gran volumen con poco trabajo.
Para él es necesario una evaluación hecha por expertos “a mano”, sin automatismos (baremos, p.ej.) ni nada que evite leerse los papers.

Apunta por último que la situación actual, aparte de ser perjudicial para el avance de las ciencias de la computación, tiende a perpetuarse, ya que los mismos que dirigen el cotarro han llegado ahí gracias al actual sistema, por lo que pretenderán mantenerlo.