1. Introducción
Durante estos procesos, es frecuente que nos encontremos con problemas como los siguientes:
- El mal uso que algunos evaluadores hacen del poder que ofrece el anonimato.
- La discriminación y hasta racismo que ejercen algunas revistas prestigiosas contra algunos autores que trabajan en espacios o países periféricos.
- Las actitudes negligentes de editores que no atienden la comunicación con los y las autoras de manera razonable.
- Las evaluaciones que no se ciñen a los objetivos y problemas que aborda el artículo que enviamos y que terminan por exigir un artículo completamente distinto.
- La escritura críptica de algunas evaluaciones que no expresan con claridad sus argumentos, observaciones y sugerencias.
A esta lista de problemas habría que señalar también algunas contradicciones del sistema académico de evaluación. Si la evaluación por pares anónimos es tan importante como se nos dice, entonces podríamos preguntarnos por qué no tiene apenas valor en la evaluación cuantitativa de nuestro desempeño académico que realizan los centros para los cuales trabajamos o los organismos de gestión de trabajo académico de nuestro país o región. Es sintomático que no se enseñe a estudiantes de posgrado la técnica y ética de este tipo de evaluaciones y que las revistas académicas no coordinen y consensuen sus protocolos y procesos de evaluación. Por último, no deja de ser paradójico qué si bien nos quejamos tanto de ese sistema y sus vicios, no dediquemos apenas tiempo a proponer mejoras, códigos deontológicos y compartir y consensuar buenas prácticas en su aplicación entre nuestras comunidades de investigación.
Como investigador activo me han evaluado cientos de veces y he evaluado otras tantas. Además, como miembro de consejos de varias revistas y antiguo editor principal de alguna de ellas, me ha tocado observar, proponer y gestionar muchas estrategias para optimizar este tipo de trabajo y, sobre todo, para intentar hacerlo de la manera más justa posible. Con el objetivo de colaborar al debate y a la promoción de buenas prácticas en este tema, comparto a continuación algunas de las estrategias que sigo como autor evaluado o como árbitro evaluador dentro de un proceso editorial. Pero antes hay que atender el siguiente…
2. Principio general
La responsabilidad última de la publicación de un artículo académico es de la revista y su equipo editorial. No es de quien realiza el arbitraje o evaluación externa. Éste emite una opinión profesional que sólo alguien que investiga profesionalmente sobre ese mismo tema es capaz de hacer. La decisión final de la suerte del texto siempre es de la publicación. De este modo, el dictamen del arbitraje externo está dirigido a la revista, no a el o la autora del artículo.
3. Gestión de la evaluación de
pares anónimos como autor
Como autor, de un arbitraje deseo fervientemente dos cosas: 1) que colabore a que mi texto mejore en todos los aspectos, desde los contenidos hasta en su comunicación, y 2) que las correcciones no destruyan masivamente mi discurso, me hagan dar marcha atrás en aspectos fundamentales de mis argumentos y que me obligue a rehacer una parte importante de la investigación condenándome a inhumanas horas extras de trabajo. En el proceso de revisión, el arte consiste, para mí, en negociar entre estos dos principios. Comparto ahora algunas estrategias con las que gestiono este proceso.
Los editores elegantes no envían el dictamen a los y las autoras tal y como lo recibieron del arbitraje externo: éste es para ellos. En su lugar, se ocupan de hacer un resumen donde destacan algunas instrucciones precisas que se han de seguir para mejorar el texto. En éste suelen agregan otras observaciones realizadas por el mismo equipo editorial. Desafortunadamente eso casi nunca ocurre. Por lo regular, se nos envía el dictamen original que en muchas ocasiones propina bastantes desafíos hermenéuticos: es muy difícil de entender y traducir en acciones prácticas de corrección.
Como la revista es la última responsable de lo que publica, es necesario ajustar criterios con ella y pactar qué es exactamente lo que ha señalado y desea de nosotros la evaluación. Por ello, lo primero que hago es enviar a la persona editora con la que estoy en contacto, una lista numerada con cada uno de los requerimientos y correcciones que, a mi entender, demanda el árbitro en su informe. Me esmero en que mi lista se exprese en frases cortas, simples y claras.
Una vez enviada, el editor suele precisar mi lista pues con alguna frecuencia me dejo fuera alguna observación o minimizo alguna petición importante. Lo relevante de este proceso es que la revista y el autor estén de acuerdo en los puntos nodales de la evaluación y compartan un mismo diagnóstico.
3.2. Pactar las correcciones
Una vez pactado el diagnóstico, envío otra lista detallando exactamente cada una de las acciones que voy a tomar para atender los puntos de la lista anterior. Por ejemplo:
1) El autor no menciona determinados trabajos.
Corrección: en tal sección haré una referencia a esos trabajos y explicaré por
qué no los he considerado en la argumentación principal del artículo.
2) La estructura del trabajo es defectuosa y no se define bien su
objetivo en la introducción.
Corrección: cambiaré el orden de las secciones [precisar cuáles y cómo] y
enumeraré los objetivos principales en la introducción.
3) No define ni ofrece referencias para algunos términos y conceptos.
Corrección: en la primera aparición de cada uno de esos términos haré una nota
al pie con su definición y referencias a sus autores.
Una vez que el editor me confirma, corrige o precisa esta lista, me pongo manos a la obra: nunca antes.
3.3. Aplicar las correcciones
Algunos consejos para el momento de trabajar en las correcciones:
3.3.1. Precisión exquisita de lenguaje
Si el árbitro pide “mencionar” yo menciono; si pide “analizar” yo analizo; si pide “considerar” yo considero… pero tomo en cuenta que “considerar” no necesariamente implica “mencionar” o “explicar”. Hay que trabajar exactamente en lo que se nos exige evitando sobre-interpretar las intenciones arbitrales.
3.3.2. Bibliografía recomendada
En muchas ocasiones los evaluadores nos piden incluir bibliografía y autores que no tomamos en cuenta en el manuscrito enviado. A veces se trata de olvidos involuntarios cuyo señalamiento siempre se agradece. En otros casos puede ser que no los consideremos relevantes para nuestra argumentación. Sin embargo, es comprensible que a cierta comunidad de usurarios potenciales de nuestro texto les parezca importante relacionar nuestro discurso con ese campo bibliográfico. En estas dos circunstancias el olvido se salda fácilmente con un par de notas al pie de página donde se menciones esas referencias explicando su ausencia en la argumentación principal. Podemos prometer un estudio a profundidad de esa bibliografía en un trabajo posterior o explicar sin complejos que hemos decidido dejarla fuera porque no la consideramos relevante para nuestra investigación pero dejamos constancia de este diferendo y que quien lea nuestro artículo que realice sus propias valoraciones.
Sin embargo, en determinado momento podemos sentir que el evaluador se está aprovechando de su posición para imponernos citas a trabajos propios o de su entorno. En este caso hay que compartir esta percepción con el o la responsable editorial de la revista con quien estamos en contacto. Si lo ve del mismo modo es posible que nos libere de cualquier acción correctora. Ahora bien, si en el dictamen aparece la exigencia de mencionarlos y el editor quiere que nos apeguemos a la evaluación, tenemos varias opciones. Una de ellas es retirar nuestro texto de la revista para no participar de esa injusticia y llevarlo a un medio más respetable. Otra posibilidad, la que suelo frecuentar, es abrir una nota al pie en un lugar intrascendente, mencionar esa bibliografía sin ofrecer muchas explicaciones y “agradecer” ese “aporte” a quien quiera que haya hecho la evaluación anónima.[1]
3.3.3. La evaluación desea otro artículo
Cuando en la evaluación se nos reclama por informaciones, análisis y argumentaciones que consideramos que no están relacionadas directamente con los objetivos que nuestro trabajo pretende alcanzar, debemos comunicárselo a la persona encargada de la edición de nuestro texto y llegar a un acuerdo. Estas observaciones deberían de desaparecer o bien de ocupar lugares muy marginales del primer listado que envío para pactar el dictamen (ver sección 3.1).
4.1. Características del texto a
evaluar
Todas las revistas serias exigen un mínimo de calidad a los manuscritos que reciben. Por ello, antes de enviarlo a un arbitraje externo, todo artículo debe pasar una evaluación básica realizada por el equipo editorial. En ésta, se ha de verificar aspectos fundamentales como los siguientes:
- El trabajo plantea un objeto de estudio, problema o pregunta de investigación bien definidos.
- Se ocupa en resolverlos aportando información suficiente y pertinente extraída de bibliografía previa y/o trabajo de campo original.
- Sobre el tratamiento de esta información desarrolla argumentaciones y reflexiones a partir de las cuales propone hipótesis o tesis portadoras de conocimiento nuevo o relevante.
- Posee coherencia lógica, estructura y un discurso apropiados al nivel, especialidad y perfil de la revista en la que se pretende publicar.
Cuando una revista nos solicita un arbitraje suele enviarnos el resumen para hacernos una idea de su contenido.[2] Con relativa frecuencia, después de revisar el resumen y aceptar realizar la evaluación, recibo un artículo que no reúne las características anteriores. En ese caso declino hacer la evaluación y lo comunico a la revista. Si creo que se trata de un error por falta de experiencia me armo de paciencia y explico las razones de mi decisión. En todo caso intento transmitir mi inconformidad: si un artículo académico no cumple con esos requerimientos básicos debe ser rechazado por la revista y ésta debe notificar directamente a el o la autora las razones de la devolución en un informe explícito y claro. Enviarlo a arbitraje externo en esas condiciones no es sino pretender que el o la evaluadora haga un trabajo que le corresponde exclusivamente al equipo editorial.
4.2. Primera disyuntiva:
rechazar o aceptar con cambios
Si el trabajo reúne los requisitos mínimos anteriores continúo con la evaluación. Un momento crucial en el proceso es decidir si el texto se rechaza o se acepta con cambios. No se trata sólo de la suerte del artículo. Esta disyuntiva entraña dos tipos de trabajos evaluativos muy distintos. Si se decide rechazarlo hay que aportar una argumentación detallada que se debe reflejar en un dictamen cuya elaboración exige tiempo y esfuerzo. Algunos arbitrajes se quieren ahorrar esta faena y les parece más cómodo aceptarlo con cambios. Entonces exigen que se repitan fases enteras y básicas de la investigación. Esto es inaceptable.
Por otro lado, cuando se decide aceptar un texto para ser publicado con cambios, entonces se transforman sensiblemente las condiciones de nuestra colaboración como árbitros de la revista. Ya no nos comprometemos sólo con los contenidos académicos de artículo, sino que también adquirimos cierta responsabilidad en el proceso editorial como veremos más adelante (ver la sección 4.4.).
4.3. Articulo rechazado
Un trabajo suele ser rechazado porque muestra deficiencias graves en algunos de estos aspectos:
- Pertinencia y oportunidad del objeto de estudio o preguntas de investigación.
- Conocimiento del estado de la discusión del tema entre las comunidades de investigación especializadas.
- La información de entrada sea bibliográfica o trabajo de campo.
- Metodología.
- Argumentación, inferencias, interpretación y aseo intelectual.
- Calidad, verosimilitud y fuerza de hipótesis, tesis y conclusiones.
- Aspectos estructurales y de técnica de escritura académica.
Si considero que el artículo no cumple con suficiencia algunos de estos aspectos; si hay errores, omisiones graves o no son pertinentes sus contenidos de acuerdo al estado actual de la investigación y discusión académica de ese tema, entonces debo rechazarlo. En este caso hay que elaborar un informe muy completo y argumentado donde se expliquen claramente cada una de estas deficiencias. El informe debe exponer diáfanamente las razones del rechazo a el o la autora y de preferencia deberemos aportar alguna sugerencia para que mejore la calidad de toda la investigación en diferentes aspectos como en la bibliografía, metodología, ejemplos o casos, etc. Eso lleva bastante trabajo. La vida no es fácil.
4.4. Articulo aceptado con
cambios
Como he mencionado, aceptar con cambios un texto implica que nuestro trabajo evaluador debe colaborar en el proceso editorial. Ahora el objetivo final no se limita a señalar las deficiencias en los contenidos de la propuesta, sino que debemos contribuir al funcionamiento del trabajo como texto académico. Por ello, el dictamen, además de señalar las insuficiencias, debe aportar soluciones prácticas posibles y viables que puedan subsanarse dentro del proceso editorial en tiempos y esfuerzos razonables.
De este modo, es posible pedir a los autores que revisen algún recurso bibliográfico que no se consideró, que corroboren algún dato del trabajo de campo, que corrijan algún error en la argumentación, etc. Sin embargo, no podemos exigir que repitan fases enteras y básicas de la investigación. Si las tesis o hipótesis principales están afectadas por carencias graves en los aspectos básicos ya mencionados, entonces se tendrá que rechazar. Pero si los conocimientos principales aportados poseen relevancia pese a algunos de estos problemas, entonces debería ser posible resarcirlos a partir de tareas de investigación simples, no muy aparatosas o incluso desde la escritura misma. En efecto, en ocasiones se puede matizar, relativizar o eliminar del texto alguna información de la cual no dependan de manera capital las conclusiones principales.
Una vez supe de un árbitro que tras aceptar con cambios un artículo, le exigía a su autor la revisión de diez libros fundamentales que no había incluido en la bibliografía. Esto no tiene sentido. Si un artículo padece de omisiones de ese tamaño, simplemente no puede funcionar adecuadamente y debería rechazarse sin más. Pero si un árbitro lo acepta a condición de incluir tantos libros en la argumentación principal, entonces lo que no funciona es la evaluación y también debería rechazarse. Los editores tienen la responsabilidad de no tomar en cuenta dictámenes que se hayan realizado desde la mala fe, negligencia, incompetencia o que sean incomprensibles. Para eso están también los consejos asesores de las revistas (no sólo para figurar en una lista onomástica de honor). Colegiadamente, una publicación puede y debe rechazar un arbitraje no reúna requisitos mínimos de calidad. En ese caso se debe notificar a quien hizo la evaluación que su aporte no será tomado en cuenta y, por supuesto, se le deben explicar las razones. Editar una revista no consiste solamente en reenviar correos entre evaluadores y autores; hay que ensuciarse de vez en vez y tener cierta disposición a despertar alguna enemistad.
4.5. El informe o dictamen de un
artículo aceptado con cambios
La mayoría de las revistas envían un formulario para redactar el dictamen. Independientemente de esas estructuras, cuando evaluó un artículo, intento dividir mi informe en cuatro partes:
1. Breve descripción del trabajo.
Aquí señalo su objeto de estudio, metodología, resultados, aportes, etc. También subrayo las razones por las cuales debe ser aceptado. Aquí es muy importante perfilar con precisión el objeto, preguntas o problemas de investigación planteados en el artículo. Esto nos ayudará a evitar sugerencias o correcciones que excedan los propósitos originales del texto.
2. Enumeración general de sus
carencias y problemas.
Se trata de una visión panorámica por lo que aquí si me puedo permitir señalar problemas de investigación interesantes dentro de ese ámbito de trabajo que el articulo evaluado no aborda: “se echa en falta…”; “actualmente la investigación en ese ámbito se ocupa de…”. Fuera de este espacio, este tipo de observaciones deben evitarse.
3. Correcciones.
Esta es la parte medular y más delicada. Aquí detallo las instrucciones de cada una de las acciones imprescindibles que deben realizarse para publicar el texto. Las enumero y procuro ser muy específico con el lenguaje: “mencione”, “introduzca”, “elimine”, “cambie”, etc. Las indicaciones deben ser exactas y se debe procurar dar alternativas de realización: “introduzca en el cuerpo de texto o en una nota al pie ….”. Si el o la autora no aplica estas correcciones, simplemente el articulo no puede publicarse. Por lo menos eso es lo que yo escribo. Luego la revista hará lo que considere oportuno.
4. Observaciones opcionales.
Al final incluyo algunas recomendaciones que en mi opinión mejorarían el artículo pero que de ningún modo son condicionantes para su publicación. Si el o la autora no desean implementarlas, pues no pasa nada.
4.6. Principios para redactar el
informe o dictamen
En la redacción el dictamen procuro estar atento a los siguientes elementos:
· -Eliminar el uso de ironías y sarcasmos. Por ningún motivo permitir que se asomen pues entorpecen el trabajo de todos los que participan en el proceso.
· -Escribir el contenido del dictamen como si se estuviera comunicando directamente al autor o autora en una situación de intercambio profesional cara a cara. Hay que evitar la rudeza que puede suponer la comunicación impersonal: desactivar los modos de escritura que a veces usamos en redes sociales.
· -Tomar consciencia de nuestro estado emocional al momento de realizar la evaluación: la erótica del poder sigue derroteros caprichosos y es mejor conocer cómo nos afecta en esas circunstancias. Hay que aprender a escucharse. Yo intento estar muy atento a mi estómago en este tipo de situaciones intelectuales. En realidad me pone de mal humor hacer este tipo de trabajo. Pero el o la autora del texto evaluado no tiene la culpa de que, por alguna razón, yo haya aceptado el encargo.
· -Redactar con claridad y sencillez.
· -Tener muy claro los objetivos, problemas y preguntas de investigación que propone el trabajo: me tengo que atener a éstos en todo el dictamen y nunca pedir cosas que los excedan.
· -Hay que compartir dudas y opiniones con el equipo editorial de la revista.
5.1. Conflicto de intereses
El arbitraje debe ser de doble ciego: el evaluado no sabe quien lo evalúa y viceversa. Las revistas deben evitar cualquier marca que delate a los que participan en el arbitraje. Sin embargo, en muchas ocasiones es imposible no inferir quien es el autor o autora del texto que estamos evaluando. Cuando lo descubrimos hay que comunicarlo a los editores y especificar el vínculo profesional o personal que tenemos con el o la autora. Suelo aportar toda la información pertinente a la revista y dejo a su criterio la decisión sobre mi idoneidad como evaluador. Si el o la autora del artículo es alguien con el cual he tenido algún roce, pugna o conflicto profesional o personal, entonces rehúso terminantemente a hacer la evaluación. Es lo mejor, créanme.
5.2. Disputas académicas
negociables
Muchos temas de investigación, lejos de tener consenso en las maneras en que se estudian o en sus conclusiones, son objeto de disputas y discusiones en ocasiones encarnizadas entre las diferentes comunidades de investigación que se ocupan de ellos. Es muy probable que algún texto sujeto a evaluación se posicione con algún punto de vista que no compartimos. ¿Qué hacer cuando nos descubrimos del bando contrario al que defiende el trabajo que evaluamos? Si de manera militante no estoy de acuerdo de entrada con las metodologías, principios, teorías o discursos que emplea o en los que se sitúa el artículo, independientemente de lo que este diga o haga con ellos, entonces lo mejor es rechazar el arbitraje. Por más que me esfuerce, es muy probable que no sea capaz de percibir ningún aporte en un artículo que se inscribe en una línea de trabajo que de antemano rechazo. Pero si mi diferendo es puntual, acotado, y no militante acepto continuar con la evaluacion. En ocasiones encuentro que las propuestas del el texto tienen sentido desde la propia lógica del espacio académico desde donde trabaja su autor o autora. Sin embargo, si en el artículo no se mencionan las diferentes corrientes o puntos de vista que animan la discusión de ese tema de investigación, en mi evaluación solicito que en una nota el pie se explique que hay comunidades de investigación que tiene métodos u opiniones distintas. No tiene porque explicarnos a fondo sus diferendos. Simplemente ha de informar que estos existen y hacer referencia a los trabajos donde se pueden encontrar estas otras posturas. Que sean los lectores que tomen saquen sus propias conclusiones.
5.3. Recomendar bibliografía
personal
Hay quien se llega a aprovechar del proceso de arbitraje para imponer citas a sus trabajos o los de sus colegas cercanos. Esto simplemente es inadmisible. En este punto, sin embargo, me enfrento a un dilema recurrente. En mi cotidianeidad profesional, cuando alguien me consulta o simplemente quiero dar mi opinión sobre algún tema que he trabajado, por economía cognitiva suelo expresar mi pensamiento sobre el mismo a través de enlaces a mis propios textos. Prácticamente todos son accesibles gratuitamente en línea. Ahí están los argumentos, razones y reflexiones sobre aquello sobre lo cual, en ese momento, preferiría ahorrarle esfuerzo a la memoria. De alguna manera para eso escribo: para poder olvidarme de esos asuntos que han ocupado de forma punzante mi cabeza durante algún tiempo y para dedicar el resto de mis días y materia gris a, simplemente, reenviar enlaces. Si dedico tantos esfuerzos a mis textos, es que para que, a largo plazo, hagan ese trabajo por mí.
En muchas ocasiones, cuando evalúo algún texto, hay observaciones, debates, argumentos y bibliografía de la cual me he ocupado en algún escrito propio. De hecho, en algunas ocasiones he dedicado algunos párrafos de mis trabajos a atender malentendidos, debates o simplemente delinear mi postura frente a recurrentes temas resbalosos que aparecen en los textos que evalúo. Mi primer impulso, entonces, es remitir a un enlace para que el o la autora evaluada busque por sí misma la información que intento transmitir. En muchas ocasiones lo evito, pero hay momentos en que me resulta imposible. Sea como fuere, si en un dictamen llego a hacer una invitación a revisar un texto mío, siempre la acompaño de la indicación de que no es necesario citarlo o mencionarlo en el trabajo. Sin ninguna clase de excepción, estos reenvíos jamás los incluyo en la parte de mi informe donde detallo las correcciones obligatorias (ver sección 4.5, apartado 3). Los puedo hacer en cualquier otra parte pero nunca ejercer presión para que sean mencionados en el texto evaluado. Lo siento, nadie es perfecto.
[1] Conozco colegas que anotan la referencia bibliográfica completa en la nota al pie, pero la omiten del listado de referencias final para ponérselo más difícil a los algoritmos bibliométricos y resistirse a ese computo de citas arbitrario.
[2] En alguna ocasión, algún editor despistado me ha enviado el artículo completo desde el primer correo. Ese intento de ahorra tiempo no procede. Si yo no he aceptado realizar el arbitraje, no he sellado el pacto de confidencialidad que implica esa tarea.
