Copyright © 1996. Depósito legal pp. 76-0010 ISSN 0378-1844. INTERCIENCIA 21(2): 98-102

Forma correcta de citar este articulo: HEBE M. C. VESSURI 1996. LA CALIDAD DE LA INVESTIGACIÓN EN VENEZUELA: ELEMENTOS PARA EL DEBATE EN TORNO AL PROGRAMA DE PROMOCIÓN DEL INVESTIGADOR. INTERCIENCIA 21(2): 98-102. URL: http://www.interciencia.org.ve


LA CALIDAD DE LA INVESTIGACIÓN EN VENEZUELA: ELEMENTOS PARA EL DEBATE EN TORNO AL PROGRAMA DE PROMOCIÓN DEL INVESTIGADOR

HEBE M. C. VESSURI

Hebe Vessuri, antropóloga social, D. Phil. de la Universidad de Oxford, investigadora titular del IVIC en el Departamento Estudio de la Ciencia. Ha publicado ampliamente en estudios sociales de la ciencia, política científica y educación superior en América Latina. Dirección: Departamento Estudio de la Ciencia, IVIC, Apartado 21827, Caracas 1020-A, e-mail: hvessuri@conicit.ve


RESUMEN

A través del análisis de algunos aspectos generales del Programa de Promoción del Investigador (PPI) de Venezuela, y tomando en cuenta la teoría del principal-agente, se propone que revisando la estructura y cultura de prácticas evaluativas es posible especificar las condiciones necesarias para que la evaluación funcione sin sobresaltos. Con análisis de este tipo, se argumenta, los actores pueden tener más elementos para diseñar nuevas prácticas evaluativas y al mismo tiempo reducir a un nivel razonable las expectativas que los principales tienen de los agentes evaluadores. En particular se considera el tema de la población atendida por el PPI, la situación de las comisiones evaluadores en una configuración compleja de príncipales-agentes y la evaluación como eje central del programa. PALABRAS CLAVE / PPI / Venezuela / Investigación Científica /


En la interfase de la ciencia con la educación superior en Venezuela, entre los principales esfuerzos para mejorar las condiciones de la comunidad de investigadores a través de un reconocimiento público explícito en su rol como tales, está el Programa de Promoción del Investigador (PPI), creado en 1990, después de prácticamente una década de esfuerzos de miembros de la comunidad científica para lograr su implantación. Surgió como una estructura nacional representativa para acreditar a los investigadores a través de los mecanismos usuales de la propia comunidad científica y darles, por tanto, visibilidad en el medio nacional. Se esperaba que este mecanismo sirviera, de paso, de estímulo a los jóvenes con vocación de investigadores quienes podrían así reconocer que el rol del investigador científico también tenía vigencia en Venezuela y que era posible concebir una carrera de investigación en el país. En las páginas que siguen, me referiré a algunos aspectos generales del Programa, vinculados a la práctica de la evaluación tal como se la ha entendido en el PPI y como ha ido evolucionando en el tiempo.

Qué población atiende el PPI?

De la tabla I se desprende que el PPI recorta como campo de su atención un segmento de la comunidad científica-técnica del país caracterizable con el rótulo de "comunidad académica". No atiende directamente las necesidades del investigador tecnológico en la industria ni las del docente de nivel superior o las del divulgador científico o cultural, aunque tiene impacto sobre ellas. Como se puede apreciar, las instituciones que tienen miembros acreditados en el Programa van más allá de las "de educación superior y de investigación del sector público", que define el artículo 1 de su Reglamento (el 35.3% son instituciones privadas) aunque su participación en el mismo, en términos del número de investigadores acreditados, es escasa.

TABLA I TIPOS DE INSTITUCIONES A LAS QUE PERTENECEN LOS INVESTIGADORES DEL PPI, 1994

INSTITUCIONES

No.

%

Universidades nacionales (UCV, USB, ULA, LUZ, UDO, UC, UCLA, UNELLEZ, UNET, UNEFM, UNESR, UNERMB, UNEG, UNA, UPEL)

15

29,4

Centros de investigación (IVIC, INTEVEP, CIDA, FONAIAP, Inst. Hem.Occ., IDEA)

6

11,8

Institutos Universitarios Tecnológicos (IUT-Caracas, IUT-Valencia)

2

3,9

Ministerios (MEN, MSAS, IVSS, MARN, Fundacite-Z)

5

9,8

Empresas del Estado (CVG)

1

2,0

Hospitales (H.U.Caracas, H.U. Mérida, H.U. Maracaibo, H.C.A.M. Pineda)

4

7,8

Universidades privadas (UCAB, UCTACH, UJMU,UNIMET, URU, USM)

6

11,8

Fundaciones (La Salle, Museo de Ciencia, FUNDACREDESA, FUSAGRI, Audubon, Centro Gumilla)

7

13,7

Centros privados (CMDLT, IBM, IESA,Cons.Ceru)

4

7,8

Universidad extranjera (Univ.Bristol)

1

2,0

TOTAL

51

100,0

Fuente: Fundación PPI, Cuadro consolidado de investigadores adscriptos al PPI, 1994.

Las tablas II y III permiten visualizar la distribución por áreas disciplinarias, categorías y niveles entre instituciones. En las 15 universidades nacionales está ubicado el 73,5% de los integrantes del PPI, seguidas por seis centros de investigación con el 20,3%, totalizando un 93,8% del total. Entre otras 30 instituciones se distribuye el 6,2% restante. En cuanto a los niveles, las universidades nacionales concentran el mayor número de Candidatos e Investigadores Nivel I, mientras que los centros de investigación tienen el 73,3% de los Investigadores Eméritos y el 38,3% de los Investigadores Nivel III, lo que sugiere una mayor productividad y también un número mayor de investigadores "seniors" en estos últimos. Las universidades privadas prácticamente no han participado en el Programa, pues a la fecha aportan el 1,1% de los investigadores acreditados. De los investigadores pertenecientes a las universidades nacionales, el 37,4% corresponde al área CMBA (Ciencias Médicas, Biológicas y del Agro), seguidos de los que están en CFMQ (Ciencias Físicas, Químicas y Matemáticas) (27%), CS (Ciencias Sociales) (20%), e ITCT (Ingeniería, Tecnología y Ciencias de la Tierra) (18,6%). Le siguen los investigadores en los centros de investigación públicos, de los cuales el 56,8% está en CMBA y el 33,3% en CFMQ. El área de ITCT tiene el 5,6% y CS el 4,7%.

TABLA II INVESTIGADORES POR NIVEL, SEGÚN TIPOS DE INSTITUCIÓN, (I)

Nivel Cddto.

I

II

III

Emtos.

Total

Tipo de Inst.

No.

%

No.

%

No.

%

No.

%

No.

%

No.

%

Univ. Nac.(15)

129

66,2

408

79,1

184

75,7

47

58,1

4

26,7

772

73,5

Centros de Inv. (No. 6)

47

24,1

78

15,1

46

18,9

31

38,3

11

73,3

213

20,3

Inst.Univ. Tecn. (No. 2)

2

1,0

-

-

-

-

-

-

-

-

2

0,2

Univ. Priv. (No. 6)

3

1,5

6

1,2

2

0,8

1

1,2

-

-

12

1,1

Minist. (No. 5)

7

3,6

10

1,9

3

1,2

-

-

-

-

20

1,9

Fundac. (No. 7)

1

0,5

8

1,6

2

0,8

-

-

-

-

11

1,0

Empr. del Estado (No. 1)

3

1,5

-

-

-

-

-

-

-

-

3

0,3

Hospit. Univ. (No. 4)

1

0,5

4

0,8

1

0,4

1

1,2

-

-

7

0,7

Centros Privados (No. 4)

1

0,5

2

0,4

5

2,1

1

1,2

-

-

9

0,9

Univ. Extranj. (No. 1)

1

0,5

-

-

-

-

-

-

-

-

1

0,1

TOTAL

195

100

516

100

243

100

81

100

15

100

1050

100

 

TABLA III INVESTIGADORES POR NIVEL, SEGÚN TIPOS DE INSTITUCIÓN (NO. Y %) (II)

C

I

II

III

EM

Total

Tipo de Inst.

No.

%

No.

%

No.

%

No.

%

No.

%

No.

%

Univ. Nac.(15)

129

16,7

408

52,9

184

23,8

47

6,1

4

0,5

772

100

Centros de Inv. (No. 6)

47

22,1

78

36,6

46

21,6

31

14,5

11

5,2

213

100

Inst.Univ. Tecn. (No. 2)

2

100

-

-

-

-

-

-

-

-

2

100

Univ. Priv. (No. 6)

3

25,0

6

50,0

2

16,7

1

8,3

-

-

12

100

Minist. (No. 5)

7

35,0

10

50,0

3

15,0

-

-

-

-

20

100

Fundac. (No. 7)

1

9,1

8

72,7

2

18,2

-

-

-

-

11

100

Empr. del Estado (No. 1)

3

100

-

-

-

-

-

-

-

-

3

100

Hospit. Univ. (No. 4)

1

14,3

4

57,1

1

14,3

1

14,3

-

-

7

100

Centros Privados (No. 4)

1

11,1

2

22,2

5

55,6

1

11,1

-

-

9

100

Univ. Extranj. (No. 1)

1

100

-

-

-

-

-

-

-

-

1

100

TOTAL

195

18,6

516

49,2

243

23,1

81

7,7

15

1,4

1050

100

Los Candidatos constituyen el 18,6% de la población total en el PPI y las universidades nacionales están un poco por debajo del promedio nacional en relación con esta categoría (16,7% de Candidatos en su población PPI), aunque en términos absolutos son las que más Candidatos tienen: el 66,2% de todos los candidatos pertenecen a las universidades nacionales y el 24,1% a los centros de investigación públicos; también el 79,1% de todos los investigadores Nivel I del país están ubicados en las universidades nacionales. En el Nivel I está clasificado el 49,2% de toda la población PPI, observándose que las universidades nacionales tienen el 52,9% de su población PPI en este nivel. Habría que matizar este valor aplicando el criterio de edad, para ver hasta qué punto se trata de la generación de relevo o de una población de investigación con un cierto nivel básico de productividad.

Si bien esta última información no está -disponible todavía en forma completa, la evidencia sugiere que la segunda alternativa es la más probable.

Los Niveles II y III incluyen a investigadores con mayores niveles de productividad, experiencia y reconocimiento académico. En el Nivel II se encuentra el 23,1% de los investigadores acreditados en el Programa. El 75.7% de todos los Nivel II en el país trabajan en las universidades nacionales, seguidos por los investigadores pertenecientes a los centros de investigación públicos (18.9%). Finalmente, con respecto al Nivel III, se observa que están acreditados como tales el 7.7% de la población PPI total; las universidades nacionales presentan un porcentaje un poco más bajo de su personal PPI en este nivel (6.1%), mientras que los centros de investigación, con 14.5%, los hospitales universitarios, con 14.3% y los centros privados con 11.1% de su personal en este nivel están por encima del valor nacional. Todo ello sugiere una mayor concentración relativa de niveles de productividad y experiencia en los centros de investigación y hospitales universitarios. También pudiera sugerir un envejecimiento a corto plazo de los centros de investigación si no se acompaña de medidas como las que se verifican en el caso de la incorporación de Candidatos (por ejemplo en el IVIC), para asegurar la generación de relevo. En términos absolutos las universidades nacionales concentran un 58.1% de los Investigadores Nivel III en el país, mientras que los centros de investigación públicos tienen un 383%.

Las Comisiones Evaluadoras en una configuración de principal y agente

El PPI en más de un sentido es el resultado combinado, por un lado, de presiones de la sociedad sobre la comunidad académica para que diera cuenta de sus actividades y, por el otro, de los esfuerzos de los científicos deseosos de ganar legitimidad y reconocimiento para su actividad en el contexto nacional durante los años ochenta. La evaluación del producto se volvió de esa forma más importante en relación con la esfera gubernamental. Sin embargo, en relación con la ciencia el gobierno no sólo enfrenta una asimetría con respecto a la información de que dispone sino también en su competencia para evaluarla. Típicamente, este problema se resuelve en la práctica involucrando a científicos como asesores y, más recientemente, en casos como el PPI, delegando la evaluación a un cuerpo separado. Por supuesto, esto plantea al gobierno un problema de control. Pero siempre que en distintos países el gobierno ha tratado de establecer una estructura de incentivos para controlar los efectos de sus inversiones en la ciencia académica, ésta estuvo basada en la idea de la autoevaluación de la ciencia, a través de la evaluación de los pares, realizada idealmente por comisiones de científicos destacados considerados como con competencia evaluativa. El problema central aquí es entonces uno de delegación. En términos de la teoría de principal-agente aplicado a la política científica, significa que el estado es el principal que requiere que el agente -la comunidad científica- realice ciertas tareas porque él no puede hacerlas directamente (Moe, 1984; Van der Meulen, 1992; Guston, 1995).

Junto al gobierno, han intervenido siempre de distintas maneras los cuerpos disciplinarios, también como elementos principales en la teoría principal-agente; pero, a diferencia del gobierno, generalmente son considerados competentes para evaluar aunque sus intereses no necesariamente son los del gobierno. El resultado ha sido que las comisiones evaluadoras acaban siendo una compleja configuración de principales-agentes, y la expectativa es, entonces, que sean bastante autónomas en sus juicios, para responder a las exigencias y expectativas de sus múltiples principales.

Esta función está cargada de tensiones porque el agente debe conservar su legitimidad tanto con respecto a sus principales como frente a los propios actores de la comunidad científica. El riesgo es la pérdida de su reputación, su competencia adscripta, y en extremo su membrecía reconocida del campo científico. Dicho así, pareciera razonable esperar que las comisiones evaluadoras tengan problemas de satisfacer a todos los actores envueltos en el proceso de evaluación. Pero de hecho, en el grueso de las prácticas evaluativas en la ciencia los evaluadores raramente encuentran problemas.

La evaluación, eje central del Programa

La acreditación de los miembros del PPI descansa sobre una concepción de lo que es un científico, la cual en última instancia es responsable de que éstos y no otros sean los números, categorías y niveles resultantes. Los investigadores suelen aceptar una definición abstracta de lo que hace a un buen científico, vinculada al objetivo último de la ciencia -la extensión del conocimiento certificado-, pero es claro que esta definición enfrenta problemas de validez y operacionalización. ¿Cómo determinar y comparar las contribuciones al conocimiento de diferentes científicos? Un esfuerzo de investigación (sea éste una publicación, presentación en congreso, conferencia, etc.) puede resultar (a) en una contribución al progreso científico, (b) en un objetivo práctico, social o técnicamente útil, o (c) en un esfuerzo perdido, sin calidad ni utilidad. Resulta muy problemático diferenciar, más allá de lo muy bueno o lo muy malo, los matices significativos dentro de la masa de la producción de una comunidad científica particular.

Con relación a la calidad se distinguen dos enfoques básicos de la evaluación en la práctica de las comunidades científicas (Sonnert, 1995):

  1. Caracterización objetiva y juicio razonable, independiente de los individuos, accesible a la prueba, a través de indicadores cuantitativos, basados en el conteo de publicaciones y de citas. Los distintos indicadores han ganado poder analítico a partir de la comparación de sistemas científicos nacionales, instituciones de investigación o científicos individuales. Como cada uno de estos niveles ofrece mediciones imperfectas, el analista debe considerar varios indicadores diferentes para ver si identifica un patrón común, Le. si las tendencias son consistentes. Este concepto ha sido descripto con el término Indicadores parciales convergentes" (B. Martin y J. Irvine, 1983; Carrese y Baker, 1967), que en su forma más simple implica que si hay varios indicadores, de los que cada uno sólo describe parcialmente un fenómeno, y todos llevan a la misma conclusión, entonces esa conclusión puede tomarse como válida. El enfoque cuantitativo tiene alta confiabilidad aunque baja validez. Al respecto, se cuestiona si los indicadores realmente miden lo que pretenden medir, cuando el contenido, los hallazgos descriptos o a los cuales se hace referencia, su carácter y lógica no son analizados y no tienen ningún papel (Edge, 1979).
  2. Caracterización con respecto a contenido y nivel cognitivo, generalmente realizada a través de la evaluación de los pares (otros científicos). Este enfoque tiene mucha más validez que los indicadores cuantitativos porque se ajusta mejor a los rasgos intrínsecos de la actividad científica y permite detectar aspectos más sutiles de la calidad, no fácilmente susceptibles de cuantificación. Pero es mucho menos confiable porque no es sencillo de aplicar y no ocurre con frecuencia a nivel masivo. Muchos practicantes ven como una amenaza al sistema meritocrático de la ciencia el fracaso de los científicos en ponerse de acuerdo de manera confiable sobre la calidad científica. No es raro que se cuestione la calidad de los pares. La evaluación de los pares sigue siendo en buena medida una "caja negra": funciona, aunque no se sabe bien cómo. Los principales problemas que enfrenta la evaluación por pares y que limitan su validez son: el problema de la evaluación intersubjetiva y la prueba del juicio independiente de los individuos, los criterios específicos, que en muchos casos se refieren también a objetivos y valores externos (no científicos); los factores sociales, donde la influencia a menudo no es obvia ni intencional (Buchholz, 1995; Mitroff y Chubin, 1979; Chubin y Hackett, 1990; Hartmann y Neidart, 1990).

Aunque en la practica los enfoques cuantitativo y cualitativo pueden entrar en conflicto, no obstante suelen combinarse, y esto es lo que sucede también en el PPI. Sin embargo, ambos enfoques conducen en sus resultados de evaluación de científicos individuales o de grupos sólo con relación a la élite, a los miembros más destacados de la comunidad científica. La dificultad está en la consideración de la amplia mayoría de los practicantes de la investigación. Con respecto a este borroso y extenso grupo intermedio es preciso preguntarnos qué parte del mismo contribuye en una proporción sustancial al progreso científico. Lo cierto es que todavía no hay respuesta a esta interrogante (Buchholz, 1995, p.201). No obstante, ¿qué es lo que hay que diferenciar en el interior de la masa de una comunidad científica, más allá de identificar y tal vez elevar su nivel de productividad básico? La producción científica, en cualquier medio nacional o disciplinario, se caracteriza por ser altamente estratificada, con un pequeño número de especialistas que publican mucho y una gran cantidad de autores ocasionales. Se ha modelizado el fenómeno diciendo que el número de investigadores que publican n trabajos es inversamente proporcional al cuadrado de n. Así, si en un ámbito dado, N1 investigadores han publicado un artículo, N1/25 habrán publicado 5. El que haya publicado más, habrá publicado por consiguiente N1 (ley formulada originalmente por Lotka en 1926, a partir de la revista "Chemical Abstracts")(Price, 1963; Courtial, 1990). No resulta difícil en estas condiciones identificar a los especialistas cuya producción predomina en un contexto particular, sea éste geográfico o disciplinario.

En relación con este aspecto, una preocupación central de las comisiones evaluadoras del PPI pareciera haber sido tratar de acreditar en el Programa a todos aquéllos que demuestren una producción científica tangible, verificable, y con continuidad en el tiempo, cuidando de que el nivel III, que es el máximo nivel que reconoce el sistema, distinga los valores más altos de productividad y liderazgo dentro de las disciplinas que conforman la comunidad científica nacional.

El punto básico de la evaluación es que la calidad es un concepto relacional y las evaluaciones no pueden focalizarse sino en algunas cualidades de un objeto. El evaluador necesita un marco de referencia para reducir la complejidad. Las reducciones que se hacen se asocian al objetivo de la evaluación. La selección del marco de referencia y del método tienen consecuencias para el tipo de conclusiones que resultan. Una metodología típica de evaluación, seguida también por el PPI, se basa en la revisión de los Curricula Vitarum y listas bibliográficas. Los evaluadores toman en cuenta, además, una variedad de factores, que reflejan niveles de actividad, responsabilidad y reconocimiento crecientes en la comunidad científica nacional e internacional, según los niveles. Entre esos factores están la orientación de tesis de pregrado y postgrado, la independencia, el liderazgo científico, la participación en actividades científicas como congresos, seminarios y otros intercambios, la actividad en comisiones editoriales, jurados de proyectos de investigación, conferencias invitadas, etc. No obstante, es importante observar que esas evaluaciones generales suelen correlacionarse fuertemente con una tasa simple de productividad de publicaciones, i.e. que la persona que suele tener más actividad de orientación de jóvenes investigadores, mayor actividad en comisiones científicas y una mayor actividad científica nacional e internacional, es también una persona que publica activamente.

Aunque la consideración de la productividad simple reflejada en publicaciones suele provocar algunas reacciones encendidas, es interesante notar que esta conducta evaluativa es una forma común de realizar la evaluación en el seno de las más variadas comunidades científicas nacionales (cf. el estudio "Project Access" llevado a cabo recientemente en la Universidad de Harvard, Sonnert, 1995, p. 51). En su evaluación del desempeño del investigador diversos trabajos muestran que, excepto en casos de duda, los árbitros no suelen hacer una lectura de las contribuciones científicas particulares, más allá de verificar su existencia, el tipo de publicación, sus características, referencias bibliográficas, etc. Aunque los métodos establecidos de medición cuantitativa (cienciométricos) de la eficiencia de la investigación son limitados, cuando, como ocurre frecuentemente en contextos de evaluación, no hay tiempo ni familiaridad suficiente para evaluar las contribuciones al conocimiento científico en detalle, o en un contexto donde las reglas del juego de la evaluación académica por pares no están muy institucional izadas, los evaluadores suelen ser más reluctantes a desviarse de la línea de base de la consideración de la calidad de las revistas, que es un aspecto que posee el atractivo obvio de ofrecer una secuencia cuantificable de revisiones positivas. La calidad se remite así a la segunda instancia constituida por los pares activos en el arbitraje de las revistas especializadas. El elemento de "garantía" previa que ofrece la evaluación de pares en revistas de reconocido prestigio, que por cierto es el área donde existe mayor experiencia mundial de análisis del mecanismo de "evaluación de pares", es

importante a la hora de considerar la variedad de subespecialidades, en particular cuando en las comisiones se consideran especialidades heterogéneas. De allí la importancia fundamental que el medio en el que el investigador publica sea arbitrado y reconocido lo más ampliamente posible.

En la ciencia académica, la publicación de resultados ha sido cosustancial con la actividad científica por más de tres siglos. Los editores de las revistas son lo que Imre Lakatos llamaba los "guardabarreras" de la ciencia. Sabemos todos que el sistema internacional de publicación científica no es perfecto (Vessuri, 1995; Cubbs, 1995; Cetto y Hillerud, 1995) pero también es preciso reconocer que ha facilitado el crecimiento exponencial de la actividad científica y la comunicación cada vez más amplia de los resultados de la investigación. Ente otras cosas, se ha desarrollado una tradición "evaluativa" en la que el colectivo científico ha aprendido mucho, implementando inclusive correctivos a sus fallas en la propia evaluación de los "pares", estabilizando repertorios evaluativos y manteniendo fluidas las relaciones entre los principales (gobierno, comunidades disciplinarias, sociedad) y los científicos. En este trabajo, he propuesto que analizando la estructura y cultura de las prácticas evaluativas es posible especificar las condiciones necesarias para que la evaluación funcione sin sobresaltos. Análisis de este tipo pueden ayudar a los actores a diseñar nuevas prácticas evaluativas y al mismo tiempo reducir a un nivel razonable las expectativas que los principales tienen de los agentes evaluadores.

REFERENCIAS

Buchholz, K. (1995): Criteria for the analysis of scientific quality. Scientometrics, vol. 32, Nro. 2, pp. 195-218.

Carrese, L.M. y C.G. Baker (1967: The convergence technique: A method for the planning and programming of research efforts, Management Science, 13:420-38.

Cetto, A.M. y K.I. (eds.) Hillerud (1995): Publicaciones científicas en América Latina, ICSU/UNESCO/LNAM/AIC/FCE, México.

Chubin y Hackett (1990): Peerless Science, State University of New York Press (CUNY), Albany, NY.

Courtial, J. P. (1990): Introduction a la Scientométrie, Anthropos-Economica, Paris.

Cubbs, W. Waytt (1995): Lost science in the Third World, Scientific American 76, agosto.

Edge, D. (1979): Quantitative measures of communication in science: a critical review, History Science 17, pp 102-134.

Guston, D.H. (1995): Principal-agent theory and the structure of science policy. Changing Trends in Science Policy: Theory and Practice- A Symposium on the Theory and Practice of Science Policy, 23-25 noviembre, Gotenburgo, Suecia.

Hartmann, I. y Neidhart, F. (1990): Peer Review at the Deutsche Forschungsgemeinschaft, Scientometrics, vol. 19, No. 5-6, 419-426.

Martin, B.R. c Irvine, J.H. (1983): Assessing Basic Research: some Partial Indicators of Scientific Progress in Radio Astronomy, Research Policy.

Mitroff y Chubin (1979): Peer Review at NSF: A dialectical policy analysis, Social Studies of Science 9, May, pp. 199-232.

Moe, T.M. (1984): The new economics of organization, American Journal of Political Science, 28, pp.741-777. .

Price, D.(1963): Little Science, Big Science, Columbia University Press, New York.

Sonnert, G. (1995): What makes a good scientist? Determinants of peer evaluation among biologists, Social Studies of Science, vol. 25, PP. 35-55.

Van der Meulen, B. (1992): Evaluation processes in science. The construction of quality by science, industry and government. WMW-Publikatie 13, Univervidad de Twente, Enschede.

Vessuri, H. (1995): Recent strategies for adding value to scientific journals in Latin America, Scientometrics, vol. 34, No. 1, pp. 139-161.

Atrás / Back / Voltar