Revista XXVI No. 2 de 2019

Evaluación de la CTI

Evaluación de la CTI

Fotografía: Sara Victoria Pons Coll.

Coordinadores de la línea temática: Diego Chavarro, Luis Orozco y Cristhian Ruiz.

 

Estudio cienciométrico de la actividad investigadora en las universidades brasileñas
Por: Claudia Daniele de Souza
Google académico: https://tinyurl.com/v9hhfr2

En las últimas décadas Brasil se ha convertido en un país que a pesar de sus carencias supo salir adelante y hacer uso de sus recursos para expandirse y acrecentar su presencia en la esfera internacional. Por su dimensión geográfica, población y el peso de su economía, juega un papel fundamental especialmente en la región de América del Sur. Desde que se considera parte del grupo de países BRICs al ser una potencia emergente, ya se han ofrecido diversos marcos teóricos que buscan explicar este fenómeno. Han sido largos años de definición de programas y estrategias orientadas a transformar el país, para que hoy en día sea posible decir que ha logrado captar y retener el interés de la comunidad internacional.

El delineamiento de sus políticas públicas para la ciencia, tecnología e innovación han influido sobre todo en la promoción de la investigación científica, en el desarrollo tecnológico y en los procesos de democratización de acceso y de internacionalización de la Educación Superior Brasileña. En este contexto, se presenta este estudio cienciométrico cuyo objetivo es analizar el impacto de tres de estas políticas públicas (Programa de Apoyo a los Planes de Reestructuración y Expansión de las universidades Federales, Programa Ciencia sin Fronteras y la Ley de la Innovación Tecnológica de 2004) en la actividad investigadora del sistema universitario brasileño, entre los años 2003-2015.

Por ser un sistema heterogéneo, diversificado y segmentado, se profundiza en el caso de las 63 universidades federales. Para desarrollar el estudio se han analizado las políticas mencionadas para identificar sus objetivos y definir sus puntos comunes. Seguidamente se ha elaborado un marco analítico que permitió delimitar tres dimensiones: CRECIMIENTO, CALIDAD e INTERNACIONALIZACIÓN de la actividad científica, para cuya operacionalización se ha construido una matriz de indicadores de inputs y de outputs.

Utilizando fuentes de información oficiales y bases de datos bibliográficas, en cada una de las dimensiones abordadas se han identificado las variables más relevantes utilizando test estadísticos descriptivos y multivariantes. Si bien el mayor aporte es el desarrollo conceptual y metodológico, los resultados obtenidos permiten observar que el crecimiento y la intensidad de la actividad de las universidades federales, durante el período estudiado, ha sido exponencial (en términos de número de alumnos, becas de investigación, profesorado, instituciones creadas), al igual que su producción científica y tecnológica (publicaciones y patentes). En cuanto a la calidad, esta es creciente especialmente en la formación de recursos humanos pero no tanto en su producción. Por su parte, el notable impulso a la internacionalización, también ha tenido resultados positivos en diferentes aspectos como la colaboración científica junto a centros extranjeros.

Estos resultados evidencian que Brasil, y especialmente las universidades federales, han hecho un esfuerzo importante en pos de la mejora y actualización del sistema universitario que está empezando a dar sus frutos. Como conclusiones se puede apreciar que la expansión del sistema universitario brasileño y su entrada en la comunidad internacional ya se han producido, pero queda aún por dar un paso más hacia la mejora de la calidad.

 

Applying Developmental Evaluation for the Study of Latin American Science, Technology and Innovation Policy: The Case of Colombia and Mexico
Por: Carlos Ramos

Recent empirical research (Molas-Gallart and Davies, 2006; Edler et al., 2013) have identified some evaluation challenges that Science, Technology and Innovation (STI) policy evaluations need to account for if they wish to successfully understand the way STI policies really work.

First, a refined theory of innovation needs to be incorporated into the analysis, since an outdated or simplistic ‘linear’ model of the innovation process seems to prevail. One which recognises innovation as a risky, and unpredictable systemic process, operating under complex environments. Second, several methodological limitations must be solved. Namely, a conscious effort must be made to measure long-term outcomes over narrowly defined, short-term effects. Similarly, evaluation exercises need to consider the unintended, detrimental and behavioural effects which STI policies might create. Finally, specifying underlying policy rationales and causal assumptions must be common practice in STI policy evaluation.

As an initial step towards this direction, this article proposes to apply developmental evaluation (Patton, 2011) to assess two Latin American STI policies. Developmental evaluation is an emerging approach to evaluating innovations or organisations that are in a continuous state of change, with a special focus on complexity and under a systemic approach.

To test the way the developmental evaluation framework can inform STI policy assessment, a local, instrumental, theory-testing, multiple and parallel case study is applied. Here, a case is understood as an in-depth exploration from multiple perspectives of the complexity and uniqueness of two STI policies. The policies under analysis correspond to a Colombian instrument financing research and development (R&D), and innovation activities for Colombian companies (Innovar Tiene su crédito), and Mexico’s Programme for the Stimuli of Innovation for big companies (INNOVATEC).

 

¿Qué es éxito en el fomento a la innovación de la pequeña y mediana empresa agroalimentaria en Chile?
Por: Cecilia Ibarra
Información académica: https://uchile.academia.edu/CeciliaIbarra

La política de innovación en Chile ha estado orientada principalmente hacia aumentar la inversión en investigación y desarrollo y fortalecer el sistema nacional de innovación. El estado ha basado su intervención en la solución de fallas de mercado y fallas de sistema, y dispone de variedad de agencias que implementan programas de apoyo a los productores. Hay un diagnóstico generalizado de falta de coordinación entre estas agencias y de baja efectividad de los programas de fomento.

A partir de una petición del Fondo de Innovación Agraria (FIA) de seleccionar casos exitosos de fomento a la innovación en la pequeña y mediana empresa agroalimentaria en Chile, este estudio se pregunta ¿qué es el éxito al fomento a la innovación? Esta pregunta antecede las interrogantes sobre qué evaluamos y cómo medimos. La pregunta se abordó desde la teoría y la experiencia internacional en política de innovación y su evaluación, la experiencia nacional y la experiencia del FIA. En el caso de FIA, no solo se consideraron procesos de evaluación anteriores y documentación histórica de programas y proyectos, sino también la experiencia encarnada en profesionales de FIA que hacen trabajo en terreno con los agricultores y otros actores locales.

En la revisión inicial del material disponible en FIA, se hizo evidente que no había claridad en la definición de éxito puesto que los objetivos de fomento a la innovación no eran explícitos. Además, había una brecha importante entre lo que se destacaba como éxito en los informes institucionales y lo que los profesionales valoraban como logros. A partir de este primer hallazgo, se formuló una indagación que cuestiona la definición de éxito y que partió por preguntar a los profesionales de FIA ¿qué trabajo de FIA me hace sentir orgullo? ¿Qué logros de FIA son los que yo valoro?

La revisión de literatura internacional permitió aclarar los posibles objetivos y tipos de programas de fomento a la innovación, mostrando que hay actividades de FIA que constituyen programas, y no son considerados como tales. Esto parece ser un problema generalizado, donde la visión respecto de la implementación de la política de innovación en Chile ignora a una cantidad importante de programas que, por lo tanto, ni se evalúan ni se gestionan. No obstante, la apreciación preliminar lograda en este estudio sugiere que es probable que la ceguera esté justamente en áreas de intervención del estado que tienen gran impacto y potencial.

 

Transformarse o perecer: ¿Isomorfismo o polimorfismo organizacional en grupos de investigación universitarios a partir de los sistemas de evaluación?
Por: Juan Carlos Valencia, Cindy Johanna Quintero, Angie Paola Roa, Jorge
Enrique Mejía y Constanza Beatriz Pérez

Diversos estudios han mostrado la incidencia de la evaluación académica en los procesos de investigación y de producción de conocimiento. Tales aportes han evidenciado el carácter performativo de los sistemas de evaluación, que operan como señales que indican a los investigadores las trayectorias deseables a seguir.

Dentro de los efectos de tal influencia están los desplazamientos de las agendas de la investigación, la supresión de actividades que no son reconocidas por los esquemas de evaluación, o la adopción de prácticas poco relevantes para el campo de investigación. Ello puede afectar los procesos de producción de conocimiento, en especial en espacios cognitivos, sociales y geográficos invisibilizados o marginalizados por los sistemas hegemónicos de evaluación difundidos e implementados ampliamente. Este trabajo propone abordar un ámbito menos indagado de la influencia de los sistemas de evaluación en las dinámicas de investigación: el organizacional. Partiendo de las contribuciones del institucionalismo organizacional y los enfoques basados en prácticas, se plantea la pregunta: ¿Cómo los sistemas de evaluación inciden en las formas de la organización de los grupos de investigación universitarios? Con tal propósito, se desarrolla un estudio de caso
en la Universidad Central (Colombia), que cuenta con 17 grupos de investigación en las áreas de conocimiento de ingeniería y tecnología (3), ciencias naturales (3), ciencias sociales (9) y humanidades (2). El análisis se concentra en tres ejes de la evaluación: las convocatorias de medición de grupos de investigación, desarrollo tecnológico o de innovación que realiza Colciencias [1], los procesos de autoevaluación con fines de acreditación de los programas académicos con los cuales se vinculan los grupos, y las convocatorias internas de investigación.

Se realizan entrevistas semi-estructuradas y grupos focales con líderes e investigadores de los grupos y gestores de investigación, y revisión de documentos institucionales y así como de reportes relacionados con las mediciones de Colciencias. Los resultados muestran que los grupos de investigación han generado transformaciones en sus formas de organización para mantener su legitimidad y sobrevivir ante las presiones de los sistemas de evaluación. Se adaptan a la visión de “grupo de investigación” del modelo de medición, a través de diferentes estrategias: fusión de grupos, reconfiguración de líneas y agendas, fortalecimiento de alianzas, y resistencia-adopción simbólica de modelos de evaluación. De otra parte, si bien la institución ha construido un enfoque que reconoce la heterogeneidad en la generación de conocimiento, no se aleja totalmente de la subvaloración o invisibilización que hace el modelo de Colciencias frente a algunos tipos de producción. Se aporta en la comprensión de los procesos de diferenciación e imitación que emergen en los grupos ante las presiones que generan los sistemas de evaluación. Más allá de adopción de formas homogéneas a partir de la imitación de grupos legitimados en el campo (isomorfismo), se presenta un polimorfismo organizacional, múltiples maneras de adoptar la visión de grupo de investigación establecida en los modelos de evaluación.

[1] Colciencias realiza una medición periódica de los grupos de investigación,
basada en información reportada por los investigadores y grupos en una plataforma
denominada SCIENTI.

 

A probabilistic model to forecast the growth of higher education institutions.
Por: Cristhian Ruiz
LinkedIn:https://tinyurl.com/ql9l72x

Ricardo Bonilla
Perfil CvLAC: https://tinyurl.com/rlpsumt

Luis Orozco

Science and innovation systems have promoted the creation of human capital in terms of PhDs, while universities tend to move from teaching to the so-called third mission devoted to innovation and entrepreneurship. In higher education systems - HES the absorptive capacity to hire PhDs is an important requirement for the growth of the inclusion of more students. However, the supply of PhDs seems to overcome the demand in universities despite the institutional pressures exerted by accreditations and rankings to increase the number of PhDs.

This research proposes a scientometric model to evaluate the balance between the supply of new PhD and the demand within the frame of the contingency theory to explain the trends of growth in terms of students according to environmental conditions. Using the changes in the curve of the probability distribution adjusted between doctors and students, the model calculates their tendency of growth and helps classify universities according to their organizational missions. Using a sample of 257 universities in Colombia, the model was able to define groupings, one of them matched with past studies that identify a list of universities that are able to perform the third mission with high-quality results in teaching. From the use of the model, we defined three areas and five quadrants in which universities are grouped by their capacity to grow in terms of PhD and students. These areas and their quadrants are
defined by the changes in the curve of the distribution function of the variables.

The results of the model show that the growth trends, both in size and direction, are different and depend on the quadrant in which the university is grouped. There is a quadrant where there is a greater capacity for growth in PhD, especially for public universities outside the capital. It is necessary to mention that we start from the fact that universities tend to move from teaching to the so-called third mission devoted to innovation and entrepreneurship. Under this assumption, we find institutions that require greater growth in their PhD. Staff. However, in an emerging economy such as Colombia, the trend of universities shows greater growth in students than in doctors.

The values of the theta angle of the vectors are less than 2° in all cases. We hope to contribute with new forms of trend research in HES according to the variables that define the missional statements oriented toward quality and efficiency.

Compartir