Banco
Interamericano
de Desarrollo
NOTA TÉCNICA
Las evaluaciones de programas
públicos de apoyo al fomento
y desarrollo de la tecnología
y la innovación en el sector
productivo en América Latina
Una revisión crítica
Andrés López
Abril 2009
Diálogo Regional de Política
Red de Innovación, Ciencia
y Tecnología
Este estudio forma parte de las actividades de la Red de Innovación, Ciencia y
Tecnología del Diálogo Regional de Política, programa de la Vicepresidencia
de Sectores y Conocimiento del Banco Interamericano de Desarrollo. A
través de seminarios hemisféricos y subregionales, la Red de Innovación,
Ciencia y Tecnología auspicia un espacio para que los responsables de la
definición de las políticas sectoriales en el campo de la innovación, la ciencia
y la tecnología de los diferentes países de la región intercambien ideas,
identifiquen problemáticas comunes, y realicen acercamientos que favorezcan
la consolidación de relaciones de cooperación entre las partes.
Esta nota se puede reproducir libremente siempre y cuando se cite la División
de Ciencia y Tecnología del BID, y a su autor. Las opiniones que se expresan en
el presente documento pertenecen a su autor y no necesariamente representan
las perspectivas ni la política del BID.
Índice
Prefacio . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . iii
Sobre el Autor . . . . . . . . . . . . . . . . . . . . . . . . . . . v
1
Introducción . . . . . . . . . . . . . . . . . . . . . . . . . . 1
El marco conceptual . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
2
Los resultados esperados
de las políticas . . . . . . . . . . . . . . . . . . . . . . . 5
Los datos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
Las metodologías. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
3
Las evaluaciones de política tecnológica
en América Latina . . . . . . . . . . . . . . . . . . . . 21
4
Conclusiones y recomendaciones. . . . . . . 29
Bibliografía . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
ANEXO: Breve Descripción de los Métodos
Econométricos Empleados en las
Evaluaciones . . . . . . . . . . . . . . . . . . . . . . . 43
i
Prefacio
El sector privado en América Latina es característicamente reacio a invertir en
tecnología e innovación, especialmente cuando se lo compara a la conducta prevaleciente en empresas de economías avanzadas. No puede extrañar, en consecuencia, que
una de las metas clave de la intervención pública en ciencia, tecnología e innovación
haya sido la de crear fondos que financian incentivos a proyectos empresariales
de innovación –a menudo con apoyo del Banco Interamericano de Desarrollo. La
operación y resultados de estos fondos han recibido una copiosa atención en una ya
numerosa colección de evaluaciones.
El estudio contenido en estas páginas pasa revista con perspectiva comparativa a
13 de estas evaluaciones de fondos de innovación, para extraer generalizaciones y
lecciones aprendidas. El balance de la discusión ofrece razones para el optimismo:
los fondos de innovación empresarial cuentan, consistentemente, con tasas costobeneficio y valores presentes netos positivos, lo que sugiere que tienen validez como
instrumento de política. Los principales temores en la aplicación de los fondos, en
particular la posibilidad de que desplacen inversión privada, no parece materializarse
en la práctica.
Pero hay mucho más de valor en lo que sigue. El autor explora en detalle los aspectos
metodológicos de estas evaluaciones, y fija estándares más altos que los existentes para
futuras evaluaciones, que, se sugiere, deben incorporar formas mejor fundamentadas
de definir los contrafactuales, adoptar perspectivas de largo plazo, y combinar mejor
el análisis cuantitativo y el cualitativo, para mencionar algunos temas pendientes.
Este trabajo, producido como parte de las actividades del Diálogo Regional de
Políticas en Innovación, Ciencia y Tecnología que lidera la División de Ciencia y
Tecnología del BID, puede ser leído con provecho por los responsables de la toma
de decisiones en política científica y tecnológica, así como por los administradores
de fondos y los analistas que están llamados a llevar a cabo futuras evaluaciones
similares. De manera relativamente excepcional, todos pueden beneficiarse de
aprender sistemáticamente de la experiencia en un área de la política pública que ha
sido sujeta a evaluación y análisis.
Flora Montealegre Painter
Jefa, División de Ciencia y Tecnología
iii
Sobre el Autor
El autor de esta nota innovadora es Andrés López. Actualmente Andrés López se desempeña
como Director del Centro de Investigaciones para la Transformación (Cenit), donde ha
trabajado desde 1991. Ha sido consultor de varias instituciones internacionales como
CEPAL, PNUD, BID, ECLAC, UNCTAD, INTAL, IDRC, WIPO, JICA.
Adicionalmente es Director de la Facultad de Ciencias Económicas de la Universidad
de Buenos Aires, donde además dicta cursos para sus programas de pregrado y posgrado.
También es profesor en la Universidad de San Andrés, e investigador del Consejo Nacional
de Investigaciones Científicas y Técnicas (CONICET).
Obtuvo su grado de Economista y título de Doctor en Ciencias Económicas en la Universidad
de Buenos Aires.
v
1
Introducción
En las últimas dos décadas se ha puesto en marcha un gran número de programas de
apoyo a la innovación en diversos países de América Latina. Esto marca un saludable
cambio en una región en donde las políticas de ciencia y tecnología (CyT) raramente
recibieron atención preferencial de parte del Estado. Asimismo, es indicio del
reconocimiento de que, además del papel que pueden jugar los organismos públicos
y las universidades como agentes de creación y difusión de conocimiento (agentes
que en el pasado tenían en general una presencia casi excluyente en las políticas
públicas de CyT en la región), el sector privado tiene un rol crucial en la dinámica de
la innovación, aún en países que, como los de América Latina, están por detrás de la
frontera tecnológica internacional.1
El sector privado
tiene un rol crucial
en la dinámica de
la innovación, aún
en países que, como
No hace falta repetir aquí que aún cuando la innovación sea un factor crucial desde el
punto de vista del desempeño competitivo de las firmas –tal como es generalmente
aceptado hoy en día tanto a nivel académico como de formulación de políticas
públicas– aquellas no siempre tendrán los recursos y las capacidades para llevar a cabo
las actividades necesarias para obtener resultados innovativos, ni para apropiarse de
esos resultados una vez obtenidos.
los de América
Diversos tipos de fallas de mercado pueden, por ejemplo, dificultar la realización
de actividades innovativas (falta de acceso a financiamiento, indivisibilidades en el
capital humano, insumos y equipamiento necesario, falta de información técnica,
etc.). Asimismo, la existencia de externalidades –que resulta fundamentalmente de
una insuficiente asimilación de los resultados de las actividades innovativas –lleva,
según argumentos bien conocidos, a una provisión sub-óptima de actividades
generadoras de conocimiento por parte del sector privado.
internacional.
Latina, están por
detrás de la frontera
tecnológica
Estos argumentos, entre otros, pueden justificar la adopción de diferentes tipos de
políticas de ciencia, tecnología e innovación que apuntan a resolver las mencionadas
fallas de mercado. Los países desarrollados fueron pioneros en la adopción de esas
políticas, pero, como dijimos antes, en América Latina, así como en otras partes del
1.Este trabajo fue realizado a solicitud del Banco Interamericano de Desarrollo (BID). El autor agradece los
comentarios de Alessandro Maffioli y Juan Carlos Navarro, así como los recibidos por las autoridades nacionales de
los gobiernos que participaron en la Reunión Subregional de la Red de Innovación, Ciencia y Tecnología del Diálogo
Regional de Política del BID celebrada en Lima, Perú los días 14 y 15 de octubre de 2008.
1
mundo en desarrollo, también son numerosos los países que desde hace tiempo
vienen haciendo esfuerzos en la misma dirección.
Claramente, para poner en marcha estas políticas se requiere de fondos, y ya sabemos
que los recursos públicos son escasos en nuestra región. No sorprende por ello que
sea usual que las políticas de CyT se fondeen también con recursos provenientes de
organismos multilaterales. En América Latina el Banco Interamericano de Desarrollo
(BID) ha jugado un rol crucial en ese sentido, apoyando diversos programas
destinados a fomentar las actividades innovativas en el sector productivo dentro de
la región.
Va de suyo que en la medida en que se ponen en juego recursos públicos y de la
cooperación internacional para financiar estas políticas, se hace necesario evaluar su
efectividad, tanto ex ante (previamente a la adopción de las iniciativas respectivas)
como ex post (evaluando el resultado concreto de las políticas) –y también durante
la vigencia de las mismas, para examinar la posibilidad de establecer correcciones.
Lamentablemente, no siempre se evalúan los resultados de las políticas, y cuando
las evaluaciones existen, no siempre tienen un carácter riguroso, aunque en años
recientes esta práctica, en gran medida por la presión de los organismos financiadores,
ha venido extendiéndose.
Ahora bien, una evaluación económica seria debe ir más allá de aproximaciones
ingenuas, que apunten meramente a generar estadísticas descriptivas que muestren
la evolución de la población objetivo sin analizar de manera rigurosa las causas de esa
evolución. El autor ha tenido la oportunidad de acceder a varios ejemplos de ese tipo
de evaluación, en donde por ejemplo se muestra que las empresas que recibieron un
determinado subsidio aumentaron sus ventas en un X por ciento, y luego se toma
eso como señal del éxito del programa –e incluso sobre esa base se estima la carga
impositiva adicional y se sacan conclusiones respecto del costo beneficio en materia
fiscal. Es obvio que ese tipo de enfoque dista de ser el apropiado para los objetivos de
una evaluación rigurosa.
En un contexto de recursos escasos y fines múltiples, siguiendo una antigua
definición de la economía como ciencia, podemos pensar que una forma de evaluar
el impacto de las políticas de ciencia y tecnología es estimar sus tasas internas de
retorno –naturalmente, considerando costos y beneficios sociales– y compararlas
con las resultantes de otros posibles destinos para los fondos públicos escasos.
Asimismo, otra posible vía de evaluación es analizar en qué medida las políticas
bajo examen han alcanzado los impactos esperados. Esto es, por ejemplo, si se trata
de políticas de apoyo a las actividades de innovación en las empresas, es natural
preguntarse si las empresas que reciben los fondos efectivamente incrementan sus
esfuerzos (representados generalmente a través del gasto respectivo) en dichas
2 Diálogo Regional de Politica, Red de Innovación Ciencia y Tecnologia
actividades. Usualmente, esta aproximación requiere el uso de técnicas econométricas
que buscan establecer algún tipo de escenario contrafactual para tratar de responder
a dicha pregunta.
Finalmente, más allá de los análisis de naturaleza cuantitativa, los estudios de caso
pueden aportar interesante evidencia cualitativa que permita conocer los resultados
de las políticas en términos de las actividades y resultados concretos obtenidos
a partir de su instrumentación, así como de las dificultades que puedan existir en
materia de información, acceso, procedimientos administrativos, etc.
Asimismo, los estudios de caso son cruciales para entender los marcos institucionales
concretos en los que se aplican las políticas respectivas, marcos que pueden tener una
influencia determinante sobre sus resultados. Los estudios de caso también pueden
dar cuenta del proceso de aprendizaje en la instrumentación de las políticas, así como
de la acumulación de capacidades en materia de diseño, aplicación y monitoreo de
los instrumentos respectivos.
Entendemos que estas tres aproximaciones, lejos de ser alternativas, son complementarias. Este es el mensaje que pretende transmitir este trabajo. Como veremos,
por diversas razones, las evaluaciones más recientes en materia de política tecnológica
se inclinan fundamentalmente por la aproximación econométrica (o por lo menos
hay un mayor sesgo a publicar ese tipo de evaluaciones), y en menor medida por la
estimación de retornos económicos vía tasas internas de retorno, siendo muy escasos
los ejemplos de estudios de caso (entendiendo por estudios de caso algo mucho
más articulado que la colección de casos exitosos que usualmente compilan las
agencias ejecutoras). En cambio, en el pasado, y en un contexto en donde las políticas
tecnológicas usualmente eran mission-oriented o bien apuntaban a promover
fundamentalmente la actividad de organismos públicos y universidades, los estudios
de caso analizando los resultados e impactos de dichas políticas eran más usuales
(aunque sólo excepcionalmente se avanzaba hacia estimaciones costo-beneficio, ya
que generalmente se buscaba analizar más bien la eficacia más que la eficiencia de
dichas políticas).2
Este sesgo replica lo ocurrido en el campo de los estudios de innovación en general.
En efecto, entre los ‘60 y los ’80 existía, al menos en América Latina, una venerable
tradición de estudios de caso que permitían tener un panorama bastante fiel de la
dinámica cualitativa del cambio tecnológico en la región y sus impactos microeconómicos, aunque raramente se avanzaba hacia la estimación numérica de dichos
impactos. Al presente, esos estudios son menos abundantes tal vez, en tanto que
gracias a la abundancia de encuestas de innovación producidas en años recientes
proliferan los estudios de naturaleza econométrica.
2. Los estudios basados en el enfoque del sistema nacional de innovación parten naturalmente de una perspectiva
sistémica, pero por su alcance quedan fuera de los objetivos de este trabajo.
Las evaluaciones de programas públicos de apoyo al fomento y desarrollo de la tecnología y la innovación en el sector productivo en América Latina 3
Tanto para el
estudio de la
dinámica de la
innovación, como
para la evaluación
de los resultados
de las políticas
Lo cierto es que, tanto para el estudio de la dinámica de la innovación, como para
la evaluación de los resultados de las políticas de fomento a la misma, es preciso
combinar aproximaciones cuantitativas y cualitativas; sobre esto volvemos más abajo
en varios lugares de este documento.
Pero el propósito de este trabajo va más allá de comparar las ventajas y desventajas de
las diversas aproximaciones al problema de la evaluación. También nos interesa, de
manera crucial, saber qué hemos aprendido en materia de resultados de las políticas
tecnológicas implementadas en América Latina en los últimos años, y que es lo
que nos falta saber al respecto. Como lo sugiere el título del trabajo, nos enfocamos
en las políticas orientadas al sector productivo, aunque también se han producido
interesantes ejercicios de evaluación de instrumentos de política científica en años
recientes.3
de fomento a
la misma, es
preciso combinar
aproximaciones
cuantitativas y
cualitativas.
Sobre estas bases, el artículo se organiza como sigue. En la sección 2 se discute el
marco conceptual, incluyendo la discusión de cuáles son los resultados esperados de
las políticas, los alcances y limitaciones de los métodos alternativos de evaluación y
la cuestión de la disponibilidad de los datos necesarios para implementar de manera
apropiada cada metodología. La sección 3 se enfoca al análisis comparativo de los
resultados de las políticas de innovación implementadas en la región a través de una
revisión de las evaluaciones disponibles producidas en años recientes. Finalmente se
plantea una agenda a futuro y recomendaciones para avanzar tanto cuantitativa como
cualitativamente en los ejercicios de evaluación de las políticas de innovación.
3. Por ejemplo, Benavente et al (2007b) y Chudnovsky et al (2006c).
4 Diálogo Regional de Politica, Red de Innovación Ciencia y Tecnologia
El marco conceptual
2
Los resultados esperados de las políticas
Lo primero a tener en cuenta al evaluar los resultados de las políticas de apoyo a
la innovación en el sector productivo es que dichos resultados pueden ser diversos,
tanto porque distintas políticas pueden apuntar a diferentes resultados, como porque
un mismo instrumento puede tener más de un impacto posible.
En primer lugar, si hablamos de políticas de apoyo vía subsidios directos, exenciones o
deducciones fiscales o créditos preferenciales (que son usualmente las más utilizadas
y las más importantes en términos presupuestarios), esperaríamos que las iniciativas
respectivas generen un impacto positivo sobre los esfuerzos que las firmas realizan
en materia de I&D (o en otro tipo de actividades de innovación apoyadas por las
políticas públicas en cuestión). Este último caveat es muy importante, ya que en
América Latina los gastos en I&D son usualmente bajos, pero las firmas desarrollan
otros tipos de actividades de innovación que son cruciales para su desempeño
competitivo (y es por eso que muchas veces las políticas públicas van más allá de la
I&D, especialmente cuando se trata de apoyar a PyMEs).
Este es el tradicional análisis en términos de crowding in/crowding out del gasto
privado en innovación y la pregunta clave aquí es si el acceso a fondos públicos genera
un efecto de complementariedad o adicionalidad (crowding in) en el gasto privado
o si ese efecto es más bien de sustitución (crowding out). En rigor, la adicionalidad
puede medirse o no neta de subsidio (Hall y Maffioli, 2008). Esto es, puede ocurrir
que la firma incremente su gasto en I&D por el monto del subsidio recibido (no
hay crowding out pero tampoco efecto multiplicador), o que lo haga más allá de ese
monto (en este caso, habría efecto multiplicador). Claramente, este segundo caso
sería el objetivo más deseable desde el punto de vista de la política.
En orden a discutir los escenarios de crowding in-crowding out es útil recurrir a los
tres casos que distinguen David et al. (2000). El primero involucra a una empresa
que tiene restricciones de acceso al crédito y no puede financiar su nivel óptimo de
I&D ni con fondos internos ni mediante fondos externos.4 En este caso, el subsidio
incrementaría el nivel de gastos en I&D por su monto total, haciendo posible que la
firma alcance aquel nivel óptimo ya mencionado.
4. El resumen de esta discusión está tomado de Chudnovsky et al (2006a).
5
Un segundo caso se da cuando la firma no puede financiar su nivel óptimo de gastos
con fondos propios, pero sí mediante el acceso a fondos externos. En este caso,
el subsidio incrementaría el nivel de gastos en I&D de la firma pero por menos
del monto recibido. Finalmente, un tercer caso ocurre cuando la firma no tiene
restricciones de financiamiento, y por lo tanto el subsidio puede no generar inversión
adicional en I&D.
Es preciso evaluar
si las políticas de
apoyo les permiten
a las empresas ser
más innovadoras,
esto es, obtener
innovaciones de
producto, proceso,
organizacionales,
etc. que no
hubieran podido
lograr sin el apoyo
público.
En cualquiera de los tres casos, el otorgamiento de fondos públicos puede actuar
adicionalmente como señal para inversores externos y disminuir el costo de acceso
de las firmas al crédito para innovación.
Los dos primeros casos y el efecto “señal” dan fundamento teórico a la existencia
de un efecto crowding in, mientras que el tercero corresponde a un escenario de
posibles crowding out (podría ser el caso, por ejemplo, cuando los fondos se asignan
a proyectos con mayor probabilidad de éxito, y, por tanto, con mayor capacidad de
acceder a financiamiento). Por cierto, hay otros efectos indirectos a considerar, por
ejemplo, la posibilidad de que los subsidios públicos incrementen el precio de los
insumos necesarios para las actividades de I&D y, por tanto, incrementen el costo de
los proyectos no subsidiados, generando una externalidad negativa para la inversión
en I&D financiada privadamente.
Ciertamente, la llamada “adicionalidad de insumos” (la discusión crowding in-crowding
out) no es la única dimensión que debe abordar una evaluación de políticas de apoyo
al desarrollo tecnológico del sector privado. En primer lugar, no hay una dependencia
lineal entre gastos y resultados innovativos. En consecuencia, también es preciso
evaluar si las políticas de apoyo les permiten a las empresas ser más innovadoras,
esto es, obtener innovaciones de producto, proceso, organizacionales, etc. que no
hubieran podido lograr (o que hubieran tardado más tiempo en lograr) sin el apoyo
público.
En segundo lugar, la innovación no es un fin per se, sino un medio para que las firmas
mejoren su desempeño y su rentabilidad. Debemos analizar entonces si las firmas que
reciben el apoyo público efectivamente tienen un desempeño mejor que la población
no beneficiada en términos de indicadores tales como ventas, productividad, empleo,
rentabilidad, exportaciones, etc. Por cierto, debe quedar claro que si la política bajo
evaluación no conduce a un aumento del esfuerzo innovador, claramente sería difícil
que, aunque la evaluación encontrara mejoras de desempeño, ellas pudieran ser
atribuidas a la política examinada.
Asimismo, se supone que los procesos innovativos pueden generar externalidades,
tanto por la propia ejecución de los mismos como por sus potenciales resultados. En
otras palabras, el retorno apropiable privadamente por los beneficiarios directos de
las políticas de apoyo debería ser inferior al retorno social total (volvemos sobre esto
6 Diálogo Regional de Politica, Red de Innovación Ciencia y Tecnologia
más abajo). Análogamente, no se debe descartar tampoco la posibilidad de que el
desempeño de los no participantes se vea perjudicado por el programa (por ejemplo,
al perder competitividad relativa). En otras palabras, no sería descartable la existencia
de derrames o externalidades (spillovers) “negativas.”
En consecuencia, tendríamos un modelo en tres etapas, donde primero el subsidio
público debería tener un impacto sobre los gastos en I&D (o en innovación entendida
en sentido amplio), luego el incremento en dichos gastos debería estimular la
obtención de resultados en términos de innovaciones comercializables y finalmente
estas innovaciones deberían generar retornos positivos, tanto privados como sociales,
siguiendo el esquema planteado en el llamado modelo CDM (Crepon, Duguet y
Mairesse, 1998).
A la vez, si las empresas beneficiadas mejoran su desempeño y generan externalidades,
es esperable que se produzca un incremento en la recaudación impositiva que podría
disminuir, o incluso hacer nulo, el costo fiscal de las políticas de apoyo (aspecto
importante para convencer a Ministros de Hacienda preocupados por la marcha de
las cuentas públicas).
Pero aquí no terminan los aspectos a evaluar en relación con una política de
innovación. Como lo señalan Hall y Maffioli (2008), la aproximación descrita trata
básicamente a la firma como una caja negra en donde el uso de determinados insumos
(gastos en innovación), genera determinados resultados (innovaciones de diverso
tipo). Sin embargo, nos interesa también mirar el impacto de las políticas sobre el
comportamiento a largo plazo de la firma, lo que se conoce como adicionalidad de
comportamiento (behavioural additionality) (OECD, 2006). Este concepto nace en
gran medida como respuesta ante la insatisfacción respecto de los alcances de las
evaluaciones tradicionales, en particular en cuanto a la dificultad para atribuir los
resultados innovativos a una sola intervención de política determinada.5 Se trata
de un punto extremadamente importante, en tanto que el impacto de las políticas
de innovación debería ir más allá de efectos puntuales sobre el nivel de gastos o la
obtención de un nuevo producto o proceso determinado, lo cual implica que debería
tener consecuencias más o menos permanentes sobre la conducta empresarial en
materia de actividades tecnológicas.
Como veremos, en algunas evaluaciones se intenta captar este tipo de efectos, que
podrían tener que ver, por ejemplo, con la institucionalización de las actividades
de I&D en la empresa, la aceleración del proceso innovativo (reducción del tiempo
necesario para llegar con una innovación al mercado), el mejor acceso a fuentes
externas de conocimiento o financiamiento, el aumento del alcance o calidad de
las actividades innovativas, la adquisición de nuevas competencias en gerencia o
5. Este enfoque se aplica usualmente, por ejemplo, para evaluar políticas de extensión agropecuaria, en donde es
fundamental evaluar el impacto sobre las conductas de los agricultores.
Las evaluaciones de programas públicos de apoyo al fomento y desarrollo de la tecnología y la innovación en el sector productivo en América Latina 7
mercadeo, el reforzamiento o inicio de vínculos con otros agentes del sistema de
innovación, etc.
Está claro asimismo que todo lo analizado hasta ahora se basa en un enfoque de
equilibrio parcial, en donde solo se toman en cuenta las repercusiones directas de
las políticas evaluadas sobre los beneficiarios y eventualmente sobre otros agentes
–competidores, proveedores, clientes, socios, etc.– que pueden verse beneficiados (o
perjudicados) a través de distintos tipos de externalidades. Sin embargo, obviamente
podría haber impactos más indirectos que sólo serían captables a través de enfoques
de equilibrio general, los cuales hasta donde conocemos, no han sido aplicados a la
evaluación de este tipo de políticas.
A su vez, hay impactos que pueden producirse aún cuando los proyectos promovidos
fracasen desde el punto de vista tecnológico o comercial (y por cierto esos impactos
también se pueden dar si los proyectos son exitosos). Por ejemplo, los investigadores
o técnicos que trabajan en los proyectos pueden aprender cosas nuevas o generar
conocimiento útil para otros proyectos o para las actividades rutinarias de la firma.
En este caso, estamos hablando de mejoras en materia de capital humano, las cuales,
por cierto, no necesariamente son apropiadas por las firmas beneficiarias directas de
un programa, sino que pueden ser también aprovechadas por otras empresas en la
medida en que exista suficiente movilidad de personal.
Claramente, hay otras políticas de apoyo a la innovación en donde los objetivos
son diferentes a los de los instrumentos hasta aquí analizados, y que merecen,
en consecuencia, tratamientos distintos en cuanto a la evaluación. Por ejemplo,
puede haber programas que tiendan a resolver fallas de mercado que afectan a
ciertos segmentos de empresas, en general PyMEs, a través de un mejor acceso a la
información técnica, o a proveedores especializados de servicios tecnológicos. Idem
en materia de capital humano (por ejemplo, programas que faciliten la incorporación
de ingenieros o tecnólogos en las empresas). También hay iniciativas que tienden a
facilitar el uso por parte de las PyMEs de los sistemas de propiedad intelectual. Si bien
estas políticas generalmente consumen muchos menos recursos monetarios que las
arriba tratadas, su impacto puede ser muy relevante (en especial en países como los
de nuestra región), y ciertamente también merecen ser evaluadas siguiendo lógicas
similares a las antes descritas –esto es, evaluando los distintos tipos de impactos que
pueden tener en cada caso.
A su vez, en el otro extremo si se quiere, existen políticas tecnológicas que apuntan a
objetivos más ambiciosos o comprehensivos. En este caso, la medición de impactos
puede ser complicada, ya que, por ejemplo, puede tratarse de intervenciones
asociadas a la promoción del desarrollo de un sector específico, usualmente de altatecnología. Aquí, casi por definición, se hace preciso explorar las repercusiones de la
8 Diálogo Regional de Politica, Red de Innovación Ciencia y Tecnologia
política a través de modelos más amplios, en donde se puedan evaluar los impactos
de dicho sector sobre la economía en su conjunto.
Pero más allá de cual sea el o los objetivos buscados por la política bajo análisis, no
necesariamente basta con verificar que se cumplen para arribar a la conclusión de que
la adopción de la política está justificada. Como se dijo antes, los recursos públicos son
escasos y los fines de política múltiples. Puede ocurrir, por ejemplo, que un subsidio
a actividades de innovación pase el test del crowding in, y contribuya a mejorar el
desempeño innovativo y empresarial de la población beneficiada, pero resulte menos
rentable, socialmente, que otras políticas en las que el Estado potencialmente podría
invertir recursos.
Dado que hablamos de beneficios sociales, la evaluación debería captar no sólo los
rendimientos apropiados por las empresas beneficiarias, sino también las externalidades que hacen que, en teoría al menos, la tasa de retorno social del proyecto sea
mayor que la tasa de retorno privada.6 Los primeros se estiman usualmente a través
de un cálculo del incremento en los beneficios privados obtenidos por las empresas
receptoras gracias al desarrollo del proyecto.
En tanto, siguiendo a Jaffe (1998), los mecanismos a través de los cuales las
actividades de I&D (y, por extensión, las de innovación) generan externalidades son
esquemáticamente tres: i) el conocimiento generado por un agente puede ser utilizado
por otro sin compensación (“externalidades de conocimiento”); ii) la disponibilidad
en el mercado de un nuevo producto o proceso puede beneficiar a los clientes de
la firma innovadora permitiéndoles aumentar sus ventas o disminuir sus costos en
mayor proporción que lo que gastan en adquirir la innovación (“externalidades de
mercado”) y iii) el valor comercial o económico de una nueva tecnología puede
depender fuertemente de un conjunto de tecnologías relacionadas (“externalidades
de red”).
Ciertamente, la estimación de estas externalidades es compleja, y aunque hay algunos
trabajos que intentan aproximarse a su importancia (en los países desarrollados
fundamentalmente), las evaluaciones de política tecnológica en general no los
incluyen, y cuando lo hacen, se limitan principalmente a los de “mercado,” que son
los más fáciles de monetizar. Ampliando la lista de Jaffe, estos últimos podrían incluir
también a los captados por los proveedores de la firma beneficiada –el mayor valor
agregado para los nuevos proveedores creados gracias al desarrollo del proyecto en
cuestión, descontando las pérdidas sufridas por proveedores que pueden quedar
desplazados del mercado por la innovación generada.
6. En Griffith (2000) se reporta que mientras que la tasa de retorno privada de los gastos en innovación se ubica en
torno del 10–15%, pudiendo llegar a ser del 30% en algunos casos, las externalidades generadas suponen tasas de
retorno social que pueden alcanzar al 100%.
Las evaluaciones de programas públicos de apoyo al fomento y desarrollo de la tecnología y la innovación en el sector productivo en América Latina 9
La lógica general de
una evaluación de
retornos sociales
parte de comparar
las situaciones “con
y sin proyecto”, y
estimar una tasa
interna de retorno
(TIR) y/o un
valor actual neto
(VAN) resultante
de la adopción del
proyecto (o de la
aceleración de su
concreción gracias
al subsidio).
La lógica general de una evaluación de retornos sociales parte de comparar las
situaciones “con y sin proyecto,” y estimar una tasa interna de retorno (TIR) y/o un
valor actual neto (VAN) resultante de la adopción del proyecto (o de la aceleración
de su concreción gracias al subsidio). Las TIR resultantes se pueden comparar con
las obtenibles en otros proyectos o aplicaciones; complementaria o alternativamente,
el proyecto puede resultar económicamente justificado si el VAN –estimado en base
a cierta tasa social de descuento considerada apropiada– resulta superior a cero. Este
tipo de enfoque es aplicado, por ejemplo, en evaluaciones del Advance Technology
Program (ATP) de Estados Unidos, llevadas a cabo por el Research Triangle Institute
(RTI) en diversos trabajos.7
La dificultad, ciertamente, no consiste en el cálculo de los respectivos TIR y VAN –
se trata de metodologías bien conocidas, existiendo además técnicas que permiten
realizar análisis de sensibilidad de manera relativamente simple-, sino en estimar los
escenarios contrafactuales. Una posibilidad es elaborar dicho escenario recurriendo
a la información que brindan los beneficiarios (a los cuales se les pide que informen
respecto de la evolución de la empresa en caso de no haber adoptado el proyecto).
La alternativa, menos subjetiva y más rigurosa, pero más difícil de implementar
por la necesidad de contar con bases de datos a nivel empresa, es utilizar técnicas
econométricas que permitan estimar el valor agregado adicional atribuible a la
participación de las empresas en el programa. En ambos casos, los beneficios
resultantes se comparan con los costos del programa.
Finalmente, los estudios de caso pueden ser muy útiles al entregar información
cualitativa que permita entender qué tipo de actividades son desarrolladas gracias
a los proyectos financiados, qué objetivos buscan las empresas a través de dichas
actividades, la naturaleza y alcance de los resultados innovativos obtenidos (o las
razones del fracaso en obtener dichos resultados), la existencia o no de vínculos con
otras organizaciones para la realización de las actividades de innovación, la aparición
de efectos más permanentes sobre la dinámica innovativa de la firma más allá del
proyecto concreto realizado gracias al programa, etc.
Ciertamente, en parte alguna de estas preguntas puede ser captada a través de
encuestas y luego procesada cuantitativamente. Sin embargo, aún considerando
esa posibilidad, si no se dispone de estudios de caso, será difícil obtener lecciones
para los responsables de la toma de decisiones en cuanto al diseño específico de los
instrumentos bajo evaluación. Las evaluaciones cuantitativas son cruciales para saber
si una política funciona o no, o cual es su tasa de retorno (esto es, para saber qué parte
de los efectos observados es atribuible a las intervenciones de política), pero sin los
estudios de caso los hacedores de política carecen de información cualitativa crucial
7. Martin et al. (1998) utilizan este enfoque para analizar el financiamiento del ATP a empresas que desarrollan
tecnologías en el área de la medicina, mientras que Gallagher et al. (2002) lo hacen para evaluar el financiamiento del
ATP a empresas dedicadas al desarrollo de software.
10 Diálogo Regional de Politica, Red de Innovación Ciencia y Tecnologia
para entender la cambiante dinámica real de los procesos de innovación y como estos
se insertan en los objetivos más generales de las firmas objetivo de la política.
Asimismo, los estudios de caso pueden arrojar luz respecto del funcionamiento
operativo de los programas, en particular sobre aspectos vinculados a costos
administrativos, tiempo insumido en los procedimientos burocráticos y eficacia y
transparencia de los procesos de evaluación, entre otros temas. También pueden
ayudar a saber en qué medida la población objetivo los conoce y participa de ellos,
las dificultades que pueden encontrar las empresas para acceder a los mismos, etc.
Los estudios de caso también pueden entregar información respecto de la inserción
institucional de los programas y la forma en que se toman decisiones respecto de
los presupuestos, instrumentos, montos, procesos de selección, etc. Además, a través
de dichos estudios se puede entender la evolución de los programas, así como los
cambios en ellos ocurridos, contextualizando esos fenómenos en el marco más
amplio del escenario de política económica general de los países respectivos.
Más allá de su valor intrínseco, toda esta información cualitativa puede ayudar tanto
al diseño de las evaluaciones como a la interpretación de sus resultados, así como a la
realización de ejercicios comparativos entre programas que pueden ser parecidos en
su diseño básico, pero tener diferencias en sus aspectos concretos de instrumentación,
institucionalidad y procedimientos, así como en el contexto nacional específico en el
cual se implementan.
Los datos
No siempre es fácil encontrar las variables que permitan medir los resultados
esperados de un programa. Comenzando por las evaluaciones de tipo econométrico,
el caso más simple probablemente es el de los gastos en I&D o innovación, ya que
una encuesta ad hoc a las firmas beneficiarias y a un grupo de control apropiado
(o encuestas de innovación ya disponibles que se realicen regularmente en el país
y cuenten con la información necesaria) permite conocer el nivel de gastos antes y
después de recibido el apoyo.
La variable dependiente más usada en este caso es el gasto anual en I&D (aunque
hay trabajos que toman el personal en I&D como proxy del esfuerzo respectivo).
En ocasiones este gasto se mide en logaritmos para compensar los sesgos en la
distribución de la variable.8 También es importante evitar que esta variable se vea
distorsionada por efectos vinculados a tamaño, que si bien pueden ser captados por
el uso de variables explicativas representativas tales como empleo o ventas, son mejor
8. Ver, por ejemplo, Czarnitzki y Licht (2006).
Las evaluaciones de programas públicos de apoyo al fomento y desarrollo de la tecnología y la innovación en el sector productivo en América Latina 11
tratados si el gasto en I&D se divide por el número de empleados o la facturación de
la empresa.9
Si hablamos de los resultados innovativos, la evidencia muestra que es difícil hallar
un indicador que esté exento de problemas. En algunos casos, esos resultados se
miden por el número de patentes obtenidas por las firmas.10 Más allá de que este es
un indicador insatisfactorio dado que no toda patente es indicio de que la firma haya
obtenido una innovación comercializable en el mercado y que no toda innovación
útil es patentada, las patentes son particularmente poco apropiadas para evaluar
resultados de políticas de apoyo a la innovación en países en desarrollo, ya que
raramente las firmas de dichos países dirigen sus esfuerzos innovativos a obtener
innovaciones patentables.
Otros dos indicadores usualmente empleados son: a) preguntarle a la firma si obtuvo
o no innovaciones como resultado del apoyo obtenido; b) preguntarle el porcentaje
de sus ventas que provienen de productos mejorados o mejorados gracias al apoyo
obtenido (en ambos casos puede no hacer falta vincular directamente la respuesta
con el apoyo obtenido, ya que con técnicas econométricas apropiadas se podría
comparar la situación antes y después del proyecto y tratar de ver si el apoyo potenció
o no los resultados innovativos de la empresa).11 En cualquier caso, estas preguntas
no carecen tampoco de dificultades. En el primer caso, se trata de un indicador
extremadamente subjetivo y que además no permite saber la relevancia económica o
el alcance de las innovaciones obtenidas. En el segundo, además de que no siempre
es fácil de calcular, se está omitiendo el impacto de las innovaciones de proceso y
organizacionales. Una manera de acotar la discrecionalidad de esta variable sería
considerar únicamente las innovaciones “nuevas para el mercado,” pero las respuestas
a esta pregunta también son subjetivas y, ciertamente, podría ser importante que en
el caso de los países en desarrollo se consideren también el impacto de los programas
sobre innovaciones que no son novedosas a nivel mercado, pero sí para la firma y que
pueden ser relevantes para su desempeño.
En cuanto a la adicionalidad de comportamiento, como lo señala la OECD (2006),
es posible que los indicadores a utilizar varíen según el tipo de empresa (en función
de su tamaño, sector de actividad, etc.). A su vez, deberían distinguirse los niveles
“operacionales,” en donde puede ser importante captar factores tales como la
adquisición de nuevas capacidades organizacionales, de los estratégicos, donde pueden
ser relevantes aspectos como la formación de alianzas, o los cambios en las estrategias
tecnológicas de las firmas. Entre las preguntas que pueden captar el concepto de
adicionalidad de comportamiento, la OECD (2006) menciona las siguientes: acceso
a financiamiento externo, incorporación de nuevos socios estratégicos, mejoras en la
9. Ver Görg y Strobl (2007).
10. Ver Czarnitzky y Licht (2006) y Czarnitzki y Hussinger (2004).
11. Ver Hujer y Radic (2005).
12 Diálogo Regional de Politica, Red de Innovación Ciencia y Tecnologia
calidad de productos, reducción de los tiempos de desarrollo de nuevos productos,
realización de proyectos innovativos más ambiciosos o riesgosos, cambios en las
estrategias competitivas o de patentamiento, mejoras en los procesos productivos,
ingreso a nuevas áreas tecnológicas, formalización de los procesos innovativos,
mejora de los equipos de investigación, mejora en las capacidades de gestión de los
proyectos de I&D, entre otros.
Si algunos de estos elementos pueden ser captados mediante indicadores cuantitativos
(con ciertas limitaciones, por ejemplo en cuanto a la noción altamente subjetiva de
lo que una firma entiende por una “alianza”), otros parecen más complejos de ser
representados de manera “objetiva” (por ejemplo, los cambios en las estrategias
empresariales). En todo caso, dado que se trata de un concepto relativamente nuevo,
es probable que se necesite tiempo para ir afinando la definición de los indicadores
relevantes. Los estudios de caso pueden ayudar a detectar la adicionalidad de
comportamiento, aún cuando no necesariamente se puedan evaluar de manera
cuantitativa los efectos captados a través de ese instrumento.
Finalmente, en cuanto al desempeño, está claro que en última instancia lo que debería
interesar es el impacto sobre la rentabilidad. Sin embargo, este es el dato más difícil
de obtener empíricamente, ya que es raro que haya bases de datos con información
por empresa sobre rentabilidad (salvo para aquellas que cotizan en Bolsa) y mucho
menos que esa información sea comparable entre empresas (dadas las diferencias
que puede haber en las formas de estimarla). A su vez, no es factible pensar en que
se pueda indagar vía encuestas sobre este tema, que es usualmente sensible para las
empresas.
Dada esta limitación, usualmente se toman otros indicadores, tales como ventas,
empleo, exportaciones o productividad (y aquí lo ideal sería tomar productividad
total de factores, pero nuevamente aparece un problema de información, en este
caso respecto de la valoración del factor capital, dato que usualmente no está
disponible en las encuestas y bases de desempeño empresarial). Como veremos en
la sección donde se revisan los resultados de las evaluaciones, ante la variedad de
indicadores potencialmente relevantes, no extraña que dichos resultados muestren
heterogeneidad.
Más importante, en el caso del desempeño empresarial no resulta razonable esperar
que los impactos puedan estimarse de manera inmediata. La cuestión temporal ya es
importante aún en el caso de los resultados innovativos (por ejemplo, puede tomar
tiempo para que una firma aplique y mucho más obtenga una patente, o incluso para
que comercialice exitosamente una determinada innovación). Pero ciertamente este
es mucho más claramente el caso cuando hablamos del desempeño, ya que puede
tomar tiempo el traslado desde contar con una innovación comercializable, hasta
obtener resultados positivos en materia de productividad o rentabilidad (debido a
Las evaluaciones de programas públicos de apoyo al fomento y desarrollo de la tecnología y la innovación en el sector productivo en América Latina 13
efectos aprendizaje o escala, por ejemplo). En consecuencia, un análisis completo de
un programa de apoyo a la innovación puede tomar varios años.12
La vía para captar
los datos que
permitan realizar
las estimaciones
respectivas
inevitablemente
pasa por la
realización de
encuestas ad hoc o
el uso de encuestas
de innovación ya
disponibles.
Todo esto que hemos venido diciendo en esta sección no intenta ser de ningún
modo una invitación a dejar de lado las evaluaciones ante la dificultad para obtener
indicadores ciertos que representen los resultados de las políticas bajo examen. La
intención es meramente señalar las limitaciones de los indicadores disponibles, en
aras de una interpretación correcta de los resultados de las evaluaciones.
En cualquier caso, la vía para captar los datos que permitan realizar las estimaciones
respectivas inevitablemente pasa por la realización de encuestas ad hoc o el uso
de encuestas de innovación ya disponibles. Los organismos ejecutores de los
programas deberían mantener bases de datos que permitan disponer de una parte
de la información necesaria en el caso de la población beneficiaria, pero difícilmente
esos organismos puedan recopilar información de la población no beneficiaria (que
puede incluir, como un caso de interés especial, al grupo de firmas que se presentó
para solicitar fondos y no los obtuvo).
Dada la gran magnitud de datos necesarios (y por cierto aquí no hemos mencionado,
pero va de suyo que resultan imprescindibles, la necesidad de disponer de variables
de control que permitan conocer datos tales como el tamaño de la firma, el perfil de
su personal en términos del nivel de calificación, el origen del capital, etc.), lo ideal
sería que las evaluaciones pudieran basarse en bases de datos integradas por diversas
bases específicas que recopilen información sobre innovación, desempeño, comercio
exterior, empleo, etc. Este tipo de bases está disponible, por ejemplo, en el IPEA en
Brasil. Cuando esto no exista, será preciso recurrir a encuestas ad hoc.
Si pasamos ahora a las evaluaciones de retornos económicos, como se dijo antes,
una posibilidad es realizar estimaciones econométricas. Aquí, los datos provendrían
de encuestas cuantitativas a empresas del tipo de las mencionadas más arriba. La
idea es comparar el desempeño en materia de valor agregado y/o productividad de
las empresas beneficiadas con un grupo de control, asumiendo que las diferencias
encontradas en dichas variables de desempeño entre ambos grupos (una vez
realizados los controles apropiados) ilustran sobre el retorno atribuible al programa
bajo evaluación.
La otra alternativa es realizar encuestas específicas a las empresas beneficiarias. Si
hablamos de evaluaciones ex ante, se trata de pedirle a las empresas que anticipen los
escenarios probables de su evolución a futuro en los casos con y sin subsidio. En el
12. Aunque no se trata de un paper destinado a evaluar el impacto de un programa de financiamiento, es interesante
tomar en cuenta los resultados de Benavente et al (2005), quienes muestran, para un panel de firmas innovativas
chilenas, que la tasa de retorno de los gastos en I&D era tres veces mayor que la correspondiente a la inversión en
capital físico. Sin embargo, los gastos en I&D tenían un retorno inmediato negative, lo cual sugería la existencia de
efectos de aprendizaje o escala.
14 Diálogo Regional de Politica, Red de Innovación Ciencia y Tecnologia
caso de evaluaciones ex post, se trata de comparar la situación con subsidio –que fue la
que realmente ocurrió– con un eventual contrafactual sin subsidio (los escenarios sin
subsidio serían la línea de base de la comparación). A su vez, la situación sin subsidio
puede implicar que el proyecto de innovación no se hubiera llevado adelante, o que
se hubiera desarrollado de todos modos pero en un tiempo más largo. La subjetividad
de las respuestas ante estas preguntas es difícil de eliminar, en particular porque la
construcción de escenarios contrafactuales se basa en datos que provienen de los
propios beneficiarios (que podrían tener un sesgo a hacer aparecer el programa como
rentable, “inflando” los beneficios de la situación con subsidio).13
Los datos necesarios en este caso son aquellos que permitan estimar los beneficios
derivados de la adopción del proyecto contra la situación de línea de base. Por
ejemplo, si se trata de una innovación de producto se necesita conocer el monto
de las ventas incrementales generadas por dicha innovación vis a vis la situación
sin proyecto, descontando los costos adicionales necesarios para la producción
y comercialización del nuevo bien. En el caso de innovaciones de proceso, por
ejemplo, el mayor beneficio puede provenir de ahorros de costos frente a la situación
sin proyecto. Esto se aplica tanto a la firma beneficiada directamente, como a
proveedores (que podrían ver incrementadas sus ventas) y a clientes (que podrían
verse beneficiados por reducciones de costos). El caso ideal sería aquel en el que se
consulta directamente a esos clientes y proveedores, aunque en la práctica es usual
que se recurra a información generada por la propia empresa beneficiaria.
Esto último nos conecta directamente con el ya mencionado tema de las externalidades, que es importante tanto para las aproximaciones econométricas como
para los estudios de retorno económico. Como ya dijimos, es sabido que, al menos
en teoría (y las mediciones disponibles para países desarrollados confirman esto),
la tasa de retorno social de las actividades de innovación es superior a la apropiable
privadamente. Sin embargo, no siempre es posible monetizar las externalidades, o no
siempre se cuenta con la información necesaria para hacerlo.
Partir de las tres vías de generación de externalidades tal como las clasifica Jaffe puede
ser de ayuda en este sentido. Las externalidades de conocimiento pueden medirse a
través del impacto sobre el desempeño tecnológico de otras firmas derivado de la
actividad innovativa de la empresa beneficiada por un programa de apoyo. Esas otras
firmas pueden ser competidores, socios, proveedores o clientes de la empresa en
cuestión, y estudios de carácter econométrico podrían ayudar a identificar el signo
y magnitud de esas externalidades (ya que también, por ejemplo, los competidores
podrían recibir externalidades negativas por quedar rezagados en la competencia
innovativa). Las externalidades de conocimiento también podrían darse vía movilidad
de capital humano, pero esta última es usualmente difícil de medir.
13. Nótese que esto no ocurre con las encuestas de innovación, en donde no se compara la situación con y sin
proyecto de una firma, sino la del grupo beneficiario y un grupo de control.
Las evaluaciones de programas públicos de apoyo al fomento y desarrollo de la tecnología y la innovación en el sector productivo en América Latina 15
Los estudios
de caso pueden
arrojar información
cualitativa
útil sobre el
funcionamiento de
los programas que
no es conocible
mediante estudios
de naturaleza
econométrica
o de retornos
económicos.
En cuanto a las externalidades de mercado, tienen que ver con externalidades
monetarias que fluyen fundamentalmente hacia clientes, competidores y proveedores.
La aproximación econométrica es aquí posible en la medida en que existan las bases de
datos necesarias. En tanto, las evaluaciones de retorno económico en base a encuestas
a empresas beneficiarias, con las limitaciones ya explicadas, podrían también ayudar
a estimar este tipo de externalidades. Finalmente, las externalidades de red son tal vez
las más difíciles de monetizar, por lo menos con el tipo de instrumentos hasta ahora
disponibles.
Los estudios de caso pueden ayudar a detectar externalidades de los tres tipos,
más allá de que la monetización de las mismas pueda ser difícil o imposible. En
todo caso, dichos estudios pueden ilustrar sobre vías concretas de generación de
externalidades, complementando los trabajos de naturaleza cuantitativa. Asimismo,
los estudios de caso pueden arrojar, como se dijo antes, información cualitativa útil
sobre el funcionamiento de los programas que no es conocible mediante estudios de
naturaleza econométrica o de retornos económicos.
Un mensaje crucial para finalizar esta sección es que dada la variedad de datos
necesarios para realizar las evaluaciones, y la complejidad que presenta su recolección,
es imprescindible contar con la colaboración de las oficinas de estadísticas nacionales,
dado que, respetando el imprescindible secreto estadístico, las bases allí disponibles
cuentan con una enorme cantidad de información a partir de la cual es posible
continuar y profundizar el tipo de evaluaciones que se han llevado adelante en la
región. Es preciso entonces que las agencias a cargo de las políticas de innovación
trabajen junto con las oficinas de estadísticas a fin de organizar y tener acceso a los
datos necesarios.
Las metodologías14
Como se dijo más arriba, al presente, la mayor parte de las evaluaciones de las políticas
de ciencia y tecnología llevadas adelante en los países desarrollados involucran
fundamentalmente el uso de métodos cuantitativos. Crecientemente, además, esos
métodos son de naturaleza econométrica. Esto es así debido a que, aparentemente,
estos últimos tienen una mayor capacidad de determinar rigurosamente el efecto de
las políticas públicas, tanto porque permiten discriminar el efecto de otras variables
que podrían afectar los resultados esperados, como porque también da lugar a la
posibilidad de estimar la magnitud de los impactos obtenidos.
Tradicionalmente, la metodología más utilizada para evaluar el impacto de proyectos
es la denominada “after the fact” o “después de los hechos,” en el sentido de que se
14. Para un listado de las diversas metodologías empleadas en la evaluación de políticas tecnológicas véase Ruegg y
Feller (2003).
16 Diálogo Regional de Politica, Red de Innovación Ciencia y Tecnologia
decide evaluar un programa una vez que ha entrado en funcionamiento. Cuando
se emplean metodologías econométricas para este tipo de evaluación, uno de los
principales problemas es contar con un grupo de control adecuado, que permita
simular el escenario contrafactual que se hubiera dado en caso de que las firmas no
hubieran recibido el subsidio o apoyo. Estrictamente, se podría sugerir que la manera
de lidiar con este problema es otorgar los apoyos en forma aleatoria, ya que ello
aseguraría la ausencia de sesgo de selección en la muestra de empresas beneficiarias
(ver Jaffe 2002).
Sin embargo, no sorprenderá que digamos que los responsables de la toma de
decisiones y diseño de política no encuentran muy atractiva la idea de repartir
dineros públicos sin un proceso de selección previa, aunque esto implique dificultar
la apropiada evaluación ex post. En consecuencia, el problema del sesgo de selección
vuelve a aparecer. Esto es así debido a que para evaluar el impacto de un determinado
programa de subsidios lo que se hace es utilizar el desempeño de los candidatos no
seleccionados o que no participaron del programa (el grupo de control) para estimar
el escenario contrafáctico, i.e., cual hubiese sido el desempeño de los candidatos
seleccionados en caso de que no hubiesen sido seleccionados. La diferencia en el
desempeño entre los candidatos seleccionados y el grupo de control es el impacto
estimado del programa de subsidio. El desempeño del grupo de control, sin embargo,
puede diferir sistemáticamente del desempeño que los candidatos seleccionados
hubiesen experimentado si no hubiesen sido seleccionados. El problema de selección
surge, entre otras razones, porque se presume que las firmas que son los mejores
candidatos para recibir financiamiento también son aquellas que tendrían el mejor
desempeño esperado en ausencia de financiamiento.
Es preciso que las
agencias a cargo
de las políticas
de innovación
trabajen junto
con las oficinas de
estadísticas a fin de
organizar y tener
acceso a los datos
necesarios.
Otro problema posible es que las empresas decidan participar en el programa tras
recibir un shock negativo en su desempeño; si estos shocks son transitorios, la
evaluación mostraría un aumento en la productividad de las firmas beneficiadas que
no sería atribuible al programa per se.
Para lidiar con este problema se pueden poner en marcha diferentes estrategias
alternativas que intentan al menos atenuar el problema del sesgo de selección en
evaluaciones del tipo “after the fact.” Entre ellas se pueden mencionar las siguientes:
(i) regresión con controles, (ii) efectos fijos o modelos “difference-in-differences,”
(iii) modelo de variables instrumentales, y (iv) “matching methods” (ver en anexo
una breve descripción de estos métodos). Dado que el objetivo de este trabajo no es
analizar en profundidad estas estrategias, no entraremos en detalles respecto de sus
ventajas y desventajas. Digamos solamente que la elección de una u otra dependerá
fuertemente no sólo de las características concretas del programa bajo análisis, sino
también de la información disponible por parte del evaluador.
Las evaluaciones de programas públicos de apoyo al fomento y desarrollo de la tecnología y la innovación en el sector productivo en América Latina 17
En cuanto a las metodologías que buscan estimar retornos económicos, como ya
se mencionó, un instrumento ampliamente utilizado es el de la estimación de tasas
internas de retorno (TIR) y valores actuales netos (VAN), los cuales permiten
estimar el rendimiento esperado de la inversión de los fondos involucrados en la
política bajo evaluación.
La idea en estos casos es comparar el costo de las políticas (en términos de los fondos
aportados) contra los ingresos esperados (que se supone resultan de mejoras en el
desempeño de las empresas beneficiadas más las externalidades que puedan surgir
gracias a los proyectos promovidos) –ambos flujos descontados según alguna tasa
de interés que se presume refleja las preferencias intertemporales de la sociedad. Si
el valor actual neto así estimado resulta positivo, entonces se asume que la política
es “rentable.” Si esta metodología se aplica de forma ex ante, entonces cabe el uso de
herramientas tales como análisis de sensibilidad para evaluar el rango de TIR y VAN
posibles y su probabilidad de ocurrencia.
En la práctica, es habitual que al aplicar este tipo de metodologías se recurra al análisis
de una muestra de proyectos exitosos. La idea en este caso es la siguiente: se toma
una muestra de esos proyectos y se calcula su VAN, y luego se lo compara con el costo
total de la política bajo evaluación. Eligiendo cuidadosamente esos proyectos se arriba
usualmente a la conclusión de que dicho VAN es superior al costo del programa, lo
cual implica que aún cuando todos los restantes proyectos hayan fracasado, el grupo
de proyectos exitosos justifica per se la adopción del programa.
Obsérvese que esta aproximación se justifica considerando que la tasa de fracaso
de los proyectos de innovación es elevada, pero que los proyectos exitosos tienen
usualmente altas tasas de retorno. Este principio justifica la adopción del enfoque
mencionado, y facilita fuertemente los ejercicios de evaluación respectivos.
Sin embargo, como se mencionó antes, las evaluaciones basadas en respuestas de
las firmas pueden tener un sesgo subjetivo importante que limita su credibilidad.
La alternativa es recurrir a las estimaciones econométricas: aquí la idea básica es
multiplicar el aumento de productividad o valor agregado promedio (estimado en
base a las técnicas mencionadas más arriba) por el número de firmas participantes,
y luego substraer del resultado obtenido los costos del programa para obtener las
correspondientes TIR.
Para ambas metodologías se plantea la necesidad de estimar no sólo los efectos directos
del programa, sino también las externalidades o “spillovers.” Como ya se dijo, en el
caso de encuestas a las firmas beneficiadas, ellas mismas o, mejor, sus proveedores
y clientes (y también competidores), estimarían la situación con y sin proyecto y de
allí saldría el valor agregado adicional generado por el programa y no apropiado por
la firma beneficiaria (el cual se agregaría al valor agregado privadamente apropiado
18 Diálogo Regional de Politica, Red de Innovación Ciencia y Tecnologia
para calcular la TIR total). Nuevamente, el principal problema es la subjetividad de
las respuestas.
Por la vía de las estimaciones econométricas sería factible pensar en modelos de
equilibrio general, o en técnicas conocidas que permiten estimar externalidades de
productividad, pero hasta donde conocemos no existen estudios de ese tipo para la
materia que aquí estamos tratando, siendo entonces un área en la cual habría que
invertir esfuerzos a futuro.
Las evaluaciones de programas públicos de apoyo al fomento y desarrollo de la tecnología y la innovación en el sector productivo en América Latina 19
Las evaluaciones de
política tecnológica
en América Latina
3
Dado que las políticas de apoyo a la innovación tienen una larga tradición en los
países desarrollados, no sorprende encontrar que la lista de evaluaciones disponibles
sea también consecuentemente extensa. En David et al (2000) se presenta un estudio
de las evaluaciones realizadas hasta aquel momento, limitándose a las de naturaleza
econométrica, encontrándose que la evidencia resultaba insuficiente para concluir
respecto de los impactos de las políticas de apoyo público, ya que en un tercio de
los estudios revisados se encontraba que había un efecto crowding out. Un análisis
posterior (García Quevedo (2004) llegaba a conclusiones similares en cuanto a la
heterogeneidad de resultados. En tanto, Klette et al. (2000), analizando los retornos
sociales de los programas, encontraban que cuatro de cada cinco estudios revisados
hallaban impactos positivos de los subsidios sobre el desempeño de las empresas
beneficiadas.
Algunos estudios recientes aportan evidencia en favor de la existencia de impactos
positivos de los programas (como mínimo, rechazan la hipótesis de crowding out).
Es el caso de Aers y Schmidt (2008) para Flandes y Alemania, Gorg y Strobl (2007)
para Irlanda, Herrera y Heijs (2003) y González y Paz (2008) para España, Bloch y
Graversen (2008) para Dinamarca, Duguet (2004) para Francia y Czarnitzki y Licht
(2005) para Alemania.
Yendo ahora a nuestra región, la revisión que presentamos aquí incluye 12 evaluaciones
de diversos instrumentos de política tecnológica realizados en varios países de
América Latina en los últimos años. La tabla siguiente presenta la información básica
respecto de dichas evaluaciones.15
Como se observa, los estudios revisados abarcan 6 países de la región, Argentina,
Brasil, Colombia, Chile, Panamá y Uruguay. En Argentina, Chile y Panamá hay
programas que han sido evaluados a través de más de un estudio y usando diferentes
metodologías (FONTAR, FONTEC y FOMOTEC respectivamente). 7 de las
evaluaciones emplean técnicas econométricas, 3 estiman retornos económicos y
15. Hemos tenido conocimiento de otras evaluaciones pero conocemos sólo sus principales resultados y no hemos
podido acceder a los documentos respectivos. Por ejemplo, es el caso del Programa de Ciencia y Tecnología de
Uruguay, ejecutado entre 1991 y 2000. Hasta donde conocemos, la evaluación respectiva sugería que el programa
había ayudado a mejorar la infraestructura científica y a formar recursos humanos, pero había tenido poco impacto
en el área de innovación aplicada al sector productivo (EVO, 1997).
21
Tabla 1.
Tipos de estudio
Países
Econométricos
Retornos económicos
Estudios de caso
Argentina
• PMT I (Binelli y Maffioli, 2007)
• ANR FONTAR (Chudnovsky
et al., 2006a)
• ANR FONTAR (Chudnovsky
et al., 2006b)
• Consejerías Tecnológicas
(Carullo et al., 2003)
Brasil
• ADTEN (De Negri et al, 2006a)
• FNDCT (De Negri et al, 2006b)
Colombia
• PNDCT (Murcia Linares et al, 2007)
Chile
• FONTEC (Benavente et al, 2007a)
Panamá
• FOMOTEC (IDB, 2007)
Uruguay
• FONTEC (Gerens, 1996)
• FOMOTEC (Angelelli y
Gligo, 2002)
• PMT (López y Svarzman, 2007)
sólo 2 se basan en estudios de caso. De las 12 evaluaciones, 11 se aplican a programas
de subsidios, créditos o incentivos fiscales para el desarrollo tecnológico en el sector
empresarial y sólo 1 a un programa de asistencia tecnológica a PyMEs (el programa
de consejerías tecnológicas de Argentina). Diez de los doce estudios han sido
llevados adelante con financiamiento del Banco Interamericano de Desarrollo. Todas
las evaluaciones tienen carácter ex post.
Hay dos estudios que abarcan programas enteros, que disponen de diferentes
líneas de intervención (PNDCT en Colombia y PMT I en Argentina). En tanto, la
mayor parte de las evaluaciones tratan sobre instrumentos basados en aportes no
reembolsables (FONTEC, ANR del FONTAR, FOMOTEC, PMT de Uruguay,
FNDCT de Brasil). Finalmente, el ADTEN de Brasil es un programa de créditos
preferenciales, mientras que el de Consejerías Tecnológicas de Argentina, como se
dijo recién, financia la asistencia de especialistas a grupos de PyMEs.
En un anexo al final del documento un cuadro resume los principales elementos
de las evaluaciones revisadas. Allí se detallan las políticas analizadas, los resultados
evaluados, las metodologías empleadas, las fuentes de datos, las variables empleadas
y los resultados obtenidos en cada caso. En lo que sigue vamos a analizar estos datos
a fin de tener un balance respecto de lo que sabemos gracias a estos estudios, y lo que
aún nos falta saber en materia de resultados de las políticas de innovación.16
Si comenzamos por las tres evaluaciones que estiman retornos económicos,
observamos que aplican la misma metodología, a saber, se estudian en profundidad
16. Aunque strictu sensu no es un programa de fomento a la innovación, cabe mencionar los resultados de la evaluación
del programa chileno PROFO, el cual financia proyectos asociativos entre PyMEs. Crespi y Benavente (2003) han
estimado que el programa ha generado aumentos de productividad para las firmas beneficiadas de entre 12 y 14% y
calculan una TIR de 21%, utilizando las metodologías econométricas arriba mencionadas.
22 Diálogo Regional de Politica, Red de Innovación Ciencia y Tecnologia
10 proyectos exitosos apoyados por el programa bajo evaluación, y, además de
describir las características de los proyectos y sus impactos, se hacen estimaciones de
valores actuales netos y tasas internas de retorno.
Para calcular la porción de los beneficios sociales atribuibles a los programas
evaluados, se debió recurrir al concepto de “escenario contrafactual,” es decir, una
situación hipotética en la cual la empresa no hubiera recibido apoyo alguno. Esto
implica que se pidió a los responsables de los proyectos que hicieran un esfuerzo
para intentar dilucidar qué hubiera pasado de no contar con el subsidio (esto es, si
el proyecto no se hubiera llevado adelante o si se hubiera llevado delante de todos
modos pero con un rezago).
En los casos en que las firmas respondieron que el proyecto se hubiera desarrollado de
todas maneras, se computaron como beneficios atribuibles al subsidio la fracción del
aumento de los beneficios sociales correspondiente al adelantamiento de los flujos.
En cambio, para las firmas que declararon no haber podido realizar el proyecto sin el
subsidio, se consideró que la contribución del programa era equivalente al aumento
total de los beneficios sociales derivados de la realización del proyecto. En cuanto a
las externalidades generadas a clientes y proveedores, la información se obtuvo de las
empresas beneficiarias del programa, dada la dificultad para identificar a aquellos.
En los tres casos se comprueba que el VAN de los proyectos examinados superaba
a los costos totales de los respectivos programas. En otras palabras, aun suponiendo
que los restantes proyectos ejecutados en el marco de los respectivos programas y
no incluidos en la evaluación hayan tenido un beneficio social nulo en su conjunto,17
dichos programas de todos modos tuvieron retornos económicos positivos. Cabe
agregar, además, que dada la dificultad para medir las externalidades respectivas, en
la práctica el grueso de los retornos económicos estimados correspondieron a los
beneficios apropiados privadamente por la firma beneficiaria, por lo cual podemos
pensar que se trata de estimaciones conservadoras.
Los estudios de Argentina y Uruguay, además, estiman tasas internas de retorno
para el grupo de proyectos evaluados en cada caso. Tomando un período de 10
años, se estiman tasas del 36 y 18% respectivamente –los programas son muy
similares en cuanto a su formato. Examinando las fuentes de la divergencia se
concluye que provienen de las externalidades (que en los trabajos mencionados
resultaron siempre positivos), que pudieron ser estimadas más ampliamente en el
caso argentino. En consecuencia, las diferencias en las estimaciones de las TIR no
presuponen necesariamente diferencias similares en cuanto al rendimiento social de
los respectivos programas.
17. Ciertamente, cabe la posibilidad de que esos proyectos hayan generado un impacto negativo en su conjunto,
aunque podemos pensar que esa posibilidad tiene una probabilidad baja de ocurrencia.
Las evaluaciones de programas públicos de apoyo al fomento y desarrollo de la tecnología y la innovación en el sector productivo en América Latina 23
Salvo en el caso de
Chile, los estudios
no encuentran
evidencia de
crowding out , e
incluso en tres
casos hay evidencia
de un efecto
multiplicador.
Cabe destacar, sin embargo, que el tipo de aproximación a la medición de las TIR y
los VAN utilizadas en la práctica tienen distintos tipos de limitaciones que hacen que
debamos considerar con precaución los resultados respectivos, en particular por la
dependencia de las respuestas de las firmas para armar los escenarios contrafactuales.
El uso de microsimulaciones o de otros tipos de ejercicios econométricos podría
ayudar a mejorar mucho la confiabilidad de las estimaciones en la materia y conocer
más claramente los beneficios atribuibles a los respectivos programas.
En cuanto a los estudios econométricos, no hay políticas basadas en experimentos
aleatorios en el caso de América Latina, por lo cual los estudios usan técnicas
cuasi-experimentales en donde el principal desafío es, como se dijo en la sección
conceptual, minimizar el impacto del sesgo de selección.18
Los trabajos revisados analizan básicamente cuatro dimensiones de impacto:
adicionalidad de insumos (crowding in/crowding out), adicionalidad de comportamiento, incrementos en los resultados innovativos y mejoras en el desempeño
empresarial (ver resumen de los resultados en la tabla siguiente).
Salvo en el caso de Chile, los estudios no encuentran evidencia de crowding out,19
e incluso en tres casos (los dos estudios brasileños y el estudio sobre el PMT I en
Argentina), hay evidencia de un efecto multiplicador (esto es, las firmas beneficiarias
incrementan su gasto en I&D más allá del monto del subsidio recibido).
Cabe destacar el hecho de que las evaluaciones econométricas captan únicamente
el efecto “promedio” que tienen las intervenciones de política sobre las firmas
beneficiadas. Sin embargo, ese efecto podría ser muy diferente entre diversos
tipos de firmas. Por ejemplo, en el caso del FONTAR en Argentina, se introduce
una distinción interesante respecto del impacto del subsidio sobre firmas que
anteriormente eran innovadoras y las que antes de recibir el apoyo no realizaban
actividades de innovación, encontrando un efecto multiplicador para las primeras y
evidencia de crowding out para las segundas (Chudnovsky et al, 2006a). Esto sugiere
asimismo ideas para una posible focalización de los programas, tema sobre el que
volvemos más abajo.
Algunos de los trabajos estiman la magnitud de los efectos de adicionalidad. Por
ejemplo, en Binelli y Maffioli (2007) se señala que un 1% de incremento en el monto
de subsidio recibido del FONTAR incrementaba en cerca de 550 pesos argentinos el
gasto anual promedio de las firmas en I&D (dado que el trabajo se basa en datos de
los ’90, el monto en dólares era equivalente).
18. Ver Hall y Maffioli (2008) para una evaluación más en profundidad de los aspectos técnicos de estas evaluaciones
econométricas.
19. Según los autores de la evaluación, este efecto surge por un ajuste de la cartera de proyectos de I&D de las firmas y
una subestimación del capital humano necesario para llevar adelante los proyectos, más que por un desvío de fondos
hacia actividades distintas de la I&D.
24 Diálogo Regional de Politica, Red de Innovación Ciencia y Tecnologia
Tabla 2.
Resultados
Positivos
Negativos
Sin evidencia
Adicionalidad
de insumos
• No hay crowding out
(ANR-FONTAR, FOMOTEC)
• Efecto multiplicador
(ADTEN, FNDCT, PMT I)
• Crowding out (FONTEC)
• PNDCT (no se estudia el tema)
Adicionalidad de
comportamiento
• Mayor capacidad de interactuar con • No hay
fuentes externas de conocimiento
y financiamiento y mejora del alcance
de las innovaciones (FOMOTEC,
FONTEC).
• Restantes estudios
(no se analiza el tema)
Resultados
innovativos
• Patentes (FNDCT)
• Venta nuevos productos
(FOMOTEC)
• No hay
• ANR-FONTAR, FONTEC,
ADTEN
• PNDCT, PMT I FONTAR
(no se estudia el tema)
Resultados
empresariales
• Empleo y facturación
(FONTEC, ADTEN)
• Exportaciones (FONTEC)
• Productividad (PNDCT,
FOMOTEC)
• No hay
• FNDCT, ANR-FONTAR
• PMT I (no se estudia el tema)
Para los programas evaluados en Brasil se estima que la participación en el
programa FNDCT lleva a las firmas a gastar en I&D entre un 50% y un 90% más
que las no beneficiarias, en tanto que en el programa ADTEN ese efecto es algo
menor, entre 28% y 39% (De Negri et al, 2006a y b). En el estudio sobre los ANR
en Argentina se estima que las firmas que recibieron el subsidio incrementaron
su gasto en innovación entre un 54% y un 79% en comparación con las que no
fueron subsidiadas.
Otro aspecto importante que reflejan algunas evaluaciones (son los casos de
Argentina y Chile) es que los beneficiarios de los proyectos encuentran que la
recepción de subsidios es una “señal” de la capacidad técnica e innovativa de la
firma. En el caso chileno al menos las firmas usan consecuentemente el programa
para obtener fondos complementarios desde el sector privado. Esto indicaría
que los impactos de los programa en cuanto a acceso a fondos irían más allá de
aquellos estrictamente ligados a la recepción de los subsidios públicos.
Los impactos de
los programa en
cuanto a acceso a
fondos irían más
allá de aquellos
estrictamente
ligados a la
recepción de los
subsidios públicos.
En cuanto a la adicionalidad de comportamiento, solo en dos trabajos se explora
el tema (Chile y Panamá). La evidencia en ambos casos sugiere un impacto
beneficioso, en tanto que los programas de apoyo habrían afectado positivamente
la capacidad de las firmas de interactuar con fuentes externas de conocimiento y
financiamiento, y de mejorar el alcance de sus innovaciones.
Las evaluaciones de programas públicos de apoyo al fomento y desarrollo de la tecnología y la innovación en el sector productivo en América Latina 25
En las otras dos áreas, en cambio, las evaluaciones no muestran evidencias de
impactos positivos. En el caso del output innovativo, sólo hay alguna evidencia de
efectos beneficiosos para las patentes en Brasil (en el programa FNDCT) y sobre
ventas de nuevos productos en Panamá. En tanto, en lo que se refiere al desempeño
empresarial, hay algunos estudios que encuentran efectos positivos sobre empleo
y facturación (Chile, Brasil-ADTEN) y exportaciones (Chile20) y otros sobre
productividad (Colombia, Panamá), en tanto que en los casos de Argentina y BrasilFNDCT no se encuentra evidencia de impactos sobre el desempeño. Ningún estudio
mide impactos sobre rentabilidad.
En este sentido, cabe acotar que en general los programas bajo estudio no
apuntan a promover proyectos innovativos que generen más empleo ni se dirigen
fundamentalmente a estimular las exportaciones, por lo cual la falta de resultados
en esas áreas no sería necesariamente algo que hable sobre eventuales fallas en los
programas. En cambio, sí deberían observarse resultados en materia de productividad,
aunque como se dijo antes los efectos contemporáneos sobre dicha variable pueden
incluso ser negativos.
Asimismo, en lo que hace al output innovativo, es posible que la falta de resultados
cuando se lo examina desde el punto de vista de patentes o ventas de nuevos productos
obedezca al hecho de que los programas, aún cuando no sea éste su objetivo explícito,
financian principalmente innovaciones incrementales y adaptativas, que no se reflejan
en indicadores como los arriba mencionados.
Más en general, la falta de resultados generalizables en cuanto al desempeño
empresarial e innovativo puede obedecer al hecho de que las evaluaciones abarcan
un período de tiempo breve. Tal como se dijo más arriba, es factible que para que
los efectos de este tipo de programas se trasladen a dichos campos de desempeño
deba transcurrir un cierto lapso de tiempo, en el cual las actividades innovativas
incrementales motorizadas por el programa den lugar a resultados novedosos y luego
esos resultados se implementen en la práctica y tengan un efecto positivo sobre el
desempeño empresarial. Hace falta entonces que las evaluaciones de estos programas
continúen realizándose de manera sistemática a fin de captar estos efectos de más
largo plazo.
Más allá de los resultados de las estimaciones econométricas estos estudios también
arrojan luz sobre otros aspectos importantes de los programas. Por ejemplo, en
los dos estudios sobre Brasil se hace hincapié en que un número muy pequeño
de firmas accede a los programas respectivos. Por ejemplo, el programa ADTEN
apenas financiaba el 3% de los gastos de las firmas brasileñas en I&D en 2003. A
su vez, ADTEN beneficiaba en promedio a 57 empresas por año, que representan
20. En el caso del FONTEC, dado que se encuentra evidencia de crowding out, es cuestionable que se puedan atribuir
estos resultados positivos en materia de desempeño empresarial al impacto del programa.
26 Diálogo Regional de Politica, Red de Innovación Ciencia y Tecnologia
solamente el 0,2% de las firmas innovativas y un 0,8% de las firmas que invierten
en I&D en Brasil. En otras palabras, si bien los programas son exitosos en cuanto al
cumplimiento de los objetivos, son muy pocas las empresas que se ven beneficiadas
por los mismos.
Otro aspecto que aparece recogido en las evaluaciones (aunque en general no como
un resultado explorado per se, sino por la necesidad de eliminar sesgos de selección
en las estimaciones de impacto) tiene que ver con los factores que determinan la
probabilidad de que una firma acceda a los programas respectivos.
En el caso de Colombia, por ejemplo, se encuentra que las firmas más grandes,
las que tienen mayor poder de mercado y las de capital extranjero tienen mayores
probabilidades de acceder a los subsidios. En los casos del FNDCT y el ADTEN en
Brasil el tamaño, la inserción en mercados externos y la realización de actividades
continuas de I&D son factores que explican la probabilidad de una empresa de
ser beneficiada por dichos programas, en tanto que las firmas extranjeras tienen
menos probabilidades de acceso. También hay factores sectoriales, en particular la
pertenencia a sectores de alta tecnología (esto último también se replica en el caso
del FONTEC en Chile).
Como se mencionó antes, en muchos casos las políticas de innovación aplicadas
cubren una fracción relativamente pequeña del universo de firmas manufactureras, e
incluso financian solo una parte más bien marginal de las actividades de innovación
realizadas por las empresas privadas en los países respectivos.
Cabría entonces explorar más sobre las razones de este hecho, en la medida en que
ellas vayan más allá de restricciones presupuestarias que limiten el alcance de las
políticas respectivas. En particular, cabe preguntarse si la limitada cobertura de los
programas obedece a falta de información sobre los mismos, dificultades de acceso,
escaso interés de los beneficios, u otras razones.
En todo caso, comprobando que las firmas más grandes, las exportadoras, las de
sectores de alta tecnología y las que realizan I&D de manera continua tienen más
probabilidades de ser elegidas para recibir los beneficios respectivos, cabe preguntarse
si los programas no benefician fundamentalmente a las firmas mejor preparadas, lo
cual puede contribuir a su “éxito” en cierto sentido (ya que habría más garantías
de que esas firmas lleven adelante los proyectos de manera exitosa), pero a la vez
dejaría afuera a empresas que tal vez necesiten incluso más que las beneficiadas del
apoyo de programas públicos de fomento a la innovación –aunque tal vez con otras
características a los aquí evaluados.
Vinculada a esta cuestión, aparece la pregunta respecto de si no existen suertes de
“clubs” de empresas que, por sus capacidades, acceso a la información y antecedentes,
Las evaluaciones de programas públicos de apoyo al fomento y desarrollo de la tecnología y la innovación en el sector productivo en América Latina 27
son las que acceden de manera privilegiada a los programas bajo estudio (y que, de
hecho, acceden simultánea o secuencialmente a diversos programas de incentivos
gracias a esas capacidades y activos), aspecto que plantea el mismo tipo de
incertidumbre planteada en el párrafo anterior.
En cuanto a los estudios de caso, aparecen algunos resultados interesantes que pueden
ayudar al diseño de las políticas, tales como problemas con la demora en la ejecución
de proyectos, los altos costos operativos, la necesidad de redefinir poblaciones y
actividades objetivos, etc., todos ellos difíciles de captar con los otros instrumentos
de evaluación.
Claramente, estos estudios no entregan conclusiones generales, sino que más
bien son orientativos para la labor de los responsables de la toma de decisiones de
política a cargo de los programas. Sin embargo, de llevarse adelante de manera más
sistemática podrían ilustrar sobre los aspectos arriba mencionados, así como sobre
otras cuestiones clave, tales como las mencionadas al final de la sección 2a. Sobre
esto volvemos en la próxima sección.
28 Diálogo Regional de Politica, Red de Innovación Ciencia y Tecnologia
4
Conclusiones y
recomendaciones
Las evaluaciones disponibles muestran, en general, que los programas de innovación
implementados en la región alcanzan sus objetivos en cuanto a promover las
actividades de innovación, en tanto que el crowding out es raro (aunque se lo encuentra
en un caso) e incluso en varios estudios se halla evidencia de efectos multiplicadores
(esto es, las firmas incrementan sus gastos en I&D en mayor cuantía que el monto
del subsidio recibido). Más aún, la recepción de los subsidios puede funcionar como
señal para que otros inversionistas privados aporten fondos para las actividades de
innovación de las firmas beneficiadas.
Esta evidencia podría ser interpretada como dando sustento a la idea de que las
restricciones de financiamiento son un problema para la innovación en América
Latina, hecho que también surge de las encuestas de innovación cuando estas
inquieren sobre los obstáculos que enfrentan las firmas en la materia.
En tanto, si bien no se estudia el tema en todos los casos, habría evidencias de
“adicionalidad de comportamiento,” esto es, de efectos más permanentes de las
políticas de apoyo sobre las firmas beneficiadas, lo cual resulta alentador en tanto
que son justamente estos efectos de largo plazo los más interesantes de evaluar más
allá del resultado puntual de un apoyo específico.
Estos programas
generan resultados
económicos
positivos, tal como
lo muestran las
estimaciones de
tasas internas de
retorno y valores
A su vez, estos programas generan resultados económicos positivos, tal como
lo muestran las estimaciones de tasas internas de retorno y valores actuales netos
(aún cuando claramente es preciso refinar las técnicas con las cuales se hacen estas
estimaciones), incluso considerando que solo una pequeña fracción de los proyectos
apoyados resulten técnica y comercialmente exitosos.
actuales netos.
En donde hay menos resultados positivos –aunque estos últimos existen en algunos
casos– es en materia de resultados innovativos y empresariales. Dicho esto, sin
embargo hay que tener en cuenta que la literatura sobre innovación y productividad
muestra generalmente resultados positivos, esto es, las firmas que más gastan en
innovación tienen mayor capacidad innovativa y esta última lleva usualmente a
resultados positivos en materia de desempeño empresarial.21
21. Ver Chudnovsky et al (2006d), Saba Arbache, J. (2005), de Negri (2005), de Negri y Freitas (2004), Benavente
(2004) y Benavente et al (2005) para América Latina, Masso y Vahter (2008), Vahter (2006) y Stoevsky (2005)
para países en transición del Este de Europa y Crepon et al (1998), Griffiths et al (2006), Loof et al (2003) y Janz et
al (2004) para países desarrollados.
29
El hecho de que estos resultados no se confirmen siempre al analizar las políticas
pro-innovación puede deberse a diversos factores (incluido las situaciones
macroeconómicas vigentes durante el período evaluado). Sin embargo, tal vez el factor
más importante es que para que los efectos positivos en estas áreas se desplieguen es
necesario que transcurra más tiempo del que usualmente cubren las evaluaciones.
Ello llama a generar bases de datos que permitan realizar evaluaciones periódicas
a fin de seguir la trayectoria de las firmas beneficiadas durante un período lo
suficientemente largo.
Lo ideal sería que los propios organismos de promoción de la innovación mantengan
estas bases, pero la experiencia muestra que esto no suele ocurrir (aún cuando mantener
esas bases sería de interés no solo para este tipo de evaluaciones, sino también para
monitorear la marcha de los programas de manera regular). En consecuencia, pueden
hacer falta encuestas ad hoc para cubrir tal propósito. Asimismo, el trabajo conjunto
con las oficinas de estadísticas nacionales es crucial, ya que dichas oficinas mantienen
valiosas bases de datos de las cuales puede extraerse gran cantidad de información
sobre desempeño empresarial que es altamente relevante para las evaluaciones. Otra
fuente de información relevante son las agencias impositivas con las cuales también
sería importante tratar de establecer esquemas de cooperación.
Ahora bien, el hecho de que este tipo de políticas genere resultados positivos, no
significa que ellas sean las mejores opciones en materia de políticas de innovación.
Más aún, la concentración de la evaluación en instrumentos que dan aportes
no reembolsables (con la excepción principal del estudio sobre el PMT I) hace
difícil saber qué tipo de políticas de apoyo a la innovación, entre las actualmente
empleadas, generan mejores resultados en términos de adicionalidad de insumos y
comportamiento e impactos. Binelli y Maffioli (2007) en su estudio sobre Argentina
plantean que los créditos focalizados y los programas de crédito fiscal son preferibles
a los aportes no reembolsables, pero faltan más estudios comparativos que permitan
confirmar o rechazar tal percepción (que de algún modo contradice otras evidencias
que hacen que al presente las políticas de aportes no reembolsables sean las preferidas
por los organismos de financiamiento). Una recomendación entonces es ampliar
el alcance de las políticas evaluadas de modo de tener resultados más sistemáticos
respecto de sus resultados. Necesitamos tener más estudios sobre los distintos tipos
de instrumentos para realmente conocer y poder comparar su efectividad.
Por cierto, al hacer esto también se debe tener en cuenta que aún cuando un
determinado instrumento pueda tener mejores resultados que otros en términos,
por ejemplo, de inducción de aumentos de productividad, ello no necesariamente
30 Diálogo Regional de Politica, Red de Innovación Ciencia y Tecnologia
significa que sea preferible ya que, tal vez, esos impactos se desplieguen sobre grupos
de empresas distintos.22
Por otro lado, de las evaluaciones surge que pueden existir sesgos sistemáticos de
selección que hagan que las “mejores” firmas sean elegidas para los programas. Más
aún, en algunos casos es claro que los programas abarcan a un número pequeño de
empresas, incluso dentro del universo de las innovadoras. Cabe entonces replantear
tal vez los mecanismos de difusión y selección de beneficiarios, a fin de ampliar la
cobertura de los programas. De hecho, dado que aparentemente un gran número de
PyMEs con capacidades tecnológicas limitadas no accede a los programas, cabría
replantear también si no son otros los instrumentos apropiados para ellas y generar
políticas y programas que puedan atender sus necesidades. En algunos países estos
instrumentos existen, pero muchas veces tienen también escaso alcance, y en todo
caso justamente faltan evaluaciones rigurosas respecto de sus resultados.
Asimismo, cabe plantear algunas de las limitaciones de las evaluaciones. En primer
lugar, lo ya mencionado, la necesidad de evaluar los programas en períodos más
largos, para ver sus efectos de largo plazo. En segundo lugar, la dificultad para captar
las externalidades o derrames, en particular considerando que se trata de ejercicios
de equilibrio parcial. En tercer lugar, para las evaluaciones de retornos económicos,
la dependencia para elaborar escenarios contrafactuales de las respuestas de
las empresas beneficiadas, lo cual puede limitar la credibilidad de los ejercicios
respectivos. Finalmente, el hecho de que las evaluaciones captan el impacto promedio
de los programas, cuando podría esperarse que dicho impacto fuera heterogéneo
entre diferentes grupos de empresas (algo de esto se muestra en la evaluación del
FONTAR en Argentina).
También es importante mencionar que la interpretación de los resultados de las
evaluaciones debe tener en cuenta, por ejemplo, las coyunturas macroeconómicas en
las cuales se despliegan las actividades de innovación financiadas y los desempeños
empresariales evaluados (es obvio que un programa que financia proyectos que
se desarrollan en un ambiente macro recesivo tendrá peores efectos que otro que
se desenvuelve en una etapa de crecimiento). Asimismo, se deben considerar los
aspectos específicos de los programas en cuanto a objetivos promovidos, población
atendida (por ejemplo, PyMEs vs grandes empresas), etc. (esto, de hecho, hace tanto
a la interpretación como al propio diseño de los indicadores a evaluar).
En el balance, cabe plantear la necesidad de que, a futuro, se complementen más
estrechamente las tres metodologías, ya que arrojan luz sobre diferentes aspectos de
los programas evaluados. Las metodologías cuantitativas son cruciales para saber si
22. Por ejemplo, pudiera ser el caso de que los instrumentos de crédito fiscal beneficien fundamentalmente a
empresas grandes y los ANR a PyMEs, por lo cual aún si se comprobara la superioridad de los primeros, ello no sería
motivo para abandonar los ANR.
Las evaluaciones de programas públicos de apoyo al fomento y desarrollo de la tecnología y la innovación en el sector productivo en América Latina 31
los programas cumplen o no los objetivos o cuales son sus tasas de retorno, y en este
sentido, cabe resaltar que su uso en este campo recién ha comenzado en América
Latina, por lo cual hace falta continuar produciendo más evidencia cubriendo
diferentes tipos de países y programas.
En particular, como ya fue mencionado, se hace relevante continuar con los esfuerzos
en el área econométrica, ya que hace falta saber más sobre los impactos de largo
plazo de los programas, distinguir mejor entre los efectos de los distintos tipos de
instrumentos y determinar qué factores pueden estar asociados al mayor o menor
éxito de los programas. Asimismo, son pocos los estudios que estiman la magnitud
de los impactos obtenidos gracias a los programas (muchas veces se concentran en la
significación estadística, pero no reportan los efectos marginales de las intervenciones
de política). Más en general, entendemos que la acumulación de más estudios, la
progresiva refinación de las técnicas empleadas y el acceso a fuentes de datos más
completas pueden ayudar a incrementar la confianza en las estimaciones obtenidas
y a entender mejor los resultados de los programas considerando los reportes de
resultados contradictorios en algunos casos.
A la vez, las evaluaciones de tipo cualitativo son muy útiles para conocer qué ocurre
con los programas en términos del tipo de actividades que se promueven, las
dificultades que puedan existir para que la población objetivo acceda a los mismos,
su funcionamiento operativo, etc. Asimismo, este tipo de evaluación puede ayudar a
entender mejor los aspectos institucionales que pueden influir sobre el impacto de
los programas, así como a comprender sus trayectorias y los respectivos procesos
de aprendizaje y acumulación de capacidades en la formulación, implementación y
monitoreo de las políticas de innovación.
Más aún, los estudios cualitativos pueden contribuir a una mejor interpretación de
los resultados de las evaluaciones cuantitativas, así como a un diseño más apropiado
de estas últimas. En consecuencia, en esta área también hay que seguir avanzando,
empleando en los estudios de caso metodologías rigurosas que permitan realmente
ayudar a cubrir esos objetivos.
32 Diálogo Regional de Politica, Red de Innovación Ciencia y Tecnologia
Bibliografía
Aerts, K. y T. Schmidt (2008), “Two for the price of one? On additionality effects of R&D subsidies: A
comparison between Flanders and Germany,” Research Policy, Vol 37, Nº 5.
Angelelli, P. y N. Gligo (2002), “Apoyo a la innovación tecnológica en América Central: La experiencia
del fondo para la Modernización Tecnológica y Empresarial de Panamá,” BID, Informe de Trabajo.
Benavente H., J. M., De Gregorio J., y Nuñez M. (2005), “Rates of Return and the industrial R&D in
Chile,” Santiago, Chile: Universidad de Chile y Banco Central de Chile, paper presentado en la
World Bank conference in Barcelona on R&D and Innovation in the Development Process, Junio 9–11.
Benavente J. M., Crespi G. y Maffioli A. (2007a), “Public Support to Firm Innovation: The Chilean
FONTEC Experience” OVE Working Papers 0407, Inter-American Development Bank, Office of
Evaluation and Oversight (OVE).
Benavente J. M., Crespi G. y Maffioli A. (2007b), “The Impact of National Research Funds: An Evaluation of the Chilean FONDECYT” OVE Working Papers 0307, Inter-American Development Bank,
Office of Evaluation and Oversight (OVE).
Benavente, J. M. (2004), “Investigación y Desarrollo, Innovación y Productividad: Un Análisis
Econométrico a Nivel de la Firma,” mimeo, Departamento de Economía, Universidad de Chile.
Bloch, C. y E. Graversen (2008), “Additionality of public R&D funding in business R&D,” The Danish
Centre for Studies in Research and Research Policy, Working Paper 2008/5
Carullo, J. C, F. Peirano, G. Lugones, M. Lugones y A. Di Franco (2003), “Programa de consejerías
tecnológicas. Evaluación y recomendaciones. Informe final,” Trabajo preparado para la Secretaría
de Ciencia, Tecnología e Innovación Productiva, Grupo Redes, Buenos Aires.
Chudnovsky D., López A., Rossi M. y Ubfal D. (2006a) “Evaluating A Program Of Public Funding
Of Private Innovation Activities. An Econometric Study of FONTAR in Argentina” OVE Working
Papers 1606, Inter-American Development Bank, Office of Evaluation and Oversight (OVE).
Chudnovsky, D., A. López, V. Gutman y D. Ubfal (2006b), “Programa de aportes no reembolsables
del FONTAR: una evaluación de sus beneficios sociales a través de estudios de casos,” informe
preparado para el Banco Interamericano de Desarrollo, Marzo.
Chudnovsky, D., López, A., Rossi, M. and Ubfal, D. (2006c) “Evaluating a program of public funding
of scientific activity. A case study of FONCYT in Argentina,” OVE Working Papers 1206, InterAmerican Development Bank, Office of Evaluation and Oversight (OVE).
Chudnovsky, D., A. López and G. Pupato (2006d), “Innovation and productivity in developing countries: A study of Argentine manufacturing firms’ behavior,” Research Policy, vol. 35, No. 2.
33
Crepon, B., Duguet, E y Mairesse, J. (1998) “Research, innovation and productivity: an econometric
analysis at the firm level,” NBER Working Paper 6696.
Crespi, G. y J. M. Benavente (2003), “The Impact of an Associative Strategy (the PROFO Program) on
Small and Medium Enterprises in Chile,” SPRU Electronic Working Paper Series Nº 88.
Czarnitzki, D. y G. Licht (2005), “Additionality of Public R&D Grants in a Transition Economy: the
Case of Eastern Germany, Economics of Transition 14(1), 101–131.
Czarnitzki, D. y Hussinger, K. (2004) “The Link between R&D Subsidies, R&D Spending and Technological Performance,” ZEW Discussion Paper, No. 04–56.
Czarnitzki, D. y Licht, G. (2006), ”Additionality of Public R&D grants in a transition economy: the case
of Eastern Germany,” The Economics of Transition, Volumen 14, Nº 1, pp. 101–132.
David, P., Hall, B. y Toole, A. (2000) “Is Public R&D a Complement or Substitute for Private R&D? A
Review of the Econometric Evidence,” Research Policy, 29, pp. 497–529.
De Negri J. A., Borges Lemos M., De Negri F. (2006a) “Impact of P&D Incentive Program on the
Performance and Technological Efforts of Brazilian Industrial Firms,” OVE Working Papers 1406,
Inter-American Development Bank, Office of Evaluation and Oversight (OVE).
De Negri J. A., Borges Lemos M., De Negri F. (2006b) “The Impact of University Enterprise Incentive
Program on The Performance and Technological Efforts of Brazilian Industrial Firms,” OVE Working Papers 1306, Inter-American Development Bank, Office of Evaluation and Oversight (OVE).
De Negri, F. (2005), “Padrões Tecnológicos e de Comercio Exterior das Firmas Brasileiras,” en J. A. De
Negri y M. Salerno, Inovações, Padrões Tecnológicos e Desempenho das Firmas Industriais Brasileiras,
IPEA, Brasilia.
De Negri, J. A. y F. Freitas (2004), “Inovação Tecnológica, Eficiência de Escala e Exportações
Brasileiras,” Texto para discusión 1044, IPEA, Brasilia.
Duguet, E. (2004), “Are R&D subsidies a substitute or a complement to privately funded R&D? Evidence from France using propensity score methods for non-experimental Data,” Revue d’Economie
Politique, 114(2), pp. 263–292
EVO (1997), “Science and Technology Program Evaluation—Uruguay: Science and technology program,” BID, Washington, D.C.
Gallaher, M., T. Bingham, W. White y B. Kropp (2002) “Benefits and Costs of ATP Investments in
Component-Based Software.” Research Triangle Park, NC: Research Triangle Institute.
Gerens Ltda. (1996), “FONTEC-Innovación Tecnológica: Una Estimación de sus Beneficios Sociales,”
Gerens Ltda., mimeo.
González, X. y C. Paz (2008), “Do public subsidies stimulate private R&D spending?,” Research Policy,
Vol. 37, Nº 3.
Gorg, H. y E. Strobl (2007), “The Effect of R&D subsidies on Private R&D,” Economica, Vol 74,
Nº 294.
34 Diálogo Regional de Politica, Red de Innovación Ciencia y Tecnologia
Griffith, R. (2000), “How important is business R&D for economic growth and should the government
subsidise it?,” IFS Briefing Notes, BN12, Octubre.
Griffith, R., Huergo, E., Mairesse, J., y Peters, B. (2006), “Innovation and productivity across four European countries,” Oxford Review of Economic Policy, 22, 483–498.
Hall, B. y A. Maffioli (2008), “Evaluating the impact of technology development funds in emerging
economies: evidence from Latin America,” NBER Working Paper 13835
Herrera, L. y J. Heijs, (2003), “Difusión y adicionalidad de las ayudas públicas a la innovación: una
estimación basada en “Propensity Score Matching,” Instituto de Análisis Industrial y Financiero.
Universidad Complutense de Madrid; documento de Trabajo Nº 41.
Hujer, R. y Radic, D. (2005), “Evaluating the Impacts of Subsidies on Innovation Activities in Germany,” Scottish Journal of Political Economy, Vol. 52, No. 4, pp. 565–586, September.
IDB (2007), “IDB’s Science and Technology Programs: An Evaluation of the Technology Development
Funds (TDF) and Competitive Research Grants (CRG),” OVE Evaluation Report, Inter-American
Development Bank, Office of Evaluation and Supervision.
Jaffe, A. (1998), “The Importance of “Spillovers” in the Policy Mission of the Advanced Technology
Program,” Journal of Technology Transfer 23 (2):11–19.
Jaffe, A. (2002), “Building Program Evaluation into the Design of Public Research Support Programs,”
Oxford Review of Economic Policy, Spring (18), pp. 22–34.
Janz, N. Lööf, H., y Peters, B. (2004), “Firm-Level Innovation and Productivity—Is there a Common
Story across Countries?,” Problems and Perspectives in Management, 2, 184–204.
Lööf, H., Heshmati, A., Asplund, R., y Nas, S-O. (2003), “Innovation and performance in manufacturing industries,” The Icfaian Journal of Management Research, 2, 3, pp. 5–35.
Martin, S.A., A.E. Kenyon, M. V. Bala, y T.H. Bingham (1998), “A Framework for Estimating the
National Economic Benefits of ATP Funding of Medical Technologies: Preliminary Applications
to Tissue Engineering Projects Funded from 1990 to 1996.” Prepared for the U.S. Department of
Commerce, National Institute of Standards and Technology. Research Triangle Park, NC: Research
Triangle Institute.
Masso, Jaan y Vahter, Priit (2008), “Technological Innovation and Productivity in Late-Transition Estonia: Econometric Evidence from Innovation Surveys, The University of Tartu Faculty of Economics
and Business Administration Working Paper No.61–2008
Murcia Linares, C. et al (2007), “Evaluación ex-post del Programa nacional de desarrollo científico
y tecnológico. Componente de apoyo para el desarrollo tecnológico e innovación en el sector
productivo,” Observatorio Colombiano de Ciencia y Tecnología, Marzo.
OECD (2006), Government R&D Funding and Company Behaviour: Measuring Behavioural Additionality, OECD, Paris.
Las evaluaciones de programas públicos de apoyo al fomento y desarrollo de la tecnología y la innovación en el sector productivo en América Latina 35
Ruegg, R. e I. Feller (2003), “A Toolkit for Evaluating Public R&D Investment. Models, Methods, and
Findings from ATP’s First Decade,” preparado para la Economic Assessment Office, Advanced
Technology Program, National Institute of Standards and Technology.
Saba Arbache, J. (2005), “Inovações tecnológicas e exportações afetam o tamanho e a produtividade
das firmas manufatureiras? Evidência para o Brasil,” en J. A. De Negri y M. Salerno (eds.), Inovações,
padrões tecnológicos e desempenho das firmas industriais brasileiras, IPEA, Brasilia.
Stoevsky, G. (2005), “Innovation and Business Performance of Bulgarian Companies (Structural
econometric analysis at firm level),” Economic Research and Projections Directorate Working
Paper, Bulgarian National Bank.
Vahter, P. (2006), “Productivity in Estonian Enterprises: The Role of Innovation and Competition,”
Bank of Estonia Working Paper No. 7/2006.
36 Diálogo Regional de Politica, Red de Innovación Ciencia y Tecnologia
Las evaluaciones de programas públicos de apoyo al fomento y desarrollo de la tecnología y la innovación en el sector productivo en América Latina 37
Trabajo
Programa
Tipo de
bajo estudio Programa
Impactos
evaluados
Metodología
de evaluación
Variables utilizadas para
la medición de impacto
Fuentes de
información Resultados
Benavente et al.
(2007a)
Fondo
Nacional de
Desarrollo
Tecnológico y
Productivo
(FONTEC).
Chile.
Financia
proyectos que
apuntan a
desarrollos y
mejoras en
productos y
procesos. Se
subsidia hasta
el 50% del
costo total de
cada proyecto
• Adicionalidad
de insumos
• Adicionalidad de
comporta miento
• Resultados
innovativos
• Desempeño
empresarial
Econométrica
(técnicas de
differences in
differences y
propensity
score matching)
• Adicionalidad de insumos:
nivel e intensidad (relativa a
ventas) del gasto en I&D
• Adicionalidad de comportamiento: (i) cantidad de
nuevos procesos productivos
adoptados; (ii) relevancia de
los procesos introducidos;
(iii) relevancia de los cambios
en las prácticas de gestión de
RRHH; (iv) mejor acceso a
fuentes externas de conocimiento; (v) acceso mejorado
a fuentes externas de
financiamiento;
• Resultados innovativos:
i) cantidad de nuevos
productos fabricados por la
firma; ii) número de
patentes registradas
• Desempeño empresarial:
ventas, empleo, exportaciones, productividad.
Encuesta a
• Hay crowding out parcial de la
beneficiarios
inversión privada en innovación
del FONTEC • Efecto positivo sobre innovaciones
y a un grupo
de proceso e interacciones con
de control
fuentes externas de financiamiento
y conocimiento;
• No hay impacto sobre nuevos
productos
• Impacto positivo sobre ventas,
empleo, y exportaciones, pero no
sobre productividad
Gerens (1996)
FONTEC,
Chile.
Idem
Beneficio social creado
a partir de los proyectos
promovidos (incremento en el Valor
Agregado Bruto de las
firmas beneficiarias y
beneficios que
experimentan los
clientes –ahorros de
costos-y proveedores–
aumento en el valor
agregado bruto)
Retorno
económico de
los proyectos
(VAN-TIR)
comparando
situación con y
sin subsidios)
Firmas beneficiarias:
• Beneficios incrementales o
Ahorros de costos
Clientes:
• Ahorros de costos
• Proveedores
• Beneficios incrementales
Entrevistas y
cuestionario
cuantitativo a
empresas
beneficiarias
El beneficio social atribuible a los
diez proyectos supera a los costos
totales del programa
(continúa)
38 Diálogo Regional de Politica, Red de Innovación Ciencia y Tecnologia
Trabajo
Programa
Tipo de
bajo estudio Programa
Impactos
evaluados
Metodología
de evaluación
Variables utilizadas para
la medición de impacto
Murcia Linares
et al. (2007)
Programa
nacional de
desarrollo
científicotecnológico.
Componente
de apoyo para
el desarrollo
tecnológico y
la innovación
en el sector
productivo
(PNDCyTBID-III).
Colombia.
Realiza aportes • Productividad
reembolsables • Tasa de inversión
y no reembolsables y otorga
créditos a
proyectos de
innovación y
desarrollo
tecnológico, y
co-financia
proyectos de
investigación
conjuntos
entre
empresas y
universidades.
Econométrica
• Productividad por trabajador
(técnicas
• Inversión
empleadas:
difference-indifference,
propensity score
matching y modelo
de selección en
dos etapas).
Encuesta
Anual
Manufacturera
(EAM).
El crecimiento de la productividad
registrado por las empresas
beneficiarias es significativamente
mayor al de las no beneficiarias. En
cambio, la diferencia no es
significativa en cuanto al crecimiento
de la inversión.
Chudnovsky,
López,
Gutman y
Ubfal
(2006b)
Programa de
aportes no
reembolsables
(ANR) del
Fondo
Tecnológico
Argentino
(FONTAR).
Argentina.
Los ANR
Beneficio social creado
están
a partir de los proyectos
destinados a
promovidos
cofinanciar
(incremento en el Valor
proyectos de
Agregado Bruto de las
innovación
firmas beneficiarias y
tecnológica
beneficios que
de micro,
experimentan los
pequeñas y
clientes –ahorros de
medianas
costos-y proveedores–
empresas por incremento en el valor
medio del
agregado bruto)
otorgamiento
de subvenciones
que cubren
hasta un 50%
del costo total
del proyecto.
Retorno
económico de
los proyectos
(VAN-TIR)
comparando
situación con y
sin ANR)
Entrevistas y
cuestionario
cuantitativo a
10 empresas
beneficiarias
Los beneficios sociales atribuibles
a los 10 proyectos evaluados superan
al valor presente de los costos totales
del FONTAR.
Firmas beneficiarias:
• Beneficios incrementales o
Ahorros de costos
Clientes:
• Ahorros de costos
Proveedores
• Beneficios incrementales
Fuentes de
información Resultados
(continúa)
Las evaluaciones de programas públicos de apoyo al fomento y desarrollo de la tecnología y la innovación en el sector productivo en América Latina 39
Trabajo
Programa
Tipo de
bajo estudio Programa
Impactos
evaluados
Metodología
de evaluación
Variables utilizadas para
la medición de impacto
IDB (2007)
Fondo para la
Modernización
Tecnológica y
Empresarial
(FOMOTEC).
Panamá
Aportes no
reembolsables
para proyectos
de innovación,
transferencia
de tecnología e
infraestructura
institucional
• Aditividad de insumos
• Aditividad en
comportamiento
• Resultados
innovativos
• Desempeño
económico
Econométrica
(efectos fijos y
difference in
difference con
propensity store
matching).
• Gastos en I&D
Encuesta de
• No hay crowding out;
• Relevancia innovaciones
la OVE (BID) • Impacto positivo sobre
producto y proceso, aceso a
comportamiento (relevancia de
financiamiento y conocimiento
innovaciones y acceso a
externo, actividades de
conocimiento y financiamiento
capacitación
externo)
• Venta de productos nuevos
• Impacto positivo sobre
• Ventas, productividad y
producción innovadora (venta
exportaciones
nuevos productos)
• Resultados positivos sobre
productividad, pero no sobre
ventas y exportaciones
Angelelli y
Gligo (2002)
Fondo para la
Modernización
Tecnológica
y Empresarial
(FOMOTEC).
Panamá
Aportes no
reembolsables
para proyectos
de innovación,
transferencia
de tecnología
e infraestructura
institucional
•
•
•
•
•
Estudio de caso
• Número de empresas
atendidas
• Relación entre recursos
recibidos por las empresas
beneficiadas y el gasto del
fondo
• Grado de satisfacción de las
empresas con respecto al
mecanismo de entrega de
los ANR
Alcance
Eficiencia
Impacto innovativo
Adicionalidad
Retorno fiscal
Fuentes de
información Resultados
Encuestas a
beneficiarios
más base de
datos del
programa
• Número de proyectos aprobados
inferior al previsto
• Demoras en el desembolso de
fondos por demoras en la
ejecución de los proyectos
• Altos costos operativos en relación
a montos desembolsados
• Empresas satisfechas con
procedimientos
• Subsidio no motiva a las empresas
a efectuar proyectos “nuevos,” sino
que permite adelantar la ejecución
de los mismos o evitar que se
realicen en forma parcial
• Incorporación de nuevas rutinas
y capacidades innovativas
• Retorno fiscal positivo
(continúa)
40 Diálogo Regional de Politica, Red de Innovación Ciencia y Tecnologia
Trabajo
Programa
Tipo de
bajo estudio Programa
Impactos
evaluados
Metodología
de evaluación
Variables utilizadas para
la medición de impacto
Fuentes de
información Resultados
Binelli y
Maffioli
(2007)
Fondo
Tecnológico
Argentino
(FONTAR).
Argentina.
El FONTAR
tiene como
objetivo dar
apoyo a
proyectos
privados de
inversión en
I&D y en
actividades
innovativas, a
través de
diversas líneas
de subsidios
y créditos
• Aditividad de
insumos
Econométrica
Técnicas
empleadas:
método fixed
effects
Gasto anual de las firmas
en I&D.
Primera y
Segunda
Encuesta
Nacional de
Innovación
(Instituto
Nacional de
Estadísticas
y Censos
(INDEC
Argentina)
• Impacto positivo de FONTAR
sobre gasto de firmas en I&D
(neto de subsidio).
• El impacto positivo se debe a la
provisión de crédito fiscal y
créditos subsidiados. No hay
evidencia de que los fondos
recibidos a través de matching
grants hayan tenido efecto aditivo
sobre los gastos privados en I&D.
Chudnovsky,
López, Rossi y
Ubfal (2006a)
Programa de
aportes no
reembolsables
(ANR) del
Fondo
Tecnológico
Argentino
(FONTAR).
Argentina.
Los ANR
•
están
destinados a
cofinanciar
•
proyectos de
innovación
•
tecnológica
de micro,
•
pequeñas y
medianas
empresas por
medio del
otorgamiento
de subvenciones
que cubren
hasta un 50%
del costo total
del proyecto.
Encuesta a
beneficiarios
y a un grupo
de control
implementada
por el
Instituto
Nacional de
Estadísticas y
Censos
(INDEC,
Argentina).
• Impacto positivo de ANR sobre
gastos en innovación de firmas
(no hay crowding out).
• Sin embargo, no hay efecto
multiplicador
• Efecto diferencial según si la firma
era o no innovadora antes de
recibir el ANR: adicionalidad
neta de subsidio vs crowding out
• Impactos sobre resultados
innovativos y desempeño
económico no significativos.
Aditividad de
insumos (crowding
in/out)
Desempeño
innovador
Desempeño
económico
Diferencias en
resultados de
innovadores nuevos
y ya establecidos.
Econométrica
• Gasto de firmas en I&D por
(técnica empleada: empleado
difference-in• Ventas de nuevos productos
difference).
• Productividad laboral.
(continúa)
Las evaluaciones de programas públicos de apoyo al fomento y desarrollo de la tecnología y la innovación en el sector productivo en América Latina 41
Trabajo
Programa
Tipo de
bajo estudio Programa
Impactos
evaluados
Metodología
de evaluación
Variables utilizadas para
la medición de impacto
Fuentes de
información Resultados
López y
Svarzman
(2007)
Subprograma
de Apoyo a la
Innovación y
Mejora de la
Competitividad
de las Empresas,
del Programa
de Desarrollo
Tecnológico
(PDT).
Uruguay.
El subprograma
tiene como fin
mejorar la
competitividad
de las empresas
beneficiarias
(particularmente PYMES)
a través de
aportes no
reembolsables
por hasta 50%
del costo total
de proyectos de
desarrollo de
nuevos
productos o
procesos
Beneficio social creado
a partir de los proyectos
de innovación promovidos (incremento en
el Valor Agregado
Bruto de las firmas
beneficiarias y beneficios
que experimentan los
clientes –ahorros de
costos– y proveedoresincremento en el valor
agregado bruto)
Retorno
económico de
los proyectos
(VAN-TIR)
comparando
situación con y
sin subsidios)
Firmas beneficiarias:
• Beneficios incrementales o
Ahorros de costos
Clientes:
• Ahorros de costos
Proveedores
• Beneficios incrementales
Entrevistas y
cuestionario
cuantitativo a
10 empresas
beneficiarias
El beneficio social atribuible a los
diez proyectos evaluados supera a
los costos totales del programa
De Negri A.,
De Negri F.,
Borges Lemos
M. (2006) (a)
Fondo para
el Desarrollo
Científico y
Tecnológico
(FNDCT),
administrado
por (FINEP).
Brasil.
Aportes no
• Aditividad de insumos
reembolsables
(crowding in/out)
para proyectos • Desempeño
de desarrollo
innovativo
tecnológico
• Desempeño
cooperativos
económico
entre firmas
y universidades.
Econométrica.
Técnicas
empleadas:
propensity score
matching,
difference-indifference y modelo
de selección en dos
etapas.
• Gasto de las firmas en I&D
• Patentes
• Facturación, productividad
laboral y nº de empleados.
Base datos
integrada,
disponible en
el Instituto de
Investigación
en Economía
Aplicada
(IPEA)
• Crowding in: impacto positivo
sobre esfuerzo tecnológico de
los beneficiarios (neto de subsidio)
• Impacto positivo sobre
aplicaciones de patentes
• No hay impacto sobre el
desempeño empresarial
(continúa)
42 Diálogo Regional de Politica, Red de Innovación Ciencia y Tecnologia
Trabajo
Programa
Tipo de
bajo estudio Programa
Impactos
evaluados
Metodología
de evaluación
Variables utilizadas para
la medición de impacto
De Negri A.,
De Negri F.,
Borges Lemos
M. (2006) (b)
Programa de
Apoyo al Desenvolvimiento
Tecnológico de
las Empresas
Nacionales
(ADTEN),
administrado
por (FINEP).
Brasil.
Créditos
para financiamiento
de proyectos
de desarrollo
tecnológico
(establecimiento de
laboratorios
de investigación y
desarrollo,
innovaciones
de producto
o proceso,
compra de
tecnologías,
etc.)
• Aditividad de
insumos (crowding
in/out)
• Desempeño
innovativo
• Desempeño
económico
Econométrica.
• Gasto de firmas en I&D
Técnicas
• Facturación, productividad
empleadas:
laboral, nº de empleados,
propensity score
patentes.
matching, differencein-difference y
modelo de selección
en dos etapas.
Base de datos
integrada,
disponible en
el Instituto de
Investigación
en Economía
Aplicada
(IPEA).
• Crowding in: impacto positivo
sobre gasto de firmas en I&D
(neto de subsidio)
• No hay impactos estadísticamente
significativos patentes
• Impacto positivo sobre
crecimiento de facturación y nº
de empleados, pero no sobre
productividad
Carullo
et al.
(2003)
Programa de
Consejerías
Tecnológicas
(Argentina)
Subvenciones
no reembolsables para
proyectos de
consejerías
tecnológicas
dirigidas a
PYMES
• Alcance de la
población objetivo
• Aspectos procedimentales
• Cumplimiento
efectivo de los
proyectos
• Impacto sobre
desempeño
empresarial
• Desarrollo de una
oferta de servicios
tecnológicos para
PyMEs
Estudio de caso
Entrevistas a
empresas más
encuesta a
beneficiarios
• Necesidad de redefinir
parcialmente población objetivo
y actividades promovidas
• Insuficiente desarrollo de una
oferta de profesionales calificados
para atender a PyMEs
• Mejora en las capacidades de
las firmas para identificar sus
necesidades en el marco de sus
estrategias de negocios.
• Participación en el PCT estimuló
una mayor predisposición a
vincularse con otros agentes del
sistema.
Diversas, fundamentalmente
de naturaleza cualitativa
Fuentes de
información Resultados
ANEXO
Breve Descripción de los
Métodos Econométricos
Empleados en las Evaluaciones23
El problema de selección que surge al querer evaluar el impacto de programas como
los que se analizan en este informe es ampliamente reconocido por la literatura
especializada (ver Klette, Moen y Griliches 2000, o Heckman et al. 1998). Como
base para la discusión, consideremos el siguiente modelo estándar:
Yit = ßDi + lXit + ai + µt + πit + eit
(1)
donde Yit es el producto del candidato i en el momento t24, Di es una variable categórica
que toma un valor igual a 1 si el candidato i ha recibido el subsidio en el momento
t, y ß es el efecto para el candidato i de recibir el subsidio. Xit es el vector de factores
observables que contribuyen a determinar el producto (por ejemplo, tamaño en el
caso de firmas).
Los factores no observables que determinan el producto son reflejados en los
últimos cuatro términos. Un término constante en el tiempo (el efecto individual,
ai , que representa diferencias permanentes en desempeño entre los candidatos), un
efecto temporal común a todas los candidatos (µt), y el término de error usual en
este tipo de modelos, eit , que representa fluctuaciones temporarias en el desempeño
alrededor de la media específica de cada candidato –este término no es observable ni
por el econometrista ni por la agencia que otorga los subsidios. Supondremos que eit
no se encuentra correlacionado ni con D ni con las X. El único término no estándar
en la ecuación (1) viene dado por πit , término que varía con el tiempo y que es
específico a cada candidato. Este término no es observable por el econometrista pero
sí por la agencia que otorga los subsidios –por ejemplo, a través del análisis de la
calidad y/o potencial del proyecto presentado.
El objetivo al evaluar un determinado programa de subsidios es conocer su impacto
promedio sobre aquellos candidatos que efectivamente recibieron el subsidio,
23. Esta sección está tomada del informe metodológico preparado para la “Evaluación del Programa de Modernización
Tecnológica II de Argentina” (Daniel Chudnovsky, Andrés López y Martín Rossi, Agosto 2005)
24. Utilizaremos el término “candidato” para referirnos a potenciales receptores de los subsidios, ya sea que hayan o
no aplicado para los mismos.
43
E(ß/D = 1).25 Esto es, lo que se intenta determinar es la efectividad del “tratamiento”
que se le está dando a una fracción no aleatoria de una determinada población.
La forma más obvia de intentar estimar el efecto promedio del tratamiento sobre el
grupo tratado es estimar una versión de la ecuación (1) para una muestra de sujetos
que recibieron y no recibieron el tratamiento, y utilizar el coeficiente de la dummy
tratamiento como una medida del efecto del subsidio.
Supongamos que el criterio de selección de los candidatos se realiza teniendo en
cuenta el desempeño esperado de los mismos. En principio, este criterio de selección
no crea ningún sesgo: si la dummy se encuentra no correlacionada con todo lo demás,
es posible estimar la ecuación (1) utilizando Mínimos Cuadrados Clásicos, y el
coeficiente asociado a la dummy tratamiento nos brindará una estimación de E(ß/D
= 1), que es precisamente lo que pretendíamos encontrar.26
El problema de selección surge porque se presume que la dummy se encuentra
correlacionada con ai y con πit. Esto es, las firmas que son los mejores candidatos
para recibir financiamiento también son aquellas que tendrían el mejor desempeño
esperado en ausencia de financiamiento. Ello implica que la selección de los
candidatos hace E (ai + πit / D = 1) > 0, sesgando de esta forma la estimación de E
(ß /D = 1).27
Estrategias empíricas para lidiar con
el sesgo de selección
En esta sección analizamos varias estrategias alternativas para intentar eliminar, o al
menos atenuar, el problema del sesgo de selección en evaluaciones del tipo “after-thefact.” Estas son: (i) regresión con controles; (ii) efectos fijos o modelos “differencein-differences”; (iii) modelo de variables instrumentales y (iv) “matching methods.” A
continuación describimos cada una de estas alternativas.
Regresión con controles. El enfoque más simple para eliminar la correlación entre Di y
el término de error es incluir en la regresión un conjunto de variables que “controlen”
por los efectos no observables. La idea es incluir tantos regresores como sea necesario
hasta lograr que el valor esperado condicional del término de error sea igual a cero.
25. Notemos que en este documento el impacto de un programa está asociado con una condición dicotómica: o se
recibe el subsidio (D=1) o no se recibe el subsidio (D=0). Por lo tanto, suponemos que no es importante la magnitud
del subsidio.
26. Por supuesto, no es posible determinar el promedio no condicional (o poblacional) para el efecto tratamiento.
27. Recordemos que un requisito para obtener estimaciones no sesgadas del coeficiente ß en una regresión de
Mínimos Cuadrados Clásicos es que el valor esperado condicional del término de error sea igual a cero.
44 Diálogo Regional de Politica, Red de Innovación Ciencia y Tecnologia
Un problema con este procedimiento es que no hay forma de saber si el conjunto
de controles utilizados representa adecuadamente la información en manos de la
agencia otorgadora del subsidio (que es, por supuesto, la que determina Di).
Efectos fijos/difference-in-differences. Una segunda estrategia, alternativa a la
regresión con controles, consiste en estimar la ecuación (1) utilizando el método
conocido como Least Squares Dummy Variables. En este modelo ai es tratado como
un parámetro específico de cada candidato y, por lo tanto, se permite que esté
correlacionado con la D. De esta forma, el parámetro de impacto estimado (ß) no
se encontrará sesgado aún si los candidatos no fueron seleccionados aleatoriamente,
siempre y cuando la selección de los candidatos se encuentre basada en características
de los candidatos que son invariantes en el tiempo.
Este procedimiento posee la ventaja de eliminar la necesidad de encontrar variables
observables que correlacionen con las diferencias no observadas de desempeño.
La limitación es que sólo se controla por efectos no observables específicos a
cada candidato (ai) y por efectos temporales no observables comunes a todos
los candidatos (µt), mientras que se debe dejar a un lado efectos no observables
específicos a cada candidato y que varían en el tiempo (en otras palabras, se debe
suponer πit = 0 o encontrar variables de control observables que sean específicas para
cada candidato y varíen en el tiempo).
En algunas aplicaciones, sin embargo, es posible encontrar diferencias en desempeño
no observables específicas para cada candidato y que varían en el tiempo, lo que
no permite realizar el supuesto πit = 0. Por ejemplo, las firmas pueden decidir
presentarse al programa de subsidio para intentar revertir un inusual mal desempeño
en períodos precedentes o debido a que cuentan con un proyecto de innovación
infrecuentemente promisorio.
Cualquier variación no observable de este tipo haría que este estimador estuviese
sesgado. En última instancia, la validez o no del supuesto πit = 0 depende del caso
particular bajo análisis: si en el proceso de selección se utilizan características de
los candidatos (las cuales, en general, se pueden suponer constantes en el tiempo)
sin tener en cuenta el proyecto en particular, entonces es más probable que las
características estén captadas por el efecto individual y que, por lo tanto, el término de
error remanente no se encuentre correlacionado con la probabilidad de selección.
Dado que el estimador de efectos fijos puede llegar a estar seriamente sesgado si el
término de error se encuentra correlacionado con la probabilidad de ser seleccionado
para participar del programa, lo que la literatura econométrica sugiere es “ampliar” el
estimador de difference-in-differences, incorporando variables de control que reflejen
el desempeño pre-programa.
Las evaluaciones de programas públicos de apoyo al fomento y desarrollo de la tecnología y la innovación en el sector productivo en América Latina 45
Variables instrumentales. Esta estrategia consiste en identificar instrumentos para
la variable endógena. Esto es, el procedimiento de variables instrumentales requiere
encontrar una variable (o un conjunto de variables) que afecte la probabilidad de
selección, pero que no afecte el desempeño.
Sujeto a encontrar un instrumento o un conjunto de instrumentos, este enfoque
provee estimaciones no sesgadas del efecto de tratamiento. Esto es, la validez de
la metodología de variables instrumentales depende de que sea posible encontrar
instrumentos adecuados. Las dificultades para encontrar instrumentos adecuados
han sido extensamente discutidas en la literatura sobre el tema28.
Matching methods. La idea de esta metodología es encontrar, para cada candidato
subsidiado, candidatos similares en términos de las características X en el potencial
grupo de control. La metodología es adecuada cuando es improbable que la selección
dependa de efectos no observables (ver Czarnitzki y Hussinger 2004, para una
aplicación en el que este supuesto es probable que sea válido).
La construcción del grupo de control depende del algoritmo de “matching” elegido.
Uno de los enfoques posibles es el denominado “nearest neighbor matching,” que
consiste en encontrar para cada candidato subsidiado el candidato más parecido en
términos de las características X en el potencial grupo de control.
Sin embargo, como X posee muchas variables es virtualmente imposible encontrar
en el grupo de control candidatos no subsidiados gemelos que posean exactamente
las mismas características que los candidatos subsidiados. Una forma de solucionar
este problema, propuesta por Rosenbaum y Rubin (1983), es el de hacer el
“matching” utilizando el “propensity score” P(X), esto es, la probabilidad de recibir el
subsidio. Utilizando esta medida escalar, el investigador se asegura que las muestras
de candidatos subsidiados y no subsidiados son, en promedio, estadísticamente
no diferentes en cuanto a las características X. Como el “propensity score” no
es observable, éste debe ser estimado utilizando un modelo de elección binaria –tipo
probit.
También es posible combinar los métodos de ”matching” y ”difference-in-differences”;
esto es, estimar diff-in-diff en la sub-muestra resultante luego de aplicar el algoritmo
de “matching.”
Alternativamente, es posible utilizar la información disponible sobre el puntaje
recibido por los participantes para realizar un análisis de regresión discontinuado (o
regression discontinuity analysis). La idea de esta metodología es simplemente realizar
una regresión de Mínimos Cuadrados Clásicos restringiendo la muestra a aquellas
28. Vale mencionar que el método de variables instrumentales identifica el impacto del tratamiento sólo para el
grupo afectado por el instrumento.
46 Diálogo Regional de Politica, Red de Innovación Ciencia y Tecnologia
observaciones que recibieron un puntaje en un entorno al umbral utilizado como
corte para otorgar los subsidios. Al tratarse de observaciones con puntaje similar,
es posible suponer que no existe sesgo de selección en la muestra reducida y, por lo
tanto, Mínimos Cuadrados Clásicos brinda resultados consistentes.
Las evaluaciones de programas públicos de apoyo al fomento y desarrollo de la tecnología y la innovación en el sector productivo en América Latina 47
Banco Interamericano de Desarrollo
1300 New York Avenue, NW
Washington, DC 20577
www.iadb.org
dialogo@iadb.org
Impreso 100% en papel reciclado y tinta en base de soya.
Andres Lopez