El país podría desaprovechar cientos de millones de colones por estas inconsistencias

Monitor OCDE: Carencias en evaluaciones de Mideplan afectan la efectividad de programas estatales

El Mideplan invirtió unos 475 millones de colones solo en la evaluación de 15 políticas públicas y programas, entre el 2019 y el 2022. Este monto y las ganancias que se podrían obtener de la correcta implementación de estas políticas y programas podrían estar en riesgo al aplicarse las evaluaciones de forma inadecuada. Foto libre de derechos por Nasim Nadjafi / Pixabay.

El Estado está compuesto por muchas entidades que tienen sus propios programas cuyo fin es organizar sus servicios, promover el desarrollo y, en términos muy generales, hacer que el país avance.

Para asegurarse de que estos programas cumplan con sus objetivos, hay que evaluarlos. Y el encargado de esto es el Ministerio de Planificación Nacional y Política Económica (más conocido como Mideplan).

Pero aquí viene el problema: este ministerio ha presentado fallas en las guías de Términos de Referencia de los instrumentos que utilizan para evaluar los programas durante los últimos años. Así lo advierte el Monitor OCDE, instancia que sirve de enlace entre la Organización para la Cooperación y el Desarrollo Económico (OCDE) y el país, la cual está adscrita al Centro de Investigación y Capacitación en Administración Pública (CICAP) de la Universidad de Costa Rica (UCR).

El Monitor OCDE llegó a esta conclusión tras una revisión de 26 informes de evaluación concluidos y con acceso público, que a su vez identificaron más de 510 recomendaciones, 105 acciones y 47 categorías para instituciones públicas. Tras este análisis, se determinó que un 86,3 % de las recomendaciones se concentran solo en el control de la gestión o en el ciclo corto de la intervención, es decir, en temas de presupuesto, procedimientos de trabajo y necesidades de capacitación.

En cambio, únicamente el 12,5 % trató el cumplimiento de las metas de los programas, lo que deja un reducido 1,2 % de las recomendaciones para la toma de decisiones estratégicas, objetivo final que, se supone, debería cumplir toda evaluación estatal.

En gráficos, estos son algunos parámetros analizados por el Monitor OCDE para calificar los instrumentos utilizados por Mideplan en sus evaluaciones, así como el grado de conocimiento de los diferentes actores que participan de estos procesos.  

La evaluación de programas y su verdadera utilidad

La más reciente Agenda Nacional de Evaluación, que coordina Mideplan, contempla 15 intervenciones a programas estatales de diversa índole, desde el 2019. De estos, 14 fueron calificados en el cumplimiento de sus metas con una nota superior al 87,5 % y 11 de ellos incluso obtuvieron la totalidad de metas cumplidas al 2022. En todos ellos, ese ministerio invirtió una suma de 785 mil dólares (unos 475 millones de colones al tipo de cambio de este martes).

Cabe aclarar que cada una de estas evaluaciones tiene tres partes que la integran: Mideplan encabeza con un equipo supervisor del proceso, un equipo de la institución contraparte que va a ser evaluada y también un equipo evaluador externo (donde en algunas ocasiones, la UCR ha sido la entidad contratada).

Entonces ¿dónde está el problema? Según el documento Gestión pública basada en evidencia: uso de los resultados de la evaluación, realizado por el coordinador del Monitor OCDE, Esteban Mora Martínez, en muchos casos se desconoce el alcance, los requisitos y las expectativas de una evaluación, incluso antes de que esta inicie.

Además, algunos de estos análisis no aportan mayor información sobre el aprovechamiento de las evaluaciones para futuros estudios. En otras palabras, los resultados de esas evaluaciones no están dirigidos a la toma de decisiones estratégicas, por lo que no producen cambios en el diseño de los programas públicos y, por lo tanto, los problemas siguen sin resolverse.

Según Mora, Mideplan ha fallado a la hora de indagar si existe la suficiente información o los insumos en las instituciones para responder a estos instrumentos evaluativos, así como las características de los temas a analizar (por ejemplo, de dónde sale el problema que afecta a una entidad, por qué es un problema y para quiénes es un problema), lo que da al traste con la inversión de tiempo y recursos empleados en las herramientas para la revisión de los programas, aunque - según el Ministerio - estas mediciones culminen con éxito.

Y ¿por qué ocurre este “corto circuito” entre lo que se espera de los programas y lo que se obtiene? Las causas son varias, pero todas tienen que ver con el proceso de evaluación, desde la formulación de la herramienta de testeo hasta los resultados obtenidos y su utilidad real.

Mora comentó que las evaluaciones tienen varios factores adicionales que les impiden dar mejores frutos: por un lado, los escasos recursos de las entidades para aplicarlas de forma correcta; por otro lado, la falta de capacitación del funcionariado que ofrece el servicio; y a esto hay que agregar el desconocimiento de los instrumentos y las herramientas metodológicas por parte de las personas que son evaluadas, así como una limitada comunicación de los resultados y los beneficios que la ciudadanía podría obtener gracias a estos programas.

Todos estos factores hacen que, muchas veces, el equipo evaluador del Mideplan deba reestructurar el instrumento de evaluación, así como la información histórica, para crear un instrumento que sea realmente efectivo. Pero en estos “remiendos” se pierde tiempo y dinero no solo del proceso en sí, sino (y, sobre todo) del efecto positivo que debería generar el programa o proyecto estatal

Según explica el coordinador del Monitor OCDE, este desperdicio de recursos, logística y tiempo es muy preocupante, pues los resultados de estas evaluaciones se quedan en el camino sin poder explotarse más, lo que también imposibilita a las autoridades tomar la mejor decisión sobre qué hacer con estos programas.

Si bien todo este problema puede parecer muy técnico y lejano de la vivencia de cada hogar costarricense, la realidad es que afecta a cada persona que vive en este país, ya sea porque la población no recibe el beneficio de estos programas de forma óptima o porque se está desaprovechando la inversión que se hace en ellos.

Por eso es que, según Mora, corregir este tipo de errores es esencial para que las evaluaciones permitan generar un aprendizaje en las diversas entidades evaluadas, crear conciencia ciudadana y propiciar una mejora continua de los procesos y servicios: "esto es parte de los aprendizajes que el propio CICAP ha tenido como parte de varios procesos evaluativos a nivel nacional. Por eso es que ejecutamos esta la investigación y compartimos los resultados con Mideplan y con la Plataforma Nacional de Evaluación", afirmó el investigador.

La Política Nacional de Responsabilidad Social 2017 – 2030, ejemplo de un programa sin evaluar

Para ilustrar de forma más aterrizada cómo están afectando los errores o las omisiones de Mideplan a los programas y proyectos que deberían beneficiar a la población, el coordinador del Monitor OCDE el caso de la Política Nacional de Responsabilidad Social 2017 – 2030, que ha sido impulsada a través de directrices de la OCDE.

En palabras resumidas, esta pretende que las empresas dispongan parte de sus bienes, servicios y réditos para el aprovechamiento de un proyecto de derechos humanos, medioambiente o de cualquier intervención social o económica en beneficio de las comunidades o de algunos sectores del país.

A falta de la incorporación de esta política en la Agenda Nacional de Evaluación, que coordina Mideplan, recientemente el Ministerio de Economía, Industria y Comercio (MEIC) debió solicitar a la OCDE un diagnóstico para determinar sus efectos y alcances, pues esta cartera intuía que el país tenía mucho por mejorar en la aplicación de esta política.

Y efectivamente, así fue. La OCDE halló que esta iniciativa alcanza solo al 70 % de todas las grandes empresas del país, que en conjunto son el 2,5 % del total de negocios en Costa Rica. El restante 97,5 % son micro, pequeñas o medianas empresas, que no están insertas dentro de esta política. Con esta información, el MEIC podría restructurar la forma como está aplicando esta política, para que tenga mayor impacto social en beneficio del país.

En buena teoría, estos resultados debieron provenir de una evaluación realizada por Mideplan, algo que no está haciendo y que afecta de forma significativa el desarrollo social y los beneficios que podría estar recibiendo la población. Si se considera que este ministerio es cocreador de esta política, el problema se vuelve aún más obvio. En palabras de Mora: “una buena política pública nace para ser evaluada”.