Y empezamos las actividades presenciales con una mezcla de conferencia, mesa redonda, panel...uno nunca sabe ya cómo llamar a esto. En el fondo es un intento de réplica de las conversaciones de café que hemos tenido en alguna ocasión. Por eso la hemos titulado "Evaluación a dos voces". Hablaremos de los temas que nos interesan en evaluación, lo que se está discutiendo por ahí, algunas pistas sobre hacia dónde caminar, etc. Será el jueves 17 a las 12. Aquí podéis ver el cartel anunciador. Es una actividad abierta, patrocinada por la Asociación Valenciana de Ingeniería sin Fronteras. Estáis todos y todas cordialmente invitados. Para los que no podáis venir, intentaremos al menos conseguir unas fotografías (ojala un video que pudiéramos colgar).

Sevilla es una ciudad fantástica, y tanto el seminario como las tapas y las cervezas dan para intercambiar ideas. Coincidencia total entre el alumnado (gentes de diferentes administraciones andaluzas, diferentes sectores de intervención) en que la base de todos nuestros limitantes es cultural. Y no con aquella acepción de cultural como estereotipo, sino más bien de carencias en las buenas costumbres que supondrían incorporar la evaluación como un quehacer (qué bonita palabra en español) de nuestra práctica profesional. Lamentablemente, surgieron demasiados ejemplos, anécdotas, chistes, que ilustran lo mucho que nos queda en España por caminar.

¿Más temas? Pues algunas cosas que ya hemos venido comentando en EVALUATECA y que están en "la picota": los estándares, calidad en evaluación, profesionalización. Muy interesante la idea que los compañeros andaluces están predicando: creación de unidades de evaluación. Simple, ¿verdad? pues me pregunto por qué tan simple pero tan ausente de nuestras instituciones públicas (de otras instituciones, ya, para qué hablar...).

Yo no me pude resistir y hablamos de Evaluación de Impacto, la regla de oro, etc. Se que alguno/alguna pensará que es patológico, pero, ¡caramba! qué oportuno. Descubro días antes que la Cooperación Española, en su apuesta por el multilateralismo y por la calidad de la ayuda se inclina por la Evaluación de Impacto y crea un fondo con el Banco Mundial: Fondo Español para las Evaluaciones de Impacto. En la misma línea, organiza un interesante curso la próxima semana en Madrid (claro, ¿dónde iba a ser si no?) sobre el tema y trae a expertos internacionales. Podéis ver más información en este archivo: TALLER SOBRE EL FONDO ESPANOL DE EVALUACION DE IMPACTO (SIEF). Hay que reconocer que el programa es bueno pero...hay algo que me asusta. Cito textualmente parte de la carta de motivación que se envía a posibles interesados, firmada por una responsable de Cooperación Española:

"La evaluación de impacto es uno de los instrumentos que permite obtener con un rigor científico información sobre los efectos positivos y negativos que tienen las intervenciones de desarrollo en los beneficiarios, consigue establecer una atribución causal entre la intervención llevada a cabo y los efectos generados por la misma, aumentando la certidumbre en la toma de decisiones públicas, a la hora de seleccionar entre diferentes alternativas de intervención"

En fin, que no hemos empezado más que a gatear en Evaluación (y más si cabe en Evaluación en el campo de la Ayuda al Desarrollo) y ya tenemos clarísimo que son los diseños experimentales los que nos van a sacar de las tinieblas y nos van a ayudar a formular las políticas públicas más adecuadas. La misma Cooperación Española tiene un Manual de Gestión de EValuaciones excelente, primer paso para el fortalecimientyo de capacidades de evaluación en los actores involucrados. Nos acompañó en Sevilla Cecilia Rocha, responsable de Evaluación de DGPOLDE, y comentamos esta necesidad de seguir avanzando. Sinceramente, creo que hubiera sido más inteligente por parte de los responsables políticos financiar este proceso de fortalecimiento y no un fondo de Evaluaciones para proyectos del Banco Mundial. Aunque claro, acompañar procesos cuesta mucho tiempo, algo de dinero y no se fotografía tan fácilmente.

Bajo el título, "INTERNATIONAL AID EVALUATION: AN ANALYSIS AND POLICY PROPOSALS", el Dr. Chianca nos hace un repaso de los actuales debates, las diferentes posturas y las iniciativas/grupos/instituciones que han surgido para defenderlas. Consorcios como el 3IE, NONIE o ALNAP, iniciativas de agencias como el ECG o UNEG, son algunas de las nuevas estructuras analizadas por el autor.

Estoy seguro de que este trabajo va a ser un gran aporte al conocimiento en evaluación, en especial para poder clarificar toda esta amalgama de iniciativas internacionales que van surgiendo en estos años alrededor de la Evaluación en el contexto de la AOD. Espero que Thomaz nos regale próximamente con publicaciones al respecto. Y que siga, como hasta ahora, aportando sus buenas ideas y, sobre todo, su encantador carácter a nuestra profesión. Porque además de ser uno de los próximos líderes de evaluación de la próxima década (esa es mi apuesta al menos), es un fantástico guitarrista que domina la Música Popular Brasileña casi tanto como el lenguaje evaluativo.

Voy a intentar hincarle el diente a las 228 páginas de su interesante tesis doctoral. Mientras esperamos las publicaciones oficiales, dejo la presentación en video (siempre más amena) de la defensa de esta disertación.

Eso me ha recordado una discusión que tuve hace un par de semanas con m compañera de equipo de evaluación, en una estancia en San Salvador, alrededor de un componente de proyecto que estábamos estudiando. Salió la cosa de si el Ministerio X se había "apropiado", "empoderado", o simplemente tal política se había "institucionalizado". En fin, visto con perspectiva, de mucha risa.

Yo soy de los que creo en el uso preciso de los términos. El problema se genera cuando los términos no están unívocamente definidos. ¿Qué implica "institucionalización"? ¿Qué lo diferencia de "apropiación"? Y ya que esta gente de los Mapeos de Alcances discutía del tema, ¿cómo valorar la sostenibilidad de dicha institucionalización/apropiación?

Esta disquisición puede parecer tan estéril como lo parece la que he citado para ejempificar. Pero hay algo no tan baladí: ¿y si somos capaces de justificar cualquier cosa con tan solo emplear uno u otro término? Entonces ya estamos cambiando la dimensión del problema. Estamos ante una cuestión ética. Y eso son, como dicen los nicas, "otros cien pesos".

Ya lo decíamos hace un tiempo: a pesar de la insistencia de algunos y algunas personas involucradas en la promoción de la evaluación en la Cooperación al Desarrollo de ámbito español, NO TENEMOS CULTURA DE EVALUACIÓN, y no parece que la cosa vaya a cambiar en breve. No lo digo yo, lo dice la evaluación por pares del CAD, llevada a cabo durante el año pasado y recientemente publicada en línea en su web. Échale un vistazo aquí (¡cómo no! no está en español). No es que yo sea un ferviente adepto a esta institución, pero como parece ser que es una referencia ineludible...

Algunas lindezas que nos regala el informe:

a) página 47, 2º párrafo "sorprendentemente, la reforma de la agencia (AECI) no incluye ningún plan para un sistema de evaluación, lo cual es una omisión grave"

b) idem, "...los recursos presupuestarios para esta labor son muy pequeños, hecho que dificulta la posibilidad de contratar evaluadores con sufciente experiencia en evaluación en el área de cooperación al desarrollo"

c) página 47, 3er párrafo, "el equipo de revisión encontró suficientes evidencias para asegurar que es necesario instaurar una cultura de evaluación en la cooperación descentralizada (referida a administraciones públicas)"

Lo dicho. Será cuestión de ponerse a trabajar.

Quiero hacer mención a un candidato, pero tranquilidad, no voy a hacer campaña por ningún partido político. Estos días me ha llegado la noticia de la candidatura de Marco Segone para la presidencia de IDEAS. IDEAS es una de las redes internacionales de evaluadores. Particularmente, no es de mi preferencia, ya que desde el principio primó la iniciativa individual frente a la asociada/colegiada de los profesionales, además de obviar procesos de itnernacionalización en marcha, en especial el IOCE. Sin embargo, hay que reconocer que es una red de referencia .

La candidatura de Marco Segone es muy importante precisamente para aunar estos procesos de internacionalización. Desde sus diferentes posiciones como oficial de UNICEF, Marco ha venido participando en la creación y la consolidación de redes, como RELAC, ReNSE, o la Red Brasileña de Evaluación. También fue uno de los impulsores de IOCE.

Por ello, animo a quien pueda votar que lo haga por Marco. Yo no soy miembro de IDEAS, todavía, pero creo que con su liderazgo me va a apetecer más participar.

El primero es una de las muchas cosas interesantes que uno/a puede encontrarse en la meca académica de la Evaluación, el Evaluation Centre de University of West Michigan. Alrededor del programa de doctorado multidisciplinar en Evaluación, surgido hace unos cuatro años, el EC organiza los Evaluation Cafe, una actividad breve en un ambiente algo más distendido que una clase o una conferencia, en la que se comparten ideas, recientes trabajos o investigaciones o se debate con personalidades de la evaluación. Todo ello alrededor de un cafe. La idea no es la gran revolución, pero es una buena práctica. Y si además facilitas recursos y eres capaz de convocar a nombres como Patton o Scriven, en fin, das valor añadido, si duda.

En la referencia anterior se puede encotrar información sobre los 'cafes' ya servidos y los que vendrán. Algo muy interesante que he descubierto esta semana, y por lo que hago la referencia, es que algunas sesiones están grabadas en video y se pueden ver, junto a materiales expuestos por los ponentes. Casi como estar allá (pero sin tanto frío ;-) )

La otra referencia/recomendación de la semana es el Evaluation Portal, iniciativa particular creada por Lars Balzer. Se trata de un intento de "madre de todas las webs" en Evaluación. Como dice Lars en la cabecera, trata de responder a la pregunta "¿está usted buscando alguna información sobre el tópico 'evaluación'?". Algo ambicioso, no cabe duda, rozando lo utópico. Hago esta referencia por varias razones. Primera, porque me parece que va a cumulando y facilitando información interesante en este tema. Segunda, porque es una iniciativa particular, llevada adelante con el esfuerzo personal de un compañero evaluador. Y tercera, por sintonía generacional, porque Lars es un profesional 'de mi quinta' (vieja denominación en España para decir 'de una edad similar'). Y estoy encantado de ver que mi generación empieza a decir y hacer cosas interesantes en Evaluación.

Esta vez, Cooperación Española, desde su nuevo "think tank" llamado Dirección General de Planificación y Evaluación de Políticas para el Desarrollo (y conocido en el sector por sus siglas DGPOLDE), apuesta por un enfoque renovador y más atrevido. Es la tónica general de sus propuestas: un ala ministerial con una filosofía de trabajo casi totalmente opuesta al habitual procedimentalismo funcionarial de AECI que no hace sino poner arena a los engranajes.

Todavía no lo he trabajado en profundidad, pero en líneas generales, vale la pena comentar un par de cuestiones como primera aproximación (en posteriores mensajes ampliaremos, paciencia). Por un lado, se apuesta por un enfoque de "gestión del proceso evaluativo", es decir, el énfasis está puesto en aquellos que van a encargar evaluaciones y no tanto en quienes finalmente realicen las tareas programadas a tal fin (digamos por ejemplo, evaluadores externos). Esto creo que es más realista con las necesidades evaluativas de las ONGD que un manual genérico de evaluación. Esta apuesta tiene más potencial de contribución a la madurez de ese proceso que venimos llamando "cultura de evaluación".

Por otro lado, el manual tiene un énfasis importante en el uso (un aire muy "Patton") y en el aprendizaje. No se si los mecanismos previstos a tales efectos serán a su vez útiles, realistas, viables, etc. Pero por de pronto, la apuesta es de lo más acertada.

Dejo el Manual aquí para quien le interese, que me consta será mucha gente. De hecho, una crítica al final de este proceso vendría en la línea de la "socialización". Se viene prometiendo en petit comité y demás pasilleos, desde los diferentes actores implicados en su elaboración, que se va a hacer un enorme esfuerzo por difundirlo y ayudar a que se implemente. El Manual lleva finiquitado y listo para ser usado desde hace ya meses (casi desde que publicamos el mensaje al respecto de su publicación, en junio pasado). En algunas partes del mundo hay gente que tiene un ejemplar en formato 'hard' (en papel bonito, vamos). He visto una referencia a él en algún documento de alguna ONGD. Y entonces, ¿dónde está el dichoso Best-Seller? No lo busques en la web de la DGPOLDE, no está. Y no les llames, porque "no está publicado".

Misterios de la gestión pública. Apostaba con un buen amigo que esto podría ser incluso una estrategia pensada, al más puro estilo del llamado marketing viral (recordemos que los responsables políticos de este departamento saben mucho de todo esto, no en vano inventaron el "pásalo"). O quizá es que, al final, no es tan fácil librarse de los calendarios electorales y los grandes eventos mediáticos cuando se trata de logros alcanzados en una legislatura.

Descargar: Manual de Gestión de Evaluaciones de Cooperación Española

(Nota legal: puede parecer un poco transgresor y antisistema esto de que cuelgue el PDF antes de que lo haga la entidad correspondiente, pero como dice el propio texto "se AUTORIZA la reproducción parcial o total de esta obra por cualquier medio o procedimiento, conocido o por conocer, comprendidas la reprografía y el TRATAMIENTO INFORMATICO, siempre que se cite adecuadamente la fuente y a los titulares del Copyright")

ACTUALIZACIÓN 21/10/07

Al César lo que es del César: El Manual ya está disponible también en su sitio oficial. No me acaba de quedar claro si para DGPOLDE y en general AECI, este manual es complementario con los anteriores...

El pasado 5 de septiembre, en diario valenciano Levante, se publicó un artículo de opinión de Antonio Arnau, conocido activista social, sobre lo ocurrido con los fondos de Ayuda al Desarrollo durante este año, que culminó con la publicación de las modificaciones presupuestarias de la Generalitat Valenciana por las que la AOD valenciana quedaba reducida a la mitad. Creo que el artículo explica con claridad lo ocurrido. Como bien reza el título, una auténtica lección de como saltarse a la torera los mínimos éticos y salir airoso (vale la pena leer la definición de "desaprensivo" en la RAE).

Durante las posteriores semanas, y entrando en el normal rodaje postvacacional, parece que el sector ONGD organizado ha empezado a manifestarse abiertamente en contra. No tenéis más que seguir la web de la Coordinadora de ONGD o si quieréis un buen resumen, echar un vistazo a este video

Por no perder el hilo de la Bitácora, ¿qué lectura o qué consecuencias tiene esta decisión en evaluación? Se me ocurren unas cuantas, pero me centraré en la de mayor amplitud: la política pública. Y es que según el Plan Director de la Cooperación Valenciana 2004-2007, las acciones promovidas por la institución (y llevadas a cabo directa o indirectamente por ella) serían evaluadas en el marco de un proceso multinivel, desde los proyectos específicos hasta el plano de las políticas de cooperación (vamos, el propio plan en sí). Los sucesivos Planes Anuales (2005, 2006 y 2007) fueron remarcando la misma nacesidad (digo la misma porque el lector comprobará que son un copia-pega textual al más puro estilo al que me vienen acostumbrando mis alumnos -solo que a ellos sí los puedo suspender-). En el Plan 2007 señalaba incluso que YA se estaban haciendo evaluaciones (dónde están, no se) y que se preparaba la madre de todas ellas, la del Plan.

Estamos entrando en octubre y nada sabemos del proceso evaluativo. Por supuesto, con el cambio de responsables de gobierno, todo puede haber pasado. Pero no importa: una decisión presupuestaria de este calado invalida casi cualquier aprendizaje. Y no porque lo hecho hasta el momento no sea susceptible de ser evaluado y sus lecciones aprendidas. Sino porque ¿cuál será la capacidad real de incorporar los aprendizajes en la adminsitración pública si a sus responsables no les tiembla el pulso para mover los fondos públicos a su antojo, sin el menor respeto a los compromisos por ellos mismos adquiridos en diciembre pasado?

Junto a las medidas de presión política de la sociedad civil organizada, quizá deberíamos impulsar un proceso de evaluación de la política valenciana de cooperación sin esperar a que la administración pública la encargue. Yo me apunto. ¿Alguien se anima?

Con lo que respecta a la evaluación...ay!, no nos queda. Creo que a este tema le dedicaremos más de una y más de dos entradas. Para ir abriendo boca, dejo algunos datos sobre Planes de Inmigración de diferentes instituciones públicas. Me envía Javier Ibañez, de TRELLAT, algunos datos "curiosos", por llamarlos de alguna manera. ¿Qué referencias hay en los planes sobre Evaluación? ¿Qué mecanismos se han previsto en su diseño previo? Veamos algunos ejemplos

Ejemplo 1: Capital de provincia con cerca de 50.000 habitantes.
Plan Local de Inmigración.
Hace referencia a los mecanismos de evaluación del Plan, incluso se definen indicadores de Evaluación. No haremos una relación extensiva de todos ellos para no aburrir, simplemente mencionaremos algunos de ellos:

• Campañas de información y sensibilización, programas y recursos llevados a cabo sobre la inmigración.
• Número de recursos de información y orientación en las administraciones públicas para inmigrantes.
• Media de edad de las personas atendidas
• Materiales de difusión elaborados

Ejemplo 2: Municipio de cerca de 30.000 habitantes
Plan Local de Inmigración.
Este también hace referencia a la necesidad de los mecanismos de evaluación y define indicadores de evaluación. Algunos de ellos:

• Número de guías (sobre recursos existentes) distribuidas y canales utilizados
• Número de campañas (difundiendo algunas actividades y servicios municipales) realizadas
• Número de charlas y cursos realizados
• Número de personas atendidas

Estos mismos ayuntamientos son los que en sus convocatorias de subvenciones a ONG, especifican, por ejemplo, que los indicadores de evaluación (para esto si se leyeron los manuales metodológicos) tienen que hacer referencia al menos a calidad, cantidad, tiempo y a la población beneficiaria.

Pero si estos dos ejemplos llaman la atención, vamos con el doble mortal con tirabuzón:

Ejemplo 3: Comunidad Autónoma con cerca de 5 millones de habitantes
Plan Autonómico de Inmigración
Al hablar del modelo autonómico de inmigración afirma que el Plan Autonómico de Inmigración "...deberá prever sus propios mecanismos de seguimiento, evaluación y readaptación...", pero no dice cuales. En el epígrafe específico de "Evaluación y seguimiento del Plan Autonómico de la Inmigración", reitera

"... la necesidad de establecer una serie de mecanismos que posibiliten la evaluación del grupo de programas diseñados en el Plan, de manera que sea posible determinar el grado de consecución de los objetivos marcados poniéndolos en relación con la eficacia y coordinación de los diferentes agentes que intervienen en la aplicación del Plan [Autonómico] para la Inmigración, todo ello con el fin de mejorar la actividad integradora y potenciar el cumplimiento de objetivos conducentes al establecimiento de una sociedad capaz de adaptarse y dar respuesta a las necesidades de quienes constituyen la población real de la [Comunidad Autónoma]..."

Pero, ¿cuáles son esos mecanismos?. Ni una sola palabra. Creo que los textos hablan por si solos de la "cultura de evaluación" que nos rodea. No es que sean las instituciones públicas las únicas que deben potenciarla, pero deben hacerlo, y probablemente deberían ser ejemplo a seguir. Evidentemente, en estos días inciertos, aprender no interesa.