Herramientas para evaluar la Ciclovía Recreativa

Seis pasos para evaluar

Paso 1 Comprometer a los interesado y aliados

Paso 2 Descripción del Programa

Paso 3 Enfocar la evaluación

Paso 4 Reunir evidencia fehaciente

Paso 5 Fundamentar las conclusiones

Paso 6 Asegurar el uso y el intercambio de las lecciones aprendidas

¿En qué consisten?

Consisten en la aplicación de los 6 pasos del Marco de Referencia para Programas de Salud Pública del CDC. Permiten de manera muy sencilla y efectiva examinar y valorar los procesos y/o resultados de la implementación de Ciclovías Recreativas y sus programas complementarios. Su propósito principal es utilizar información para identificar debilidades y fortalezas que conduzcan a mejorar el programa.

¿Para qué sirven?

• Para influir sobre los encargados de formular políticas y sobre aquellos que financian los programas = sostenibilidad.
• Para desarrollar la capacidad y el compromiso de la comunidad.
• Para compartir las ventajas y las desventajas observadas con otras comunidades.
• Para asegurar el financiamiento y la sostenibilidad mostrando resultados.
• Para replantear estrategias o redireccionar esfuerzos.

¿Qué pasos se deben seguir?

1. Comprometer a los interesados y aliados
2. Describir el programa.
3. Enfocar la evaluación.
4. Reunir evidencia fehaciente.
5. Fundamentar las conclusiones.
6. Asegurar el uso de los resultados de la evaluación en acciones concretas y compartir las lecciones aprendidas.

Paso 1: Comprometer a los interesados y aliados

¿En qué consiste?

Se trata de identificar a todas las personas y organizaciones de todos los sectores que estén relacionados directa o indirectamente con los programas de Ciclovía Recreativa.

¿Para qué sirve?

Para asegurar el éxito de un proceso de evaluación y su objetividad, evitando obtener solo opiniones sesgadas o desde una única perspectiva.

¿Qué pasos se deben seguir?

Realice un listado de todos los interesados o involucrados actualmente y no olvide incluir aliados clave que no hayan sido involucrados. Para no olvidar ningún actor importante responda las siguientes preguntas:

¿Quién está involucrado en las operaciones del programa?
Los involucrados incluyen: el coordinador general de Ciclovía Recreativa, el coordinador de operaciones, el personal de otras áreas de la institución que implementa la Ciclovía Recreativa, los voluntarios, el personal de servicio social, el personal de primeros auxilios, los jefes de ruta, el personal de seguridad, el personal de logística, los monitores, el personal de orientación al usuario, los profesores de actividad física y el personal de actividades paralelas.

¿Quiénes son los socios?
Los socios incluyen la policía, los agentes de tránsito, los servicios paramédicos municipales o de la ciudad, los bomberos, la defensa civil, las entidades locales de: movilidad, educación, planeación, recreación y deportes, obras públicas, espacio público, y medio ambiente. Otros socios incluye: ONG’s, universidades, proveedores, patrocinadores, empresas de transporte, medios de comunicación y mercadeo, organizaciones de la sociedad civil, cámara de comercio, y vendedores informales.

¿Quiénes son los beneficiarios o se ven afectados por el programa?
Todos los potenciales usuarios. Es muy importante vincular a todos los miembros de las comunidades por donde pasen los circuitos y de todos los sectores aledaños que se vean afectados por el cierre de calles. También es clave vincular a los comerciantes de los mismos sectores quienes frecuentemente se oponen a la apertura de los circuitos. Los resultados de la evaluación pueden mostrarles efectos positivos o generar la formulación conjunta de estrategias para generar el beneficio común.

¿Quiénes son los encargados de tomar decisiones relacionadas con el programa?
Listado de todas las personas e instituciones encargadas de tomar decisiones directas para el desarrollo de la Ciclovía Recreativa.

volver arriba

Paso 2: Descripción del programa

¿En qué consiste?

Una descripción detallada de un programa permite ilustrar sus principales componentes para que todos los interesados y aliados comprendan de la misma forma el programa.

¿Qué pasos se deben seguir?

Identifique la etapa en la cual se encuentra su programa:

• Planificación: No se ha iniciado.
• Implementación: Se está desarrollando recientemente.
• Mantenimiento: Ha tenido sostenibilidad en años.

Identificar la etapa de su programa es muy importante para enfocar el proceso de evaluación. Si su programa está en etapa de planificación, podrá aplicar estos 6 pasos para determinar necesidades, alcance de los problemas que su programa podría atender o cooperar y plantear estrategias realistas y efectivas. Si está en implementación o mantenimiento, la evaluación se enfocará en medir la efectividad de las actividades, cumplimiento de objetivos a corto, mediano y largo plazo. También valora si los procesos que se han desarrollando están conduciendo a lograr el objetivo final o hay que mejorar o cambiar.

Planteamiento del problema

Las Ciclovías Recreativas pueden contribuir con la solución de muchos problemas, como por ejemplo ambientales, de recreación, de niveles de actividad física de la población, de uso del espacio público, de calidad de vida, de movilidad, de cohesión social, etc. Respondiendo las siguientes 4 preguntas, usted podrá determinar breve y sencillamente el problema.

• ¿Cuál es el principal problema al que el programa de la Ciclovía Recreativa va a responder?
• ¿Cuál es la magnitud del problema (incluyendo sub-poblaciones)?
• ¿Cuáles son las consecuencias del problema?
• ¿Qué causa el problema?

Es importante documentar todos estos indicadores, explorando datos y estadísticas locales de la comunidad, ciudad o municipio en que se desarrolle la Ciclovía Recreativa, del sector salud, transporte, ambiente, etc. Entre más asociada esté a problemas reales de las comunidades, mayor apoyo político, social y sostenibilidad obtendrá.

Desarrollo de un modelo lógico

Ahora que Ud. ha identificado el problema y su meta principal, empiece a ilustrar la descripción de su programa con un modelo lógico.

¿En qué consiste?

Herramienta reiterativa de descripción que ilustra los principales componentes del programa y proporciona un marco de referencia a consultar durante las etapas de planificación, implementación y evaluación del programa.

¿Para qué sirve?

• Describe los componentes centrales del programa.
• Ilustra las conexiones entre sus componentes y los resultados esperados.
• Permite realizar ajustes y mejoras durante el transcurso del programa.
• Permite evaluar la potencial efectividad del programa y establecer prioridades para asignación de recursos.

¿Qué pasos se deben seguir?

Puede empezar por hacer una lista de los recursos, aportes y actividades del programa y progresivamente de acuerdo con esto preguntarse: ¿Por qué? o ¿Para qué? y construir sus resultados esperados a corto, mediano y largo plazo o meta final. Este enfoque se utiliza principalmente cuando se quiere describir un programa que ya existe, es decir que está en implementación o mantenimiento y no tiene aún un modelo lógico.

 

Tabla: Ejemplo de una actividad descrita mediante un modelo lógico para la Ciclovía Recreativa

 

Puede empezar también por los resultados esperados y a partir de ellos establecer las actividades que necesitaría para lograr ese resultado, preguntándose “¿Cómo?” y posteriormente los recursos requeridos. Este enfoque se usa más comúnmente en programas en fase de planeación y asegura que las actividades planteadas sean coherentes o respondan a los resultados esperados.

Haga el mismo ejercicio con cada uno de los recursos y o actividades que considere hasta que abarque todos los componentes de su programa y pueda tener una descripción detallada del mismo. Teniendo esa herramienta usted podrá consultarla en cualquier momento para evaluar procesos y realizar cambios pertinentes.

volver arriba

Paso 3: Enfocar la evaluación

¿En qué consiste?

Identifica los propósitos y usos principales de la evaluación, así como las preguntas más apropiadas que deben formularse.

¿Para qué sirve?

Para obtener unos resultados concretos, claros y útiles para el programa.

¿Qué pasos se deben seguir?

Identifique propósitos y usos de la evaluación:

• Responda la siguiente pregunta: ¿Cuál es o son los propósitos principales de su evaluación?

Ejemplo: Obtener conocimientos, mejorar un programa y evaluar los efectos del programa.

• Enumere todos los usos posibles que le daría a los resultados de la evaluación de acuerdo con cada propósito (tan específicamente como pueda).

Ejemplo:

Tabla: Propósitos y usos de de la evaluación

Defina las preguntas de la evaluación:

Pregunte a los interesados principales qué desean o necesitan saber con respecto a:

• Características de los circuitos.
• Actividades paralelas.
• Resultados iniciales, intermedios y a largo plazo del programa.
• Participantes del programa.
• Efectos mayores del programa en las organizaciones o comunidades.
• Factores externos que influyen en el programa.
• Otros aspectos.

Atención: Es importante tener en cuenta que dependiendo del tiempo de implementación del programa o etapa de desarrollo, las preguntas pueden variar y por ende, los resultados de la evaluación. Usted puede evaluar procesos en programas en fase de implementación que no lleven mucho tiempo, o puede evaluar resultados en programas en fase de mantenimiento; también puede evaluar proceso y resultados al mismo tiempo.

Ejemplos de preguntas de una evaluación de proceso:

• ¿Qué estamos haciendo? ¿Cuándo? ¿Dónde? ¿Con qué frecuencia?
• ¿Estamos ofreciendo el programa según lo planeado? Si no es así, ¿por qué ha variado?
• ¿Existen influencias externas que estén  afectando los aportes o las actividades del programa?
• ¿Estamos bien encaminados con respecto al tiempo y a los recursos?
• ¿Qué está funcionado bien y por qué?
• ¿Qué no está funcionando muy bien y por qué?
• ¿Estamos alcanzando a toda la comunidad que teníamos como meta?

Ejemplos de preguntas de una evaluación de resultados:

• ¿Qué logramos? ¿Alcanzamos nuestros resultados? ¿Por qué, o por qué no?
• ¿Qué ha cambiado debido a nuestras acciones?
• ¿Qué podemos aprender de los interesados principales que abandonaron el programa?
• ¿Qué tan costoso fue el programa en comparación con otras intervenciones de actividad física?
• ¿Es el programa igual de efectivo o más efectivo que otros programas similares?
• ¿Qué salió bien? ¿Qué salió mal?
• ¿Se produjo algún efecto inesperado en el programa?

Paso 4: Reunir evidencia fehaciente

¿En qué consiste?

En recopilar los datos que van a responder las preguntas de la evaluación y que con la retroalimentación de todos los interesados sean confiables y relevantes.

¿Para qué sirve?

Para responder con indicadores las preguntas planteadas para el proceso de evaluación.

¿Qué pasos se deben seguir?

Organice las preguntas de evaluación en un cuadro de 3 columnas que incluya las siguientes casillas:

Paso 5: Fundamentar las conclusiones

¿En qué consiste?

Es realizar el análisis e interpretación  de los datos obtenidos comparando resultados con indicadores de rendimiento.

¿Para qué sirve?

Para obtener las conclusiones de la evaluación fundamentadas en los datos obtenidos.

¿Qué pasos se deben seguir?

Análisis de los datos
Ingrese los datos en una computadora (por ejemplo, con EpiInfo, una base de datos gratuita que puede obtener en línea en http://www.cdc.gov/epiinfo, u hojas de cálculo como Microsoft Excel).
Verifique que los datos ingresados no contengan errores.

• Arme una tabla con los datos (por ejemplo, calcule la cantidad de participantes, el porcentaje de participantes que cumple las recomendaciones en cuanto a actividad física, etc.).
• Clasifique los datos por categoría (por ejemplo, por comunidad, raza o grupo étnico, por nivel de ingresos o por nivel de preparación física).
• Establezca comparaciones (por ejemplo, las diferencias entre las pruebas previas y las posteriores o entre una comunidad de comparación o una de intervención).
• Presente los datos en un formato claro y sencillo.

Interpretación de los resultados

• ¿Qué revelan realmente los números, las frecuencias, los promedios y los resultados estadísticos de la prueba sobre el programa?
• ¿Los resultados son semejantes a lo que esperaba? Si no fuera así, ¿por qué piensa que son distintos?
• ¿Existen otras explicaciones para los resultados?
• ¿De qué manera puede comparar sus resultados con los de programas similares?
• ¿Cuáles son las limitaciones de las evaluaciones (por ejemplo, sesgos potenciales, generalización de los resultados, fiabilidad, validez)? ¿En qué medida la evaluación refleja el programa en su conjunto?
• Si utilizó varios indicadores para responder la misma pregunta de evaluación, ¿obtuvo resultados similares?
• ¿Podrán otras personas interpretar los hallazgos de un modo apropiado?

Paso 6: Asegurar el uso y el intercambio de las lecciones aprendidas

¿En qué consiste?

En preparar productos tangibles de la evaluación (recomendaciones e informes), compartirlos con los interesados principales y otro público (comunicación) y hacer un seguimiento para asegurar su uso.

¿Para qué sirve?

Para asegurar el uso de los resultados de la evaluación y evitar guardar un archivo más sin ser usado que pueda llevar a lograr cambios.

¿Qué pasos se deben seguir?

Haga un listado de públicos que deben escuchar los resultados o recomendaciones

Ejemplo
Funcionarios del programa y de la institución que lo implementa, legisladores estatales, concejos municipales, funcionarios del departamento de salud del estado, propietarios de lugares de trabajo, funcionarios y oficiales a cargo de la planificación de la seguridad vial, organizaciones y programas de la comunidad, grupos de apoyo, academia (investigadores), departamentos de policía residentes de las comunidades, organizaciones de servicio y de salud sin fines de lucro, empresa privada, etc.

Determine cómo va a diseminar o comunicar la información.

Recuerde que cada público es diferente y por lo tanto la información debe comunicárseles de manera diferente. Ejemplo: Un manuscrito o informe científico para investigadores, un volante o artículo de prensa para la comunidad, una presentación oral o un resumen claro y breve de hallazgos y necesidades para políticos o potenciales patrocinadores.

Establezca canales de comunicación que usará:

Ejemplo
Listas de distribución por correo, sitios web, foros de la comunidad, medios de comunicación (televisión, radio o periódicos), contactos personales, listas de distribución electrónica, boletines de organizaciones, etc.

Determine cómo hará seguimiento a la diseminación de resultados para:

• Recordarle a los interesados principales y al público sobre los usos deseados de los resultados de la evaluación.
• Evitar que las lecciones aprendidas se pierdan o se pasen por alto cuando se realiza un programa complejo o se toman decisiones sobre políticas.
• Evitar el uso indebido de los resultados al asegurar que se aplique la evidencia a las preguntas que constituyeron el principal enfoque de la evaluación y que los resultados no se saquen de contexto.

Para mayor información, usted puede contactar a: Andrea Torres: ftu1@cdc.gov o a Olga L. Sarmiento osarmien@uniandes.edu.co

Referencias adicionales se encuentran disponibles en la versión completa del manual (descargar)