EVALUACIÓN, CALIDAD Y CONTROL DE GESTIÓN.
Evaluar es dar valor a un programa, a una intervención,... basándose siempre en información empírica recogida rigurosa y sistemáticamente , es decir, basarse en una experiencia siguiendo unos métodos.
Su objetivo es tratar de mejorar el funcionamiento de un programa o servicio.
* GESTIÓN DE CALIDAD: proceso para satisfacer e incluso superar las expectativas del usuario, o también, superar las necesidades para las que fue creado el centro.
El nivel de excelencia de un servicio es aquel que indica la satisfacción total del usuario.
* CONTROL DE CALIDAD: conjunto de actuaciones dirigidas a satisfacer los requerimientos de calidad de un servicio o programa controlando los procedimientos y procesos para corregir lo que funciona defectuosa mente.
* GARANTÍA DE CALIDAD: conjunto de actuaciones que en la fase de planificación de un producto están dirigidas a comprobar que el producto contará con total seguridad de satisfacción de los usuarios.
* GESTIÓN DE LA CALIDAD TOTAL (TQM): filosofía de gestión, después de identificadas las demandas del usuario, que actúa global-mente sobre todas las funciones, actividades, personas y productos del servicio. Intenta conseguir el mayor valor de excelencia del servicio.
La TQM precisa:
CONOCER las necesidades de los usuarios.
COMUNICAR los problemas detectados.
INFORMAR del correcto uso del servicio.
ADAPTAR la prestación del servicio a las expectativas de los usuarios.
IDENTIFICAR las actividades que puedan superar las expectativas de los usuarios.
INCREMENTAR los medios y recursos del servicio.
AUMENTAR la accesibilidad.
MEJORAR las relaciones del personal del centro con los usuarios.
Cualquier evaluación de un servicio persigue controlar 3 factores de gestión:
IDONEIDAD: adaptación o aplicabilidad de un servicio a la realidad. Medir el contexto, los objetivos alcanzables, las tareas, los recursos, los tiempos y la previsión de resultados.
EFICIENCIA: relación entre los medios con los que se cuenta y los resultados obtenidos.
EFICACIA: relación entre los resultados obtenidos y los objetivos planificados.
1.1.2. OBJETIVOS DE LA EVALUACIÓN.
Los objetivos de la evaluación son racionalizar y estabilizaren los servicios y/o los centros de información tras el “boom” de los '80 de creación de centros sin la debida planificación.
También ha crecido el nivel de exigencia de los usuarios, ya no se conforman con lo que les des, es necesario darles lo que piden.
Además, el servicio se concibe como algo vinculado a las necesidades de los usuarios, como algo que es suyo y que no es sólo tuyo.
La evaluación fue pionera en la empresa privada aunque con efectos mercantiles. Sin embargo, en raras excepciones hacía hincapié en la medición y control de la eficacia. En su origen buscaba, tan solo, reducir gastos. Poco a poco se va introduciendo en el mundo público y de la administración.
La evaluación debe estar dirigida a:
ESTABLECER un valor de referencia del nivel de rendimiento del servicio y poder compararlo con una situación anterior o posterior.
COMPARAR los valores obtenidos con otros servicios similares.
DEMOSTRAR la rentabilidad para la comunidad a la que sirve.
IDENTIFICAR los fallos y carencias del servicio intentando conseguir su mejora.
1.1.3. PRINCIPIOS BÁSICOS PARA LA EVALUACIÓN.
El esquema referencia de cualquier sistema de evaluación contendrá:
El objeto. (QUÉ se quiere medir).
Los fines. (PARA QUÉ se mide).
Los indicadores. (CÓMO se mide).
Las técnicas. (CON QUÉ se mide).
La cronología. (CUÁNDO se mide).
La utilidad. (A QUÉ se aplica lo obtenido en la medición).
El coste. (CUÁNTO cuesta medir).
Algunas cuestiones complementarias para el control de gestión:
Orientar el trabajo a los puntos clave, no es preciso evaluarlo todo.
La rápida retroalimentación (feed-back) del sistema posibilitará que la información de la evaluación llegue a la dirección de la manera más rápida posible para ayudar en la toma de decisiones y corregir las desviaciones de forma eficaz.
La utilidad y flexibilidad del método seguido para la evaluación debe permitir incorporar facetas o controles que lo observado aconseje aunque no estuvieran previstos inicialmente.
Adaptarse a la organización en el que se lleva a cabo y con los medios con los que ésta cuente.
Estimular el auto-control del servicio sin necesidad de que lo realice una consultora ajena.
Evitar achacar siempre todos los males al factor humano (al personal).
1.2. CRITERIOS Y MODELOS EVALUATIVOS.
El primer teórico de la evaluación fue TYLER (1942). Su modelo se basa en la evaluación del proceso siguiendo los objetivos previstos para el servicio o producto, es decir, sólo valora los resultados. El sistema será óptimo si alcanza el 100% de los objetivos. Tuvo vigencia hasta la década de los '70.
SUCHMANN comenzó a publicar a finales de los '60 e intentó trasladar a la evaluación toda la metodología científico-experimental. Para él la evaluación sólo puede realizara un experto (investigador). Su concepción de evaluación es demasiado fría (mucha estadística) y sólo logra medir las consecuencias (la validez y la fiabilidad de los servicios o productos).
CROMBACH fue coetáneo de Suchmann, si embargo concibió la evaluación como un proceso de mejora contínua (evaluación formativa), no sólo mide, también busca soluciones a los problemas detectados.
STUFFLEBEAM enfocó la evaluación como apoyo a la toma de decisiones (planificación), es decir, evaluar para decidir. Define la evaluación como el proceso de diseñar, conseguir y ofrecer una información de tipo descriptivo sobre los objetivos, diseño, ejecución y efectos de una actuación, con el fin de orientar la toma de decisiones y favorecer la comprensión del hecho de evaluar.
Los 4 principios de su modelo son:
Necesidades.
Descripción del programa de intervención.
Grado de realización del plan de intervención.
Resultados o consecuencias de la intervención.
Para obtener toda esta información plantea el programa CIPP que evalúa el contexto, los inputs, el proceso y el producto (output).
C A quién se dirige el servicio.
I Análisis de los programas y planificación de la intervención.
P Grado de cumplimiento del programa (implementación).
P Evaluación de los resultados.
Este es el modelo más sistemático y global.
1.3. DISEÑO DE LA EVALUACIÓN.
1.3.1. FASES DE LA EVALUACIÓN.
Toma de Contacto.
El primer paso para la evaluación es conocer básicamente el servicio o programa a evaluar, obteniendo información sobre sus funciones, sus tareas, sus objetivos, etc.
Este primer acercamiento nos permitirá conocer la verdadera realidad del servicio. Por tanto es preciso conocer:
Toda la información que existe sobre el servicio (legislación, normativa,...).
Otros proyectos o servicios similares (para poder comparar).
Estudios sociológicos del entrono/ambiente en el que se halla el centro.
Objetivos del servicio (entrevista con los directivos del mismo). Será importante preguntar cuáles son los objetivos a corto y medio plazo, qué es lo que espera del resto de la organización y cuál es la meta a la que quiere llegar. También qué áreas son las más útiles de conocer de dicho servicio.
Evaluación de la evaluabilidad.
Su objetivo es contestar a la pregunta ¿es evalué el servicio o programa?, es decir, si se pueden realizar mediciones y cuáles serán los indicadores que permitan conocer el grado de cumplimiento de los objetivos.
Para que el servicio sea invaluable debe cumplir una serie de condiciones:
Tener unos objetivos definidos y concretos.
Diseñar un modelo de intervención que justifique la lógica de cumplimiento de los objetivos. Efectos teóricos esperados Efectos reales logrados.
Siempre que exista una planificación previa cabe preguntarse:
¿Está bien definido el programa?
¿Están bien definidos los objetivos?
¿Están bien definidos los efectos?
¿Se pueden elaborar los indicadores de resultados?
¿Se ha implementado el programa de forma adecuada?
C) Determinación del tipo de evaluación.
Es necesario estudiar como se desenvuelve el servicio, para ello es preciso:
Conocer como funciona el servicio y cuales son las desviaciones del trabajo real respecto del esperado (observar si falla el sistema y qué se pues hacer para corregirlo). Es decir, conocer el grado de implementación del programa frente a los condicionantes que provocan los tambaleos de lo planificado inicialmente. El buen gestor debe adelantarse a esos condicionantes.
Conocer el efecto sobre su comunidad: medir el impacto del servicio, hasta donde llega y si es capaz de cumplir todas las necesidades de los usuarios a los que sirve.
Identificar los resultados concretos obtenidos del servicio ya que pueden producirse efectos no deseados creando variaciones respecto de lo previsto que influyen en el correcto desarrollo del programa: