Evaluación institucional desde la perspectiva actual

Introducción

La metaevaluación, como práctica de evaluar la evaluación (Scriven, 1974; Stufflebeam, 1974, 1978; Cook and Grunder, 1978), asume que los procesos correctos de evaluación requieren de contrastar sesgos, errores técnicos, costos excesivos y utilización de resultados, entre otros.

Sólo una pequeña proporción de estudios de evaluación son, a su vez, evaluados; de los pocos procesos de metaevaluación que se efectúan, una parte sustancial son de tipo interno, es decir, ejecutados por el mismo evaluador.

La génesis de la metaevaluación

Scriven (1969) introdujo formalmente el término metaevaluación al finalizar la década de los años sesentas. Pero fue hasta esa década cuando los evaluadores empezaron a discutir formalmente sus procedimientos y criterios (Stake, 1967, 1970; Stufflebeam, 1968).

Lessinger (1970) y Provus (1971) analizan el concepto bajo la denominación propia de "auditoría de programas", La metaevaluación ha sido considerada tradicionalmente como un instrumento para evaluar proyectos específicos.

Concepto

El concepto de metaevaluación, a la luz del proceso educativo, debe ser coherente con la de evaluación, ya que se trata de un caso particular de la misma. Si la evaluación es un juicio de valor sobre algo, es decir, la determinación de su valor y mérito, la metaevaluación es un juicio de valor sobre la evaluación.

Stufflebeam (1981) la define como el proceso de diseñar, obtener y utilizar información descriptiva y de enjuiciamiento acerca de la utilidad, del valor práctico y de la adecuación ética y técnica de una evaluación.

El Join Committee on Slandars for Educaíional Evaluation (1981: 166) define la metaevaluación como "la evaluación de fa evaluación", pero también habla del examen o auditoría de una evaluación como "examen y verificación independientes de la calidad de un plan de evaluación, de la suficiencia con que fue puesto en práctica.

Stufflebeam (1987) da a la metaevaluación un carácter profesional, lo cual implica enjuiciar el valor y el mérito de lo que representa y hace la profesión del evaluador, El objetivo de la metaevaluación es ayudar a que la evaluación desarrolle todo su potencial; efectuándola correctamente producirá mejoras directas e incontestables en el sistema, los programas y las prácticas educativas.

En un sentido más amplio De la Orden (1981) dice que "el poder de la metaevaluación permite optimar el objeto evaluado y, por consiguiente, la propia evaluación".

Stufflebeam (1974, 1981) distingue dos roles en el metaevaluador: el formativo, que guía la evaluación, examina su proceso y ayuda a los evaluadores a tomar decisiones acerca de la planificación, desarrollo e interpretación de los resultados, y el rol sumativo, que atestigua la fortaleza o debilidad de una evaluación, y realiza un examen dirigido a concluir con un informe sobre su mérito.

Según Chelinsky (1987) afirma que intentar definir y medir la calidad de una evaluación no es tarea fácil, dado que la calidad depende de las condiciones impuestas a la evaluación examinada. (Brinkerhoff, 1985). Sin embargo, la tarea de especificar criterios y defender esa especificación no es fácil. Los criterios no son evidentes y su selección implica siempre algún sistema de valores.

Los criterios de calidad existen tres principales:

Criterio de rigor, métodos precisos, correctamente precisos, todas las series de normas señalan que una evaluación rigurosa requiere, entre otras cosas, el uso de medidas válidas y fiables, así como métodos apropiados de análisis de datos, el rigor constituye una tarea problemática tres factores que implican esta situación:

a. Contexto de estudio: tiempo y costo.

b. Diseño de estudio: los conceptos pueden ser análogos, requieren práctica diferente.

c. Paradigma de investigación: requiere de una lógica particular de justificación, lo cual permite que unas prácticas son más aceptadas.

Criterio de utilidad, Stufflebeam (1981) basa la selección de criterios en la necesidad de obtener información de calidad de acuerdo a una doble perspectiva:

a. La información sea un reflejo exacto de la situación, es decir, que sea consistente, donde los procesos y análisis deben de conformarse con los criterios científicos actuales.

b. Referente al nivel del que la recibe y que podríamos llamar la capacidad de estar informado.

Criterios éticos, Posavac y Carey (1989) interpretan las normas éticas para evaluadores e incluyen principios de conducta ética en investigación, así como descripciones de prácticas correctas de evaluación de programas, los evaluadores deben observar considerables precauciones al desarrollar sus estudios. Objetividad, honestidad y justicia son algunos de los criterios que se deben usar para examinar evaluaciones de programas educativos.

Necesidad de establecer elementos normativos de evaluación

Una de las características de la práctica profesional es el respeto de normas referentes al servicio que garantizan. Sanders y Nafzinger (1974), dan tres razones para justificar la necesidad de establecer normas de evaluación:

1. El hábito en evaluación es un proceso que ha aumentado considerablemente, siendo difícil de abarcar.

2. Se ha incrementado notablemente la evaluación en el ámbito educacional.

3. Aumento de control sobre el modo de evaluar las practicas evaluativas, pueden influir en las decisiones y pensamientos de quienes se encuentran en situaciones de responsabilidad, se deben de considerar cuatro dimensiones básicas de análisis en cualquier proceso evaluativo o metaevaluativo:

a. Utilidad: comprende normas de evaluación necesarias para que sean informativas realista y transmisible, se deben de basar en normal de utilidad, las cuales se ocupan de determinar si una evaluación satisface las necesidades prácticas de información de los implicados de un programa.

b. Vialidad: incluye las normas donde se reconoce que un proyecto de evaluación educativo debe ser realizable, además requiere que las evaluaciones sean realistas, prudentes y económicas.

c. Legitimidad o corrección: establece como las evaluaciones educativas afectan al ser humano en formas distintas.

d. Precisión o exactitud: incluye elementos que determinan si la evaluación ha producido información técnicamente adecuada, además que revele y proporcione la información adecuada acerca de las características del objeto en estudio.

Conclusión

La metaevaluación encamina a la mejora de la practica educativa, tiene como objetivo brindar información confiable a los responsables de tomar decisiones, para la creación de un contenido efectivo y oportuno para los diferentes niveles de educativo. Como también tener credibilidad de las evaluaciones, a través del sometimiento de evaluar los estudios de la evaluación al análisis contra estándares profesionales o criterios establecidos de manera participativa.