I. Introducción. Antecedentes: Marco Conceptual
Considero necesario y conveniente para el avance y la consolidación de los procesos de Evaluación Institucional, comentar algunos aspectos epistémicos y metodológicos acerca de cómo se han desarrollado estas experiencias en el ámbito de las Universidades Nacionales.
En los últimos veinte años, en las universidades nacionales se ha hablado reiterativamente de Evaluación Institucional. En los años ochenta, se realizó un primer intento que nunca llegó a culminarse pues, por una parte, hubiese sido necesario una gran cantidad de información para implementarla y, por la otra, no se había desarrollado una metodología operacional para calcular los indicadores. Sólo se propuso un esquema teórico y los formatos de recolección de la información. En los noventa, se volvió a mencionar la Evaluación Institucional. Este entusiasmo inusitado se genera por el énfasis que han ejercido organismos internacionales sobre el concepto de Calidad de la Educación; ello ha traído, entre otras, como consecuencia, que en distintas instancias de planificación se haya teorizado sobre el tema, y en algunos casos se propusieran listados de indicadores. Algunos de ellos presentan, en principio, una estructura válida, pero en cambio, como instrumentos útiles para realizar una evaluación institucional, en la práctica son de poca ayuda.
Históricamente, hasta 1968, las dos únicas categorías de evaluación utilizadas por planificadores y evaluadores, eran las de eficacia y eficiencia; la de eficacia referida a un ámbito instrumental y la de eficiencia referida a un ámbito económico.
En 1969, motivado por la reflexión que generó la llamada renovación académica, en un documento interno presentado en el Consejo Directivo de la Escuela de Psicología se propuso (Contasti, 1972) un nuevo significado conceptual para el conocido término de Pertinencia; ya desde ese momento, este concepto se presentaba asociado al problema de la calidad y de la obsolescencia del conocimiento, todo ello en referencia muy especial con nuestra condición de país subdesarrollado. También se consideraba el concepto de eficiencia en su relación con la equidad como el principal condicionante social y se planteaba la dificultad de determinar a priori la eficacia de las soluciones propuestas, en especial referidas al ámbito de las Ciencias Sociales, donde no son comunes y confiables las mediciones operacionales que son propias de las Ciencias Materiales.
Estas ideas iniciales acerca de la relación entre los conceptos de Eficacia, Eficiencia y Pertinencia fueron consideradas a lo largo de la década de los años setenta. Hacia 1975 se propuso una mayor sistematización y se conformó un esquema que se integraba armónicamente con el proceso global de la planificación. En ese trabajo (Contasti, 1978), la consideración de los conceptos de Eficacia, Eficiencia y Pertinencia quedan asociados a una tríada metodológica, que se refiere a los enfoques de la planificación. Se establecía: El enfoque instrumental de Eficacia que se refiere exclusivamente al logro —total o parcial— de los Resultados del proceso. El enfoque económico de Eficiencia que relaciona los Resultados con los Costos y Recursos del proceso. El enfoque social de la Pertinencia que relaciona los Resultados con los Efectos Sociales que genera el proceso.
Con la elaboración del documento de creación de la Universidad Nacional Abierta (1977), es cuando de manera clara y definida se alcanza la proposición de la tríada Eficacia / Eficiencia / Pertinencia, como los tres criterios evaluativos asociados a los tres enfoques que previamente habían sido propuestos para orientar el proceso de planificación. En el Enfoque Instrumental, lo más importante es el logro de los objetivos propuestos dentro de un cierto período temporal. Este enfoque se evalúa con el criterio de Eficacia. En el Enfoque Económico están situadas las definiciones tradicionales de planificación, y donde lo más importante es la relación entre el nivel de los objetivos alcanzados y la cuantía de los recursos utilizados. Este enfoque se evalúa con el criterio de Eficiencia. En el Enfoque Social lo más importante no es el aprovechamiento óptimo de los recursos utilizados, sino los efectos que se generan en el medio social y ecológico por acción de los resultados directos obtenidos en el proceso. Este enfoque se evalúa con el criterio de Pertinencia.
Para 1996, en reunión celebrada en Mérida como evento preparatorio al Congreso Internacional de La Habana sobre Calidad y Pertinencia (Contasti, 1996), se ha retomado este planteamiento asociado con la Evaluación Institucional. Se proponen los tres criterios antes mencionados de Eficacia, Eficiencia y Pertinencia en conjunto con la secuencia de Entrada/Proceso/Producto, según el siguiente ordenamiento: (a) Iniciar el proceso de Evaluación Institucional sólo con la medición del Producto. Para ello deben utilizarse indicadores objetivos y de alta confiabilidad, independientemente de que esos indicadores puedan poseer una validez promedio. Ejemplo el PPI. Con la alta confiabilidad se evitan dudas y cuestionamientos coyunturales acerca del proceso. Esta evaluación puede ser realizada por una instancia externa a la institución. (b) Evaluación de la Entrada. Ésta puede ser realizada de manera mixta: Externa e Interna. (c) Finalmente debe evaluarse el Proceso, ello debe realizarse mediante evaluación interna que combine indicadores cuantitativos, autoevaluación y la evaluación por otras instancias de la universidad. En referencia especial a este aspecto, se considera que sólo los actores internos que dominen perfectamente un proceso particular, tendrán la capacidad y competencia para detectar fallas y logros.
Dentro de un primer enfoque técnico/procedimental de carácter básicamente estadístico —dado cierto Universo—, una acción típica de evaluación institucional por normas comparativas, se iniciaría con la medición del Producto, luego se mediría la Entrada y dada la complejidad del Proceso, éste se obtiene, en primera instancia, como un valor residual. Una vez lograda una medición residual del Proceso, entonces, mediante procedimientos de análisis realizados internamente en la institución, se pueden enfatizar los elementos/rubros que constituyan un flujo significativo para alcanzar un diagnóstico.
Ejemplo: Es usual en estudios que han sido realizados en universidades del exterior, medir la calidad del Producto (GRE), típicamente medido sobre los egresados de las carreras, luego medir la calidad de la Entrada; los estudiantes, básicamente los aspectos relacionados con potencialidad aptitudinal (SAT), eficiencia de hábitos de estudios (Notas) y Nivel Socioeconómico (Graffar). Una vez que se tienen estas mediciones, entonces, utilizando métodos estadísticos conocidos y tradicionales de análisis de regresión, se puede tener una estimación residual del Proceso. Algunos estudios incorporan directamente en la ecuación, como variables independientes, Profesores, Bibliotecas y Becas, pero también se podría tomar el valor residual del Proceso como variable dependiente genérica y mediante una combinación de medición, estimación e interpretación de esas y otras variables, generar internamente una explicación para obtener un diagnóstico. Hay que enfatizar, que dentro de este primer enfoque metodológico, la medición, análisis, comparación e interpretación con relación al Proceso se encuentra al final de la secuencia, y que ésta debe iniciarse con la medición del Producto y de la Entrada, en lugar de una observación directa del Proceso.
Existe una segunda forma técnico/instrumental de realizar la Evaluación Institucional, que tiene gran aceptación por su aparente facilidad de implementación, ello consiste en la utilización de Encuestas de Opinión. Mediante el uso de este instrumento, se le solicita a una muestra representativa y/o pertinente de sujetos, su opinión con relación a todos los aspectos que se consideren relevantes de la institución; aquí puede simultáneamente tomarse estimaciones sobre el Producto, el Proceso y la Entrada y a posteriori tratar de integrarlos, relacionarlos, compararlos e interpretarlos para obtener un diagnóstico.
Este enfoque es muy vulnerable, su validez dependerá, entre múltiples factores, primero, de la posibilidad de que las personas escogidas en la muestra tengan el conocimiento preciso y sean capaces de dar respuestas verosímiles acerca de los aspectos encuestados; segundo, de la competencia logístico operativa para preservar en el tiempo, la representatividad, en el caso de un muestreo aleatorio y la experticia en el caso de un muestreo intencional. En tercer lugar, un problema adicional, pero de una gran importancia, se refiere a la confiabilidad de la información obtenida. Mientras que en el primer enfoque la confiabilidad es muy alta, ya que se trata de registros preexistentes, en estos casos se trata de una opinión ad hoc y tomada exclusivamente para propósitos de evaluación, donde independientemente de la verosimilitud de la opinión en el momento preciso en el cual se capture la información, queda por establecer si esa opinión mantiene su estabilidad en el tiempo o sólo fue producto del juicio circunstancial y/o emocional de un momento. En este aspecto, en nuestro país, y supongo que en otros también, se comete un error muy generalizado de utilizar como estimación de confiabilidad un coeficiente de consistencia interna, en lugar de un coeficiente de estabilidad. Esta falla proviene de imitar acríticamente los procedimientos que se usan en psicología para la medición de aptitudes, obviando una diferencia absolutamente radical, ya que en este caso, por estar midiendo opiniones y/o actitudes, todas las respuestas son en principio aceptables.
Transcendiendo el tema tratado, se considera que muchas de las críticas que se le han hecho a los métodos cuantitativos al ser utilizados en Educación y Ciencias Sociales, provienen de un manejo defectuoso y errado de las encuestas de opiniones y de actitudes, donde ciertamente, en la mayoría de los casos, las críticas han sido acertadas y pertinentes; esto no es así cuando en la medición de otros tipos de fenómenos se usan técnicas, procedimientos e información que poseen una confiabilidad muy alta y donde el núcleo de la medición lo constituye el problema de la validez.
A partir de las ideas presentadas, se ha diseñado un Esquema Analítico Estructurado (Matheus, 1997). En este esquema se combinan los aspectos que han sido previamente tratados. Por una parte, la secuencia de Entrada/Proceso/Producto, y por la otra los criterios evaluativos de Eficacia/Eficiencia/Pertinencia junto con las mediciones sustantivas de Volumen y Calidad, se ha propuesto la siguiente relación estructural: A la Entrada y al Producto se le asocian los rubros de Volumen, Calidad y Pertinencia, y a los Procesos se le asocian los rubros de Eficacia y Eficiencia.
La tesis central y crítica respecto al uso y limitación, tanto de los Esquemas Analíticos Estructurados, como especialmente de los listados, está relacionada con la disponibilidad y costo de la información. En un sistema perfectamente automatizado que inclusive incorporase la información en tiempo real —como lo hace el sistema financiero con los volúmenes monetarios—, sería posible, si fuese deseable, la utilización de un Esquema Analítico Estructurado, siempre y cuando se hubiese previamente cumplido con los siguientes requisitos metodológicos: (a) Disponibilidad rutinaria de la Información; (b) Conceptualización del Indicador; (c) Operacionalización del Indicador; (d) Proposición de Patrones de Evaluación —Criterios y/o Normas— para calificar el grado de rendimiento en el Indicador; (e) Asignación de pesos de ponderación al Indicador para integrarlo y agregarlo en niveles superiores. Estas condiciones, constituyen un conjunto de investigaciones de naturaleza científicamente compleja, y al no disponer de información confiable, pierde sentido realizar este gran esfuerzo.
Frente a esta absoluta limitación y, adicionalmente, dado el grado de desarrollo organizacional de nuestras instituciones, tampoco es deseable el uso de estos esquemas complejos, por ello la vía o el método más conveniente se dará en la dirección inversa; más empírica y holística. Es decir, detectada la existencia de un cierto volumen de información en algún aspecto relevante de la institución, por aproximaciones sucesivas en el procesamiento y depuración estadística de esa información, de manera teleonómica, conceptual y operacionalmente se va construyendo un Indicador Complejo. Posteriormente utilizando el Esquema Analítico Estructurado, el Indicador que en principio constituye un complejo relacional, puede desarrollarse o expandirse en un conjunto bien discriminado de Indicadores Simples. Ésta ha sido la vía que se ha utilizado en la Universidad Nacional Abierta y se han desarrollado cuatro grandes Indicadores Complejos: (a) Indicador Socioeconómico, (b) Índice de Retraso Académico en el Escalafón, (c) Índice Graduacional, (d) Índice de Productividad Académica.
II. Orientaciones Estratégicas Generales
Para la tarea de proponer, definir y construir indicadores, pueden utilizarse dos grandes orientaciones de aproximación a la práctica.
a) Orientación Sistemática Total
b) Orientación Casuística Puntual
La primera orientación se inicia con una conceptualización explícita del campo disciplinario (Educación Superior) y de los Criterios Evaluativos, que posibiliten una cobertura amplia de la gama de indicadores; útiles y necesarios. Posteriormente debe asegurarse un Sistema Informático pertinente.
La segunda orientación ignora esta conceptualización en ambas vertientes —cobertura y criterios—, privilegiando la existencia de información viable y/o ad hoc. Existiendo la información, se recorre el camino inverso.
A continuación, una lista de Proyectos de Orientación Sistemática que desde 1965 he conocido y/o participado.
1965/1971: Estudio del Rendimiento Estudiantil (CUCERE/UCV). Rotundo/Olaizola/Contasti/Añez/Urbina.
1980/1986: Comisión CNU. Núcleo de Planificación: Matrices de Información Académica y Financiera. Estaba/Boyer/Gómez.
1990/1996: Comisión OPSU/Núcleo de Planificación: Indicadores de Evaluación Institucional. Villarroel/Mejías.
1996/1997: Comité Asesor UNA: Información para la Evaluación Institucional. Yero/Matheus/Contasti/Ferrán/Márquez.
1997/1997: Comité Consultivo UNA: Indicadores Educativos y Presupuestarios para la Evaluación Institucional. Ávila Bello/Avella Guevara/Suárez Joya.
1997/2000: Comisión ULA/USB/UCV. Proyecto Interinstitucional Indicadores de Gestión. Suárez/Gómez/Salcedo/Cadenas.
1998/2000: Proyecto CNU/OPSU. Evaluación y Acreditación de Universidades Nacionales. Villarroel/González.
A continuación, Indicadores construidos puntualmente:
a) Rendimiento de Egresados por Cohortes (1987)
b) Rendimiento de Egresados por Promoción (1987)
c) Retraso en el Escalafón Académico (1994)
d) Productividad Investigación UNA (1995)
e) Graffar Equivalente UNA (1996)
f) Costo por Egresados (Carrera/Institución) (1997)
g) Productividad Científica PPI por Sectores (1999)
III. Criterios Evaluativos Asociados
A) (1960/1970). Eficacia/Eficiencia. (Cendes. Clases de Programación Económica de Jorge Ahumada).
B) (1968/1972). A los criterios anteriores se les agregó el Criterio de Pertinencia (Contasti / Universitas 2000) (1972).
Se conformó la siguiente Estructura (Tríada): (1) Enfoque Instrumental de Planificación / Criterio Evaluativo de Eficacia (Resultados). (2) Enfoque Económico de Planificación / Criterio Evaluativo de Eficiencia (Productos). (3)Enfoque Social de Planificación / Criterio de Pertinencia (Efectos).
C) En este año 2000, el Proyecto Interinstitucional (ULA/USB/UCV), al considerar nuevos aspectos sustantivos, ha enriquecido el esquema anterior al introducir de manera estructurada y definida, los criterios de Efectividad, Productividad e Impacto, criterios estos que de manera asistemática venían siendo propuestos por algunos organismos internacionales (UNESCO/CRESALC/CINDA).
IV. Procedimientos Metodológicos
Básicamente se mantiene el esquema: Entrada/Proceso/Producto. El planteamiento que privilegiamos establece etapas. Primero, la medición objetiva del Producto mediante indicadores. Segundo, la determinación de la Entrada. Tercero, por procedimientos estadísticos de cálculos residuales por regresión, se obtiene una primera información indicativa sobre el Proceso, y con esta información se orienta una Investigación Institucional (Pesquisa). Esta última fase puede darse por Auto Evaluación y/o Evaluación Externa.
A manera de ejemplo, véase esta situación. En 1997 (Comité Consultivo UNA), calculamos a precios constantes de 1984 para los tres años 1993/1995 los promedios por egresados (millones de bolívares) de las siguientes Instituciones Universitarias: UCV (0.35); ULA (0.26); Zulia (0.18); Carabobo (0.21), USB (0.37); UNA (0.21); Rómulo Gallegos (0.22); Guayana (0.20); Baralt (0.23); UPEL (0.11). Con este dato, que puede ser considerado como una medición cruda de eficiencia, no es posible ni evaluar ni jerarquizar a las Universidades; será necesario obtener una medición de Producto, específicamente la calidad de Egresado, y así establecer mediante un balance estadístico obtenido por regresión, por ejemplo, si el mayor costo de la UCV y USB se corresponde o no con una mayor calidad del Egresado. Lógicamente que la comparación deberá hacerse primero en el ámbito de Carreras y luego en el ámbito de Instituciones mediante un índice ponderado que tome en consideración los desvíos respecto a los costos diferenciales promedios de las distintas Carreras. Es decir, se acepta que el costo de Medicina y/u Odontología es diferente al de Historia y/o Letras.
Considero necesario y conveniente para el avance y la consolidación de los procesos de Evaluación Institucional, comentar algunos aspectos epistémicos y metodológicos acerca de cómo se han desarrollado estas experiencias en el ámbito de las Universidades Nacionales.
En los últimos veinte años, en las universidades nacionales se ha hablado reiterativamente de Evaluación Institucional. En los años ochenta, se realizó un primer intento que nunca llegó a culminarse pues, por una parte, hubiese sido necesario una gran cantidad de información para implementarla y, por la otra, no se había desarrollado una metodología operacional para calcular los indicadores. Sólo se propuso un esquema teórico y los formatos de recolección de la información. En los noventa, se volvió a mencionar la Evaluación Institucional. Este entusiasmo inusitado se genera por el énfasis que han ejercido organismos internacionales sobre el concepto de Calidad de la Educación; ello ha traído, entre otras, como consecuencia, que en distintas instancias de planificación se haya teorizado sobre el tema, y en algunos casos se propusieran listados de indicadores. Algunos de ellos presentan, en principio, una estructura válida, pero en cambio, como instrumentos útiles para realizar una evaluación institucional, en la práctica son de poca ayuda.
Históricamente, hasta 1968, las dos únicas categorías de evaluación utilizadas por planificadores y evaluadores, eran las de eficacia y eficiencia; la de eficacia referida a un ámbito instrumental y la de eficiencia referida a un ámbito económico.
En 1969, motivado por la reflexión que generó la llamada renovación académica, en un documento interno presentado en el Consejo Directivo de la Escuela de Psicología se propuso (Contasti, 1972) un nuevo significado conceptual para el conocido término de Pertinencia; ya desde ese momento, este concepto se presentaba asociado al problema de la calidad y de la obsolescencia del conocimiento, todo ello en referencia muy especial con nuestra condición de país subdesarrollado. También se consideraba el concepto de eficiencia en su relación con la equidad como el principal condicionante social y se planteaba la dificultad de determinar a priori la eficacia de las soluciones propuestas, en especial referidas al ámbito de las Ciencias Sociales, donde no son comunes y confiables las mediciones operacionales que son propias de las Ciencias Materiales.
Estas ideas iniciales acerca de la relación entre los conceptos de Eficacia, Eficiencia y Pertinencia fueron consideradas a lo largo de la década de los años setenta. Hacia 1975 se propuso una mayor sistematización y se conformó un esquema que se integraba armónicamente con el proceso global de la planificación. En ese trabajo (Contasti, 1978), la consideración de los conceptos de Eficacia, Eficiencia y Pertinencia quedan asociados a una tríada metodológica, que se refiere a los enfoques de la planificación. Se establecía: El enfoque instrumental de Eficacia que se refiere exclusivamente al logro —total o parcial— de los Resultados del proceso. El enfoque económico de Eficiencia que relaciona los Resultados con los Costos y Recursos del proceso. El enfoque social de la Pertinencia que relaciona los Resultados con los Efectos Sociales que genera el proceso.
Con la elaboración del documento de creación de la Universidad Nacional Abierta (1977), es cuando de manera clara y definida se alcanza la proposición de la tríada Eficacia / Eficiencia / Pertinencia, como los tres criterios evaluativos asociados a los tres enfoques que previamente habían sido propuestos para orientar el proceso de planificación. En el Enfoque Instrumental, lo más importante es el logro de los objetivos propuestos dentro de un cierto período temporal. Este enfoque se evalúa con el criterio de Eficacia. En el Enfoque Económico están situadas las definiciones tradicionales de planificación, y donde lo más importante es la relación entre el nivel de los objetivos alcanzados y la cuantía de los recursos utilizados. Este enfoque se evalúa con el criterio de Eficiencia. En el Enfoque Social lo más importante no es el aprovechamiento óptimo de los recursos utilizados, sino los efectos que se generan en el medio social y ecológico por acción de los resultados directos obtenidos en el proceso. Este enfoque se evalúa con el criterio de Pertinencia.
Para 1996, en reunión celebrada en Mérida como evento preparatorio al Congreso Internacional de La Habana sobre Calidad y Pertinencia (Contasti, 1996), se ha retomado este planteamiento asociado con la Evaluación Institucional. Se proponen los tres criterios antes mencionados de Eficacia, Eficiencia y Pertinencia en conjunto con la secuencia de Entrada/Proceso/Producto, según el siguiente ordenamiento: (a) Iniciar el proceso de Evaluación Institucional sólo con la medición del Producto. Para ello deben utilizarse indicadores objetivos y de alta confiabilidad, independientemente de que esos indicadores puedan poseer una validez promedio. Ejemplo el PPI. Con la alta confiabilidad se evitan dudas y cuestionamientos coyunturales acerca del proceso. Esta evaluación puede ser realizada por una instancia externa a la institución. (b) Evaluación de la Entrada. Ésta puede ser realizada de manera mixta: Externa e Interna. (c) Finalmente debe evaluarse el Proceso, ello debe realizarse mediante evaluación interna que combine indicadores cuantitativos, autoevaluación y la evaluación por otras instancias de la universidad. En referencia especial a este aspecto, se considera que sólo los actores internos que dominen perfectamente un proceso particular, tendrán la capacidad y competencia para detectar fallas y logros.
Dentro de un primer enfoque técnico/procedimental de carácter básicamente estadístico —dado cierto Universo—, una acción típica de evaluación institucional por normas comparativas, se iniciaría con la medición del Producto, luego se mediría la Entrada y dada la complejidad del Proceso, éste se obtiene, en primera instancia, como un valor residual. Una vez lograda una medición residual del Proceso, entonces, mediante procedimientos de análisis realizados internamente en la institución, se pueden enfatizar los elementos/rubros que constituyan un flujo significativo para alcanzar un diagnóstico.
Ejemplo: Es usual en estudios que han sido realizados en universidades del exterior, medir la calidad del Producto (GRE), típicamente medido sobre los egresados de las carreras, luego medir la calidad de la Entrada; los estudiantes, básicamente los aspectos relacionados con potencialidad aptitudinal (SAT), eficiencia de hábitos de estudios (Notas) y Nivel Socioeconómico (Graffar). Una vez que se tienen estas mediciones, entonces, utilizando métodos estadísticos conocidos y tradicionales de análisis de regresión, se puede tener una estimación residual del Proceso. Algunos estudios incorporan directamente en la ecuación, como variables independientes, Profesores, Bibliotecas y Becas, pero también se podría tomar el valor residual del Proceso como variable dependiente genérica y mediante una combinación de medición, estimación e interpretación de esas y otras variables, generar internamente una explicación para obtener un diagnóstico. Hay que enfatizar, que dentro de este primer enfoque metodológico, la medición, análisis, comparación e interpretación con relación al Proceso se encuentra al final de la secuencia, y que ésta debe iniciarse con la medición del Producto y de la Entrada, en lugar de una observación directa del Proceso.
Existe una segunda forma técnico/instrumental de realizar la Evaluación Institucional, que tiene gran aceptación por su aparente facilidad de implementación, ello consiste en la utilización de Encuestas de Opinión. Mediante el uso de este instrumento, se le solicita a una muestra representativa y/o pertinente de sujetos, su opinión con relación a todos los aspectos que se consideren relevantes de la institución; aquí puede simultáneamente tomarse estimaciones sobre el Producto, el Proceso y la Entrada y a posteriori tratar de integrarlos, relacionarlos, compararlos e interpretarlos para obtener un diagnóstico.
Este enfoque es muy vulnerable, su validez dependerá, entre múltiples factores, primero, de la posibilidad de que las personas escogidas en la muestra tengan el conocimiento preciso y sean capaces de dar respuestas verosímiles acerca de los aspectos encuestados; segundo, de la competencia logístico operativa para preservar en el tiempo, la representatividad, en el caso de un muestreo aleatorio y la experticia en el caso de un muestreo intencional. En tercer lugar, un problema adicional, pero de una gran importancia, se refiere a la confiabilidad de la información obtenida. Mientras que en el primer enfoque la confiabilidad es muy alta, ya que se trata de registros preexistentes, en estos casos se trata de una opinión ad hoc y tomada exclusivamente para propósitos de evaluación, donde independientemente de la verosimilitud de la opinión en el momento preciso en el cual se capture la información, queda por establecer si esa opinión mantiene su estabilidad en el tiempo o sólo fue producto del juicio circunstancial y/o emocional de un momento. En este aspecto, en nuestro país, y supongo que en otros también, se comete un error muy generalizado de utilizar como estimación de confiabilidad un coeficiente de consistencia interna, en lugar de un coeficiente de estabilidad. Esta falla proviene de imitar acríticamente los procedimientos que se usan en psicología para la medición de aptitudes, obviando una diferencia absolutamente radical, ya que en este caso, por estar midiendo opiniones y/o actitudes, todas las respuestas son en principio aceptables.
Transcendiendo el tema tratado, se considera que muchas de las críticas que se le han hecho a los métodos cuantitativos al ser utilizados en Educación y Ciencias Sociales, provienen de un manejo defectuoso y errado de las encuestas de opiniones y de actitudes, donde ciertamente, en la mayoría de los casos, las críticas han sido acertadas y pertinentes; esto no es así cuando en la medición de otros tipos de fenómenos se usan técnicas, procedimientos e información que poseen una confiabilidad muy alta y donde el núcleo de la medición lo constituye el problema de la validez.
A partir de las ideas presentadas, se ha diseñado un Esquema Analítico Estructurado (Matheus, 1997). En este esquema se combinan los aspectos que han sido previamente tratados. Por una parte, la secuencia de Entrada/Proceso/Producto, y por la otra los criterios evaluativos de Eficacia/Eficiencia/Pertinencia junto con las mediciones sustantivas de Volumen y Calidad, se ha propuesto la siguiente relación estructural: A la Entrada y al Producto se le asocian los rubros de Volumen, Calidad y Pertinencia, y a los Procesos se le asocian los rubros de Eficacia y Eficiencia.
La tesis central y crítica respecto al uso y limitación, tanto de los Esquemas Analíticos Estructurados, como especialmente de los listados, está relacionada con la disponibilidad y costo de la información. En un sistema perfectamente automatizado que inclusive incorporase la información en tiempo real —como lo hace el sistema financiero con los volúmenes monetarios—, sería posible, si fuese deseable, la utilización de un Esquema Analítico Estructurado, siempre y cuando se hubiese previamente cumplido con los siguientes requisitos metodológicos: (a) Disponibilidad rutinaria de la Información; (b) Conceptualización del Indicador; (c) Operacionalización del Indicador; (d) Proposición de Patrones de Evaluación —Criterios y/o Normas— para calificar el grado de rendimiento en el Indicador; (e) Asignación de pesos de ponderación al Indicador para integrarlo y agregarlo en niveles superiores. Estas condiciones, constituyen un conjunto de investigaciones de naturaleza científicamente compleja, y al no disponer de información confiable, pierde sentido realizar este gran esfuerzo.
Frente a esta absoluta limitación y, adicionalmente, dado el grado de desarrollo organizacional de nuestras instituciones, tampoco es deseable el uso de estos esquemas complejos, por ello la vía o el método más conveniente se dará en la dirección inversa; más empírica y holística. Es decir, detectada la existencia de un cierto volumen de información en algún aspecto relevante de la institución, por aproximaciones sucesivas en el procesamiento y depuración estadística de esa información, de manera teleonómica, conceptual y operacionalmente se va construyendo un Indicador Complejo. Posteriormente utilizando el Esquema Analítico Estructurado, el Indicador que en principio constituye un complejo relacional, puede desarrollarse o expandirse en un conjunto bien discriminado de Indicadores Simples. Ésta ha sido la vía que se ha utilizado en la Universidad Nacional Abierta y se han desarrollado cuatro grandes Indicadores Complejos: (a) Indicador Socioeconómico, (b) Índice de Retraso Académico en el Escalafón, (c) Índice Graduacional, (d) Índice de Productividad Académica.
II. Orientaciones Estratégicas Generales
Para la tarea de proponer, definir y construir indicadores, pueden utilizarse dos grandes orientaciones de aproximación a la práctica.
a) Orientación Sistemática Total
b) Orientación Casuística Puntual
La primera orientación se inicia con una conceptualización explícita del campo disciplinario (Educación Superior) y de los Criterios Evaluativos, que posibiliten una cobertura amplia de la gama de indicadores; útiles y necesarios. Posteriormente debe asegurarse un Sistema Informático pertinente.
La segunda orientación ignora esta conceptualización en ambas vertientes —cobertura y criterios—, privilegiando la existencia de información viable y/o ad hoc. Existiendo la información, se recorre el camino inverso.
A continuación, una lista de Proyectos de Orientación Sistemática que desde 1965 he conocido y/o participado.
1965/1971: Estudio del Rendimiento Estudiantil (CUCERE/UCV). Rotundo/Olaizola/Contasti/Añez/Urbina.
1980/1986: Comisión CNU. Núcleo de Planificación: Matrices de Información Académica y Financiera. Estaba/Boyer/Gómez.
1990/1996: Comisión OPSU/Núcleo de Planificación: Indicadores de Evaluación Institucional. Villarroel/Mejías.
1996/1997: Comité Asesor UNA: Información para la Evaluación Institucional. Yero/Matheus/Contasti/Ferrán/Márquez.
1997/1997: Comité Consultivo UNA: Indicadores Educativos y Presupuestarios para la Evaluación Institucional. Ávila Bello/Avella Guevara/Suárez Joya.
1997/2000: Comisión ULA/USB/UCV. Proyecto Interinstitucional Indicadores de Gestión. Suárez/Gómez/Salcedo/Cadenas.
1998/2000: Proyecto CNU/OPSU. Evaluación y Acreditación de Universidades Nacionales. Villarroel/González.
A continuación, Indicadores construidos puntualmente:
a) Rendimiento de Egresados por Cohortes (1987)
b) Rendimiento de Egresados por Promoción (1987)
c) Retraso en el Escalafón Académico (1994)
d) Productividad Investigación UNA (1995)
e) Graffar Equivalente UNA (1996)
f) Costo por Egresados (Carrera/Institución) (1997)
g) Productividad Científica PPI por Sectores (1999)
III. Criterios Evaluativos Asociados
A) (1960/1970). Eficacia/Eficiencia. (Cendes. Clases de Programación Económica de Jorge Ahumada).
B) (1968/1972). A los criterios anteriores se les agregó el Criterio de Pertinencia (Contasti / Universitas 2000) (1972).
Se conformó la siguiente Estructura (Tríada): (1) Enfoque Instrumental de Planificación / Criterio Evaluativo de Eficacia (Resultados). (2) Enfoque Económico de Planificación / Criterio Evaluativo de Eficiencia (Productos). (3)Enfoque Social de Planificación / Criterio de Pertinencia (Efectos).
C) En este año 2000, el Proyecto Interinstitucional (ULA/USB/UCV), al considerar nuevos aspectos sustantivos, ha enriquecido el esquema anterior al introducir de manera estructurada y definida, los criterios de Efectividad, Productividad e Impacto, criterios estos que de manera asistemática venían siendo propuestos por algunos organismos internacionales (UNESCO/CRESALC/CINDA).
IV. Procedimientos Metodológicos
Básicamente se mantiene el esquema: Entrada/Proceso/Producto. El planteamiento que privilegiamos establece etapas. Primero, la medición objetiva del Producto mediante indicadores. Segundo, la determinación de la Entrada. Tercero, por procedimientos estadísticos de cálculos residuales por regresión, se obtiene una primera información indicativa sobre el Proceso, y con esta información se orienta una Investigación Institucional (Pesquisa). Esta última fase puede darse por Auto Evaluación y/o Evaluación Externa.
A manera de ejemplo, véase esta situación. En 1997 (Comité Consultivo UNA), calculamos a precios constantes de 1984 para los tres años 1993/1995 los promedios por egresados (millones de bolívares) de las siguientes Instituciones Universitarias: UCV (0.35); ULA (0.26); Zulia (0.18); Carabobo (0.21), USB (0.37); UNA (0.21); Rómulo Gallegos (0.22); Guayana (0.20); Baralt (0.23); UPEL (0.11). Con este dato, que puede ser considerado como una medición cruda de eficiencia, no es posible ni evaluar ni jerarquizar a las Universidades; será necesario obtener una medición de Producto, específicamente la calidad de Egresado, y así establecer mediante un balance estadístico obtenido por regresión, por ejemplo, si el mayor costo de la UCV y USB se corresponde o no con una mayor calidad del Egresado. Lógicamente que la comparación deberá hacerse primero en el ámbito de Carreras y luego en el ámbito de Instituciones mediante un índice ponderado que tome en consideración los desvíos respecto a los costos diferenciales promedios de las distintas Carreras. Es decir, se acepta que el costo de Medicina y/u Odontología es diferente al de Historia y/o Letras.
No hay comentarios:
Publicar un comentario