Capítulo 7 ? Elaboración de ítems objetivos Raquel García J., Sandra Castañeda F., Rosa E. González, María de Lourdes Pineda G. y Cecilia Arredondo Universidad Nacional Autónoma de México, D. F., México Introducción En este capítulo se ilustrará, en primer lugar, la aplicación del análisis cognitivo de tareas a un dominio de conocimiento particular, con la finalidad de aportarle al docente ideas y ejemplos de cómo operar esta técnica para el establecimiento del universo de medida y las tareas a ser evaluadas, después se presentarán lineamientos generales útiles a la elaboración y redacción de reactivos, entre otros, criterios para la clasificación de reactivos de opción múltiple (por su forma de respuesta y por su estructura), las ventajas y desventajas de este tipo de ítems, las dimensiones a ser consideradas en la redacción de un ítem, en términos de los siete tipos de formatos más utilizados y de dos fuen tes de contenido que han mostrado afectar sensiblemente el grado de dificultad de los reactivos (la operación cognitiva subyacente a la ejecución y el tipo de conocimiento evaluado). También, se revisan dos tipos de análisis de ítems, uno previo a su aplicación y otro posterior. Finalmente, se presentan reglas técnicas para escribir reactivos que atienden a seis aspectos básicos de la estructura del ítem y una escala para que el docente autoevalúe la calidad de los ítems por él elaborados. Aplicación del análisis cognitivo de tareas Ya se ha dicho que en el primer paso de la planeación de un examen, el docente debe prestar atención al dominio educativo específico que 172 EVALUACIÓN DEL APRENDIZAJE EN EL NIVEL UNIVERSITARIO. ELABORACIÓN DE EXÁMENES Y REACTIVOS OBJETIVOS se utiliza en el contenido del reactivo, es decir, el reactivo debe apegarse a las actividades, objetivos y tareas realizadas en el dominio educativo a evaluar. Por dominio educativo se entiende el conjunto de objetivos, actividades y tareas que son objeto del programa educativo que pretende ser evaluado a través de la prueba, por ello, constituye el universo de medida, es decir, incluye todas las tareas que ponen de manifiesto el grado de habilidad adquirido por un alumno (Jornet y Suarez, 1996). Y es precisamente en aquellas tareas en las que el estudiante encuentra más dificultades para aprender en donde es altamente recomendable llevar a cabo un análisis cognitivo de tareas (ACT) para identificar, en varios niveles, las demandas que generan los errores más importantes. Este tipo de análisis se ha aplicado con éxito a un rango amplio de áreas: la instruccional, el desarrollo de sistemas de cómputo, el diseño organizacional, el diseño de productos y la evaluación de dominios. Por considerar de interés para el lector, a continuación ilustramos la aplicación del ACT a la construcción de un examen de requisito de comprensión de lectura. Dicho análisis identificó mecanismos responsables de la comprensión de lectura en inglés, uno referido al componente de microestructura, otro al de macroestructura y el último al procesamiento cognitivo implicado en la tarea. La microestructura es aquella parte que hace referencia a la comprensión lingüística de un texto, incluye aspectos léxicos y estructurales de la lengua inglesa, específicamente aquellos relacionados con los elementos cohesivos del texto como son la comprensión de la función de las conjunciones, la relación que existe entre el sujeto de una oración y el pronombre que lo sustituye, y la relación que guardan entre si las palabras que componen una oración. Graves y Frederiksen (1991), proponen un nivel sintáctico de manejo de la lengua inglesa, que corresponde a la microestructura aquí propuesta y que se presenta a continuación. Nivel lingüístico: l Léxico/morfológico l Topicalización l Sintáctico l Tipografía/puntuación l Cohesión A partir de lo anterior, el ACT tomó en cuenta componentes del código de la lengua, como se muestra en la Tabla 1. ELABORACIÓN DE ÍTEMS OBJETIVOS 173 Tabla 1 Componentes de código de la lengua para evaluar comprensión de textos en inglés como lengua extranjera. __________________________________________________ Componentes de código de la lengua __________________________________________________ Reconocimiento léxico Inferencia de vocabulario Localización del mínimo comunicativo Distribución de sustantivos y verbos en el enunciado __________________________________________________ Reconocimiento de casos que alteran la comprensión del enunciado, como palabras de tipo negativo, de cantidad o tiempo (adverbios) Concepto de tiempo (auxiliares del sistema verbal) Interpretación de los elementos de cohesión Interpretación de los elementos de coherencia (pronombres, adjetivos posesivos, etc...) __________________________________________________ La macroestructura es aquella que relaciona las oraciones que componen un párrafo, y éste con los otros párrafos de un texto para poder comprender el contenido del mismo. La comprensión de los conectores que unen las oraciones, y la detección de las ideas principales presentes en un escrito son los componentes de la macroestructura (ver Tabla 2). Graves y Frederiksen (1991) identifican las siguientes tareas en la ejecución experta de la comprensión de lectura, equivalentes a la macroestructura: Nivel proposicional l Significado proposicional l Relaciones de macroestructura l Coherencia l Relaciones lógicas Tabla 2 Estructura textual para la evaluación de la comprensión de textos en inglés como lengua extranjera. __________________________________________________ Componentes de la estructura textual __________________________________________________ Interpretación de los elementos de coherencia Interpretación del párrafo a partir de sus componentes Interpretación de elementos visuales de apoyo __________________________________________________ 174 EVALUACIÓN DEL APRENDIZAJE EN EL NIVEL UNIVERSITARIO. ELABORACIÓN DE EXÁMENES Y REACTIVOS OBJETIVOS La interpretación de los elementos de coherencia hace referencia al reconocimiento e interpretación de lazos de unión entre oraciones, llamados conectores; los componentes del párrafo se refieren a la oración tópico y los detalles de apoyo que componen un párrafo. La interpretación de elementos visuales de apoyo se refiere a los gráficos, mapas, diagramas y cualquier otra representación visual que apoye información escrita. Graves y Frederiksen (1991) proponen como último nivel, el conceptual. Nivel conceptual l Texto narrativo l Texto basado en un problema l Texto tipo diálogo l Descripción El ACT elaborado toma en cuenta los tipos de texto y formato de la información presentada y además se refiere a la elaboración de la información que se lleva a cabo a partir de resúmenes, toma de notas y utilización de la información para cumplir un objetivo (ver Tabla 3). Tabla 3 Componentes de organización textual para evaluar comprensión de textos en inglés como lengua extranjera. __________________________________________________ Componentes de organización textual __________________________________________________ comprensión de la organización del texto elaboración de la información obtenida __________________________________________________ Asimismo, el ACT incluyó el procesamiento cognitivo. Refiere a aquellas estrategias utilizadas por el lector, como son la comprensión de las causas y efectos mencionados en un texto, la síntesis de la información leída, la capacidad de distinguir entre una opinión y un hecho mencionados en el texto, son elementos presentes en el procesamiento mental que Feng y Mokhtari (1998) presentan de la siguiente manera: l integración de información; l identificación de ideas principales; l confirmación de información leída; l paráfrasis de información. Los factores aquí mencionados fueron analizados, organizados, jerarquizados y agrupados en una retícula partir de la cual se elaboraron los ítems y se ensambló el examen. El examen constó de 15 reactivos de tipo objetivo, cuya meta fue medir la habilidad de los estudiantes para comprender textos escritos en inglés como lengua extranjera; los reacti- ELABORACIÓN DE ÍTEMS OBJETIVOS 175 vos consistieron en tres reactivos de relación de columnas, nueve reactivos de opción múltiple de cuatro opciones y tres de tres opciones; todos con sólo una opción de respuesta correcta. Para este examen se empleó un texto de tipo narrativo de 650 palabras, que trató un tema sobre la esclavitud como un problema del siglo XXI. El componente de la microestructura se conformó por dos estrategias de lectura de bajo nivel: la decodificación de la lengua y el reconocimiento de los rasgos estructurales del texto; el constructo macroestructura se conformó por tres estrategias de lectura de alto nivel: la inferencia de vocabulario, la identificación de ideas principales y de relaciones causales. Finalmente el constructo procesamiento cognitivo se integró por demandas cognitivas como: generalización, categorización, clasificación, y síntesis de la información. La microestructura se construyó usando componentes de comprensión de lectura de bajo nivel, que consisten en proposiciones que guían la comprensión del lector a través de aspectos lingüísticos del texto. Los aspectos medidos fueron: a) reconocimiento de la distribución del enunciado, que demanda que el estudiante reconozca la función gramatical de las palabras en una oración y correlacione las columnas correctamente, el reactivo contenía dos opciones extra como distractores; b) reconocimiento de elementos de cohesión, que demanda la identificación de afijos en palabras para inferir su significado; c) reconocimiento de palabras clave, donde el estudiante tenía que seleccionar la opción correcta de tres presentadas, una resaltaba la primera y última oración de un párrafo, la otra resaltaba el sujeto y verbo de las oraciones y la opción correcta resaltaba las palabras clave del párrafo; d) referencia contextual, la habilidad para encontrar el referido de una palabra, donde los estudiantes tenían que correlacionar los referentes marcados en un párrafo con su referido correspondiente; e) reconocimiento de coherencia, donde el estudiante tenía que seleccionar el correcto de cuatro enunciados que presentaban una función conectora (adición, causa, efecto, contraste, etc...) de acuerdo con el uso de dicho conector en el párrafo y f) el reconocimiento de la oración tópico, donde el estudiante tenía que identificarla en un párrafo. La dimensión Macroestructura se conformó de cinco reactivos, que correspondieron a estrategias de lectura de alto nivel, que permiten la extracción y generalización de la información para poder comprenderla. Los reactivos midieron: identificación de la idea principal, donde el estudiante tenía que seleccionar la correcta de tres opciones que presentaban la idea principal del párrafo: b) elaboración de síntesis, donde el 176 EVALUACIÓN DEL APRENDIZAJE EN EL NIVEL UNIVERSITARIO. ELABORACIÓN DE EXÁMENES Y REACTIVOS OBJETIVOS estudiante tenía que elegir el correcto de tres resúmenes presentados: c) ordenamiento de la información, donde el estudiante tenía que ordenar una serie de eventos y correlacionarlos con el realizador de la acción de acuerdo con la información presentada en el texto; d) organización textual, donde el estudiante tenía que eslabonar eventos de acuerdo con el orden de aparición en el texto; e) identificación del tipo de texto, donde el alumno debía seleccionar la correcta de cuatro opciones presentadas. La dimensión procesamiento cognitivo se conformó por tres reactivos que requerían de componentes de operaciones cognitivas que favorecen la adquisición, almacenamiento, recuperación y uso de información (García Jurado, 2003), midieron lo siguiente: a) identificación de relaciones causales, donde el estudiante tenía que elegir el correcto de cuatro enunciados que presentaban relaciones de causa o efecto según la situación presentada en el texto; b) identificación de información factual, donde los estudiantes tenían que seleccionar de tres opciones, aquella que no era un hecho y c) generalización de la información, donde el estudiante tenía que seleccionar la idea central del texto de tres opciones presentadas. Como fue ilustrado, para poder realizar un ACT con el propósito de elaborar un examen en un dominio especifico, se requirió analizar los objetivos y contenidos del curso o asignatura a evaluar, en primer lugar. Esto permitió definir el perfil de salida que debe alcanzar el alumno después de tomar el curso. Esquema para analizar cognitivamente tareas de un dominio específico A continuación, se presenta un procedimiento que apoyará al docente en la realización de un ACT. Primer paso: revisar el objetivo general del programa sobre el que se desea llevar a cabo el análisis cognitivo de tarea y escribirlo en un espacio como el que se presenta abajo (ver Tabla 4). Tabla 4 Formato para escribir el objetivo general. __________________________________________________ Escriba aquí el objetivo general de la materia presentado en el programa que sirve de base para la evaluación. ___________________________ ________________________________________________________ ELABORACIÓN DE ÍTEMS OBJETIVOS 177 Segundo paso: Analice el objetivo y decida cuales son las acciones que el alumno debe ser capaz de realizar al final del curso; enuméralas en orden de importancia de lo más a lo menos importante: Aquí deberemos contemplar aquello que el alumno debe saber hacer al final del curso, como por ejemplo, el reconocimiento del léxico, la identificación de elementos de cohesión y coherencia, y los demás contemplados en el curso, colocándolos en orden jerárquico. Ter cer paso: Par tien do del ob je ti vo que el alum no debe cum plir al fi nal del cur so, se plan tean los co no ci mien tos y ha bi lida des que ad qui ri rá du ran te el pe riodo ins truc cio nal. Por ejemplo, si un ob je tivo so lici ta la com pren sión de lec tu ra de tex tos de tipo aca dé mi co, es cri tos en in glés, de com pleji dad me dia. Se con si de ra rán las ta reas que el ex per to rea li za para com pren der tex tos en in glés, sien do muy im portan te de limi tar los co no ci mien tos y las ha bi lida des a de sa rro llar, los prime ros co rres pon den a lo que el alum no debe sa ber y los se gun dos a lo que el alum no debe sa ber ha cer para rea li zar la ta rea. Tomemos una tarea de las ya mencionadas, la del reconocimiento léxico: Tabla 5 Ejemplo de conocimientos y habilidades en la comprensión de textos en inglés. __________________________________________________ Conocimientos Habilidades __________________________________________________ El alumno debe saber que es una El alumno será capaz de identifipalabra clave y como identificarla. car las palabras clave contenidas Las palabras clave tienden a ser en un texto para encontrar el sustantivos que están comprenditema general del mismo. dos dentro de un campo semántico (palabras que delimitan el tema de un escrito). __________________________________________________ Cuarto paso: Analice los objetivos específicos y escriba en la Tabla 6 las habilidades y conocimientos que el alumno debe adquirir a lo largo del curso. El análisis deberá comenzar a partir de las más elaboradas hasta llegar a las más sencillas. 178 EVALUACIÓN DEL APRENDIZAJE EN EL NIVEL UNIVERSITARIO. ELABORACIÓN DE EXÁMENES Y REACTIVOS OBJETIVOS Tabla 6 Formato para desglosar conocimientos y habilidades en el ACT. __________________________________________________ Habilidades Conocimientos __________________________________________________ __________________________________________________ Quinto paso: A partir de las tablas anteriores, elabore una tabla (con el formato de la Tabla 7) que contenga las tareas que el alumno debe saber resolver de acuerdo con lo planteado en los objetivos del curso o asignatura. Tabla 7 Formato para la elaboración de tareas en el ACT. __________________________________________________ Tareas __________________________________________________ __________________________________________________ Tomemos lo siguiente como ejemplo (ver Tabla 8): Tabla 8 Tareas de comprensión de textos en inglés. __________________________________________________ Tareas de comprensión __________________________________________________ Reconocimiento de léxico Inferencia de vocabulario Localización del sujeto y verbo que lo acompaña Distribución de sustantivos y verbos en el enunciado __________________________________________________ Reconocimiento de casos que alteran la comprensión del enunciado, como palabras de tipo negativo, de cantidad o tiempo (adverbios) Concepto de tiempo (auxiliares del sistema verbal) Interpretación de los elementos de cohesión (pronombres, adjetivos posesivos, etc...) __________________________________________________ ELABORACIÓN DE ÍTEMS OBJETIVOS 179 Ahora, complete la siguiente tabla con la información de los contenidos de su curso. Tabla 9 Formato para determinar las tareas en el ACT. __________________________________________________ Tareas de ACT __________________________________________________ __________________________________________________ Sexto paso: Identificar las sub tareas que componen la tarea, decidir el tipo de conocimiento que se integrará en el curso y los procesos necesarios para llevar a cabo la tarea. Volvamos a nuestro ejemplo. Las tareas identificadas deben dividirse en sus sub componentes (ver Tabla 10). Tabla 10 Ejemplo de sub tareas en la comprensión de textos en inglés. Sub tareas de comprensión de textos Tarea a incluir Tipo de conocimiento a evaluar (conceptual/ procedimental) Contexto de recuperación de información (Reconocimiento/ recuerdo) Procesos subyacentes a la tarea a realizar Reconocimiento de palabras clave Conceptual (el qué) y procedimental (cómo) Como se trata de un nivel básico, la recuperación sería sólo de reconocimiento de la información, empleando un ejercicio de reactivos objetivos Comprensión Atención Comprensión Codificación Ahora, complete la siguiente tabla con los sub componentes de tarea de su interés. 180 EVALUACIÓN DEL APRENDIZAJE EN EL NIVEL UNIVERSITARIO. ELABORACIÓN DE EXÁMENES Y REACTIVOS OBJETIVOS Tabla 11 Formato para los sub componentes de la tarea. Sub tareas que las componen Tarea a incluir Tipo de conocimiento a evaluar (conceptual/ procedimental) Contexto de recuperación de información (Reconocimiento/ recuerdo) Procesos subyacentes a la tarea a realizar Séptimo paso: Una vez que todas las tareas se han integrado y jerarquizado por orden de dificultad se puede elaborar un examen, revisando las tablas ya elaboradas aquí y redactando los mejores reactivos posibles. Para ello, le recomendamos continuar con la siguiente sección. Lineamientos generales para la elaboración de reactivos Recordando, un reactivo de opción múltiple es un enunciado que solicita del examinando la toma de decisiones ante una serie de alternativas, consta de dos partes; un enunciado llamado base o cuerpo, que expresa una situación en forma de proposición (imperativa, incompleta o interrogativa) y una serie de opciones donde una es la opción correcta o la mejor solución para el problema y las demás tienen la función de distractores. Aun cuando los reactivos muestran, por lo general, tener entre cuatro y cinco opciones de respuesta, últimamente se prefiere que tengan tres a fin de minimizar los errores generados por tratar de tener más distractores que, comúnmente, muestran opciones inverosímiles o cargadas de indicios sobre la respuesta correcta. Los reactivos de opción múltiple se pueden clasificar por su forma de respuesta y por su estructura. Por su forma de respuesta se distinguen dos variantes, la de alternativas diferenciadas y la de respuesta óptima. Alternativas diferenciadas. Es el tipo de reactivo más utilizado contiene varias opciones de respuesta incorrectas, pero admisibles, llamadas distractores, y sólo una opción correcta. Respuesta óptima. Todas las opciones del reactivo son parcialmente correctas, pero una de ellas es la mejor. Requiere de un mayor dominio conceptual y análisis de cada opción para poder contestarlos correctamente, por lo que se emplean para evaluar aprendizajes complejos. ELABORACIÓN DE ÍTEMS OBJETIVOS 181 Los reactivos de opción múltiple pueden ser útiles para medir el conocimiento de los alumnos de manera rápida y objetiva, sin embargo también presentan algunas desventajas. Los autores de esta obra comparten la opinión de que los reactivos de opción múltiple pueden medir no sólo el aprendizaje simple (memorístico), sino también el complejo. La Tabla 12 sintetiza ventajas y desventajas de Ítems de opción múltiple (OM). Tabla 12 Ventajas y desventajas de los ítems objetivos. Ventajas de los reactivos de OM Desventajas de los reactivos de OM Permite evaluar una amplia gama de objetivos de aprendizaje desde conocimientos factuales hasta procedimentales. La construcción de buenos reactivos consume tiempo, encontrar distractores plausibles, es con frecuencia difícil. Permiten obtener información diagnóstica al analizar los patrones de respuestas incorrectas. Los elaboradores tienden a enfocar estos reactivos en objetivos de aprendizaje de bajo nivel; no evalúan el desempeño en tareas reales relacionadas con la lectura, la escritura, solución de problemas en diferentes temáticas Permite un muestreo amplio y Los resultados de la evaluación gran cobertura de contenido de pueden contaminarse debido a la habilidad de lectura del alumno. dominios. Permite la comparación y eva- Los alumnos podrían utilizar el méluación de ideas, conceptos y todo de eliminación para la selecteorías relacionadas. ción de respuestas. Permite la manipulación de niveles de dificultad al ajustar el grado de similitud entre las opciones. Puede no proveer información acerca del desempeño del estudiante porque no miden apropiadamente debido a errores en su uso y construcción. La forma de calificación no per- La elaboración de reactivos de opmite subjetividad puesto que se ción múltiple requiere una inversión deriva de una escala predeter- de tiempo considerable. minada y aplicable a todos los examinados. 182 EVALUACIÓN DEL APRENDIZAJE EN EL NIVEL UNIVERSITARIO. ELABORACIÓN DE EXÁMENES Y REACTIVOS OBJETIVOS Su naturaleza objetiva evita equivocaciones en la corrección. Es aplicable a un número amplio de personas y la forma de calificación e interpretación es rápida. La medición de la habilidad para organizar y expresar ideas y la puntuación obtenida puede ser influida por la habilidad lectora del estudiante. Limita los errores de valoración Los reactivos objetivos tienden a causados por la falta de habili- medir de manera pobre las habilidadades de escritura bien desarro- des de pensamiento de alto nivel. lladas. Dimensiones a considerar en la redacción de reactivos OM Dimensión formato. El formato del ítem es un recurso que se usa para obtener la respuesta del examinado (Haladyna, 2004) y aun cuando hay una gran variedad de formatos, en lo esencial, todos tienen los mismos componentes: una base o cuerpo del reactivo donde aparece una pregunta o instrucción específica, algunas condiciones que gobiernan la respuesta y un procedimiento de calificación. Los formatos se pueden distinguir por su estructura anatómica y por el tipo de aprendizaje que pueden medir. Cabe aquí mencionar que la elección del tipo de formato tiene consecuencias sobre lo que se quiere medir, particularmente, limitar el rango de aprendizaje a ser medido. Por esta razón, se recomienda utilizar una amplia variedad de formatos de tal manera que se tomen las ventajas de unos y otros. Los formatos de reactivos de opción múltiple más conocidos son: 1. Simple; 5. Interpretativo, 2. Ordenamiento; 6. falso verdadero múltiple; 3. apareamiento; 7. dependiente de contexto. 4. canevá; A continuación se revisarán, brevemente, las características de cada uno de ellos. Formato simple. La pregunta deberá ser lo más clara y precisa (como en los otros formatos) y tendrá una sola opción correcta. Este formato no es del todo adecuado para medir objetivos de aprendizaje complejo (Kolstad y Kolstad, 1994). El formato simple es el más común de los ELABORACIÓN DE ÍTEMS OBJETIVOS 183 reactivos de opción múltiple y, como ya se dijo, se compone de tres partes: (a) la base, (b) la respuesta correcta, y (c) diversas respuestas incorrectas llamadas distractores (ver Tabla13). Tabla 13 Estructura del reactivo de formato simple. Componentes Descripción Estructura La base del reactivo presenta uno o varios enunciados que plantean la situación a resolver y, en seguida, se presentan las opciones. Es el más utilizado, y de acuerdo con el contenido específico puede medir operaciones cognitivas poco complejas. Instrucciones …, elija la respuesta correcta. Base …: Opciones A) … B) … C) … D) … Formato de ordenamiento. La base del reactivo incluye, además del enunciado de la situación, una serie de elementos listados, donde a partir de la combinación correcta de varios de ellos, el examinando elige la opción de respuesta (ver Tabla 14). Se puede utilizar en diversos niveles de operación cognitiva. Tabla 14 Estructura del formato de ordenamiento.* Componentes Descripción Estructura La base del reactivo incluye el enunciado de la situación a resolver y una lista de elementos. A partir de la combinación de varios de ellos, se elaboran las opciones de respuesta. El examinando debe elegir la combinación correcta. Este tipo de reactivo es útil para situaciones en las que se requiera decidir el orden temporal correcto de un listado de elementos. 184 EVALUACIÓN DEL APRENDIZAJE EN EL NIVEL UNIVERSITARIO. ELABORACIÓN DE EXÁMENES Y REACTIVOS OBJETIVOS Instrucciones Elija la opción que contiene los elementos correctos. Base ¿...? l)... ll)... lll)... lV)... V)... VI)... Aquí usted escribe la lista de elementos que deberán ser ordenados al presentar las opciones de respuesta. Opciones A) ll, lll y VI Opciones de respuesta en las que aparecen ordenamientos diferentes de los elementos listados, entre ellos está el ordenamiento correcto B) IV, V, l C) ll, lV, V D) l, ll y lll *Tomado de Castañeda (2000) Formato de apareamiento.- Evalúa si el examinando es capaz de relacionar varios argumentos con la solución que aparece en un listado de respuestas posibles. Se puede utilizar en niveles de operación cognitiva diversos. Variación del OM que contiene premisas, cuerpo del ítem y respuestas alternativas. Las premisas y las respuestas están arregladas en columnas donde las premisas se presentan a la izquierda. Empleamos este formato cuando tenemos que colocar las opciones utilizándolas de manera que aparezcan para dos o más reactivos. El formato de apareamiento comienza colocando las opciones de respuesta en la parte superior del reactivo o en una columna izquierda y, disponiendo las bases del reactivo en la parte inferior o en otra columna a la derecha, con el fin de que el examinando encuentre la correspondencia entre ambas columnas (ver Tabla 15). Tabla 15 Estructura del formato de apareamiento.* Componentes Descripción Estructura La elaboración de este formato requiere que el número de opciones de respuesta sea mayor a los problemas que se enuncian, a menos que puedan usarse más de una vez algunas de las opciones de respuesta. Tome en cuenta estos requisitos para que su reactivo sea útil. ELABORACIÓN DE ÍTEMS OBJETIVOS 185 En las instrucciones, deberá especificar cuáles son las bases del apareamiento. Procure que el conjunto de enunciados sea homogéneo para cada uno de los ejercicios de apareamiento. Es decir, deberán corresponder al mismo campo semántico o área de conocimiento, ser coherentes sintácticamente y aparecer en la misma página. Es muy importante que utilice enunciados cortos. Organice las opciones de respuesta de acuerdo con un orden lógico. Instrucciones Puede utilizar dos tipos de instrucciones. a) Si presenta los enunciados en forma de columnas, podrá utilizar instrucciones del tipo: “En la columna de la izquierda aparecen [....] enunciados del 1 al n y en la columna de la derecha aparecen las opciones de respuesta posibles. Lea con todo cuidado cada elemento de la columna izquierda y seleccione la opción correcta marcando en la hoja de respuesta la letra de la opción correspondiente (A; B; C; o D). Las opciones pueden ser usadas (sólo una vez/ más de una vez)”. b) Si presenta los enunciados correspondientes a las opciones de respuesta en un listado que antecede a la lista de problemas, podrá utilizar instrucciones del tipo: “A continuación aparecen cuatro opciones de respuesta que denotan cuatro concepciones del aprendizaje. A) Aprendizaje como adaptación B) Aprendizaje significativo C) Aprendizaje por descubrimiento D) Aprendizaje como construcción social Los reactivos del 1 al 4 son descripciones de estas concepciones. Lea detenidamente cada una de ellas y marque en la hoja de respuestas la opción que usted considere que corresponda a cada reactivo. Las opciones de respuesta pueden usarse sólo una vez. 186 EVALUACIÓN DEL APRENDIZAJE EN EL NIVEL UNIVERSITARIO. ELABORACIÓN DE EXÁMENES Y REACTIVOS OBJETIVOS 1. El aprendizaje mas significativo es el que se da por la exploración, motivada por la curiosidad, se sugiere dar oportunidad a los aprendices para desarrollar y probar hipótesis; permitirles manipular objetos en forma activa y transformarlos por medio de la acción directa. 2. Se hace énfasis en que el aprendizaje es un proceso de formulación activa de significado, y que dicho proceso funciona mejor en ámbitos en los que dos o más personas llevan a cabo un discurso sostenido acerca de un tema. 3. El conocimiento es construido conforme se obtiene experiencia, en esa medida se resuelven las contradicciones aparentes y se coordinan los esquemas aislados en grupos y por último en una estructura cognoscitiva estable y con consistencia interna. 4. Este tipo de aprendizaje implica alentar a los aprendices a darle sentido al material a aprender a la vez que lo relaciona con los conocimientos que ya posee; se sostiene que de esta forma se retendrá mejor lo aprendido, se integrará más fácilmente el conocimiento y se tendrá la opción de aplicarlo en lo futuro. *Tomado de Castañeda (2000) Formato de canevá.- En la base del reactivo se dejan espacios en blanco que deberán ser llenados con las opciones de respuesta de tal manera que el enunciado sea congruente y correcto (ver Tabla 16). Se considera este formato una variante del formato de apareamiento. Tabla 16 Estructura del formato canevá. Componentes Descripción Estructura Evalúa conocimientos y habilidades sobre: l Terminología, hechos específicos o principios. l Interpretación simple de datos (algo más compleja cuando se utiliza material figurativo). ELABORACIÓN DE ÍTEMS OBJETIVOS l l l l l 187 Habilidad para resolver problemas numéricos. Habilidad para completar e igualar ecuaciones químicas. Son particularmente útiles, en matemáticas y ciencias donde se requiere una respuesta computacional o se debe escribir una fórmula o ecuación. También con idiomas extranjeros donde se busca medir partes específicas de información. Adecuados para medir el conocimiento de definiciones y términos técnicos. Base A la situación en la que los empleados están agotados emocionalmente, son apáticos e incapaces de alcanzar sus metas, se le conoce como __________________________________________ Opciones A) estresor organizacional B) fatiga laboral C) estrés temporal D) sobrecarga de trabajo Formato de falso verdadero.- Se diseñan, generalmente, para medir la habilidad del estudiante para determinar cuando una aserción es un hecho o no. Consiste de una oración declarativa que debe ser juzgada “verdadera” o “falsa”. Las alternativas pueden ser “sí” y “no”, “acuerdo” y “desacuerdo”, “hecho” y “opinión”, “correcto” e “incorrecto”. Los reactivos con tareas de falso/verdadero demandan reflexionar para seleccionar entre todas las opciones que son “verdaderas”, por esta razón, requieren juicios adicionales que pueden no ser afines al conocimiento específico a medir. Las opciones de respuesta del reactivo consisten en una secuencia de falso-verdadero o presencia-ausencia, de un listado de características o elementos comunes a partir de un hecho, concepto o procedimiento mencionado en la base del reactivo (ver Tabla 17). Se evalúa la capacidad del examinando para discriminar cuáles de ellos son pertinentes o no. Se considera a este formato como una variante más compleja de apareamiento. Los reactivos de falso/verdadero han sido objeto de muchos abusos. El más común puede ser la tendencia a aplicar medición memorística de conocimiento trivial, sin embargo, es 188 EVALUACIÓN DEL APRENDIZAJE EN EL NIVEL UNIVERSITARIO. ELABORACIÓN DE EXÁMENES Y REACTIVOS OBJETIVOS responsabilidad de los diseñadores el tipo de contenido que se emplea en la elaboración de los reactivos de este formato. Tabla 17 Estructura del formato falso-verdadero. Componentes Estructura Descripción La base del reactivo presenta la situación a resolver y, en seguida, se presentan las opciones de respuesta Instrucciones … , elija la respuesta correcta Base Antes de votar, investigo cuidadosamente las aptitudes de todos los candidatos Opciones A) Falso B) Verdadero Formato de ítem interpretativo. Este material incluye texto, gráficas, mapas, tablas o imágenes (ver Tabla 18). Permiten que el docente mida tanto resultados de aprendizaje simples como complejos. Tabla 18 Estructura del formato de ítem interpretativo. Componentes Estructura Descripción Los reactivos se caracterizan por contener una serie de indicaciones referidas a conductas que han de verificarse sobre un material esquemático o gráfico que forma parte del mismo reactivo (mapas, diagramas, representaciones topográficas, cuadros sinópticos, ilustraciones, modelos, etc.....) Base El costo de fabricación de un metro de tela para cortina es de $6.00. El costo de x metros se calcula mediante la fórmula C = 6x. Así, cuatro metros de tela tienen un costo de $24.00 y siete metros valen $42.00. ELABORACIÓN DE ÍTEMS OBJETIVOS 189 Instrucciones 9. ¿Cuál es la gráfica que representa esta relación? A) B) C) D) E) Formato de falso verdadero múltiple. Es una variante del formato falso-verdadero; este formato comparte varias características del tipo falso-verdadero. Generalmente, el número de respuestas falsas y verdaderas está balanceado; la lista de los reactivos puede ser muy larga, (hasta 30); este es un rasgo atractivo en el formato, ya que permite administrar varios reactivos en un tiempo corto (ver Tabla 19). Tabla 19 Ejemplo de reactivo falso verdadero múltiple. Componentes Base Estructura Para constituir una casa de bolsa se requiere cumplir, entre otros, los siguientes requisitos: Dos socios Cada socio como debe por mínimo lo menos suscribir una acción Opciones Cinco socios como mínimo Que el capital suscrito no sea inferior al 75% A) NO SÍ NO SÍ B) SÍ SÍ NO NO* C) NO NO SÍ SÍ D) SÍ NO SI NO Formato dependiente de contexto.- Conjunto de reactivos relacionados con un texto en común. Cada uno de ellos puede ser de cualquiera de los formatos ya revisados, todos requerirán consultar la información del texto presentado, aumentando así la dificultad de la tarea del examinando. 190 EVALUACIÓN DEL APRENDIZAJE EN EL NIVEL UNIVERSITARIO. ELABORACIÓN DE EXÁMENES Y REACTIVOS OBJETIVOS El empleo de reactivos dependientes de contexto tiene un estímulo introductorio y usualmente dos o más reactivos relacionados. El estímulo para el reactivo puede ser una fotografía, una carta, una gráfica, una figura, una tabla, un pasaje escrito, un poema, una historia, una caricatura, un problema, un experimento, una narración, o referirse a un evento, un objeto o una persona. Para cualquiera de estos estímulos tiene que tener creado, entre dos y 10 reactivos de cualquier tipo de formato; la creatividad es muy necesaria en la formación de los reactivos (ver Tabla 20). Si bien, este formato tiene una larga historia, se ha vuelto más popular recientemente. Una razón es la necesidad para crear reactivos que midan habilidades cognitivas de nivel superior. La colocación de los reactivos debe situarse de manera adecuada para evaluar habilidades cognitivas o aspectos que involucren habilidades de pensamiento complejo, así como para hallar la solución a problemas o medir el pensamiento crítico. Tabla 20 Estructura de formato grupos de reactivos dependientes del contexto.* Componentes Descripción Estructura El grupo de reactivos que se utilicen deben evaluar una variedad de habilidades complejas (analizar, sintetizar y evaluar hechos, conceptos, principios y/o procedimientos) para resolver situaciones o problemas diversos. En este formato se presenta uno o varios párrafos donde se establece el problema o la situación específica y se elaboran de dos a diez reactivos, en cualquier formato de opción múltiple, acerca de la información presentada. Su construcción debe cuidar que el grupo de reactivos incluidos sea consistente con la temática específica que se está evaluando y para la cual la información que se da en la descripción de la situación o problema a resolver es pertinente. El evaluador encontrará que este formato de reactivos le permite: l Evaluar integralmente, en una sola presentación global, una competencia en los niveles de operación cognoscitivos requeridos, tanto en lo que individualmente aporta cada reactivo incluido, como en lo que el conjunto de ellos significa. ELABORACIÓN DE ÍTEMS OBJETIVOS l l 191 Permite valorar, de manera más precisa, la ejecución del examinando en procesos intelectuales complejos involucrados en la aplicación contextualizada de los fundamentos teóricos-metodológicos y técnicos que sustentan un curso de acción o la solución a situaciones y problemas específicos. Evaluar aprendizajes complejos sin tener que utilizar reactivos independientes. Situación o problema Aviso de inicio del reactivo Instrucciones Problema o situación que contextualiza el contenido del ítem Base 1 1. … Opciones A) … B) … C) … D) … Base 2 2. … Opciones A) … B) … C) … D) … Se incluyen todos los ítems que se necesiten Aviso de finalización del reactivo *Tomado de Castañeda (2000) La elección del formato de un reactivo depende principalmente del tipo de aprendizaje que se quiere medir. Como Beller y Gafni (2000) concluyen, “se cree que la principal prioridad debe ser lo que es medido, en vez del cómo es medido. En otras palabras, nuestra orientación debe ubicarse en el contenido y en los procesos cognitivos más que en los formatos utilizados. Dimensión tipo de conocimiento evaluado Se distinguen tres tipos de conocimientos que se pueden evaluar con respecto a una tarea dada, el factual, el conceptual y el procedimental. Como se describió en el capítulo anterior, el conocimiento factual corresponde a elementos o componentes básicos de un dominio que son nece- 192 EVALUACIÓN DEL APRENDIZAJE EN EL NIVEL UNIVERSITARIO. ELABORACIÓN DE EXÁMENES Y REACTIVOS OBJETIVOS sarios para poder resolver problemas, como nombres propios, lugares, fechas, fórmulas y que son aprendidos memorísticamente. El conocimiento conceptual se refiere a las interrelaciones entre elementos, la manera en que éstos funcionan y a su significado esencial, características definitorias y reglas que lo componen, se refiere a conceptos, principios y explicaciones. El conocimiento procedimental es un conjunto de acciones ordenadas y dirigidas hacia una consecución de una meta determinada; se refiere a la ejecución de procedimientos, estrategias, métodos, técnicas y acciones necesarias para llevar a cabo una tarea. Tanto el conocimiento factual, conceptual, como el procedimental no son excluyentes, sino complementarios de una red de conocimientos más amplia que permite resolver problemas (Castañeda, 2004). Dimensión Operación cognitiva (OC) Como ya se dijo en un apartado anterior, al elaborar reactivos se deben considerar las operaciones cognitivas requeridas para su solución, tomando en cuenta que a mayor complejidad y abstracción de la información contenida en el reactivo y de la tarea solicitada pueden ser requeridas variadas operaciones y sub operaciones, más elaboradas, cualitativamente distintas y de diferentes niveles de dificultad. En el capítulo Diseño de exámenes, de esta misma obra, se presentó una taxonomía de operaciones cognitivas elaborada por Castañeda (1998) para construir exámenes de salón de clases y de egreso de licenciatura a gran escala. Recomendamos al lector su consulta. De la misma manera, al término de este capítulo se presenta una Guía para elaborar ítems objetivos. La Guía muestra ejemplos de formatos, operaciones cognitivas y fuentes de contenido que confiamos ayudarán al docente a tomar ideas para elaborar ítems. Reglas técnicas para escribir reactivos objetivos La escritura de reactivos objetivos no es una actividad fácil. Requiere del dominio de reglas basadas en la experiencia de expertos en la materia. Las reglas que proporcionamos atienden seis aspectos básicos en la elaboración de reactivos 1. redacción general de reactivos, 4. desarrollo de las opciones, 2. elección del contenido del reactivo, 5. desarrollo de la respuesta correcta, 3. construcción de la base del reactivo, 6. desarrollo de los distractores. ELABORACIÓN DE ÍTEMS OBJETIVOS 193 I. Reglas para la redacción general de los reactivos 1. Construya reactivos en los que el examinando pueda diferenciar, claramente, la respuesta correcta de la incorrecta. 2. Evite errores de gramática, de puntuación, de ortografía y abreviaciones. 3. Evite fraseología estereotipada. 4. Evite el uso engorroso de gerundios, participios, artículos y preposiciones. 5. Use conceptos conocidos en vez de sinónimos rebuscados. 6. Busque que el nivel de dificultad de la lectura del reactivo y el del vocabulario usado en ellos sean lo más simples posibles. 7. Minimice el tiempo de lectura de los reactivos. En caso de que sea necesario por tratarse de un reactivo que requiera describir con amplitud el contexto en el que se presenta una situación o problema a resolver, utilice sólo la información necesaria. 8. Evite usar preguntas capciosas que tiendan a engañar al examinando. 9. Evite usar literalmente la información que se encuentra en la bibliografía recomendada. 10. Evite reactivos que evalúen sólo el sentido común. II. Reglas para la elección del contenido del reactivo 1. Escriba el reactivo que represente un resultado de aprendizaje importante y significativo a la formación y ejercicio profesional. 2. Cuide que el tema y el nivel taxonómico elegidos sean pertinentes. 3. Cuando escriba un reactivo individual, enfóquese a una idea particular. Evite utilizar varias al mismo tiempo. 4. Cuando escriba reactivos del tipo “grupo de reactivos dependientes del contexto”, use una batería de reactivos que midan en lo individual una sola idea pero que, en su conjunto, permitan la evaluación de aprendizajes complejos. 5. Al escribir los reactivos use un vocabulario que pueda ser entendido aún por lectores poco habilidosos. 6. Evite dar indicios en un reactivo que permitan responder otro reactivo. 7. Salvo que la situación lo amerite, evite evaluar información muy específica, tanto abstracta como concreta. 194 EVALUACIÓN DEL APRENDIZAJE EN EL NIVEL UNIVERSITARIO. ELABORACIÓN DE EXÁMENES Y REACTIVOS OBJETIVOS 8. Salvo que la situación lo amerite, al redactar un reactivo evite utilizar el contenido literal que aparece en los libros o en otras fuentes autorizadas. 9. Enfatice la evaluación de contenidos importantes y significativos. Evite utilizar contenidos triviales. 10. Enfatice la evaluación de aprendizajes complejos. Evite evaluar meras memorizaciones. III. Reglas para la construcción de la base del reactivo 1. Asegúrese que las instrucciones en la base del reactivo sean claras y que le permitan al examinado conocer, exactamente, lo que se está preguntando. Evite la adivinación. 2. La base del reactivo debe contener toda la información necesaria para responder. Evite que las opciones de respuesta sean largas. Esto confunde al examinado. 3. Asegúrese que la base del reactivo formula claramente el problema a ser resuelto, de manera tal que el examinando pueda entenderla sin recurrir a las opciones. 4. Al escribir la base del reactivo evite palabras y oraciones enteras que no tengan nada que ver con el reactivo. 5. Al escribir la base del reactivo cuide, en lo posible, que contenga todas las palabras comunes a las opciones. 6. Cuide que la base del reactivo sólo contenga el material necesario para hacer más claro y específico el problema a resolver. Sólo podrá añadir material complementario cuando esté midiendo la capacidad del examinando para seleccionar material pertinente para la solución de un problema específico. 7. Al escribir la base del reactivo cuide dar indicios sobre la respuesta correcta. 8. La información de la base del reactivo debe presentarse, preferentemente, en forma afirmativa. 9. En caso de requerirse una forma negativa, asegúrese que ésta aparece debidamente remarcada. Utilice mayúsculas y alguna forma de resaltado. 10. La base del reactivo deberá evaluar conocimientos, habilidades y/o valores. Evite evaluar sólo sentido común. 11. Cuando redacte la base del reactivo de los “grupos de reactivos dependientes del contexto”, presente uno o varios párrafos donde esta- ELABORACIÓN DE ÍTEMS OBJETIVOS 195 blezca claramente el problema o situación específica. El o los párrafos pueden plantear la descripción sintetizada de un experimento, la descripción de un problema, un procedimiento diagnóstico, de intervención, prevención, etcétera, así como también pueden presentarse errores importantes de carácter teórico, metodológico, técnico y/o ético que representen riesgos diversos y para los cuales el examinando debe mostrar dominio y/o pericia en la identificación y/o corrección. 12. Cuando redacte la base de un reactivo que mida inferencias, presuposiciones o interpretaciones, haga explícito que la información que se presenta en el texto se considera verdadera para los efectos de ese reactivo. Asegúrese, además, de proveer al examinando de una lista de enunciados que pueden ser o no inferencias válidas a partir del texto. 13. Cuando utilice el formato de enunciado incompleto, nunca deje espacios en blanco en el medio o al principio de la base del reactivo. 14. Incluir ilustraciones o párrafos de lectura, antes de efectuar la pregunta. IV. Reglas para el desarrollo de las opciones 1. Use distractores plausibles. Un buen distractor debe ser seleccionado sólo por aquellos que no tienen los conocimientos requeridos e ignorado por los que si los tienen. 2. Ubique las opciones de acuerdo a un orden lógico o numérico correcto. 3. Cuide que las opciones de respuesta sean independientes. Si se traslapan, el reactivo puede tener dos o más opciones correctas. 4. Cuide que las opciones de respuesta sean homogéneas en contenido. Si son heterogéneas darán indicios al examinando. 5. Cuide que las opciones de respuesta tengan una extensión similar. Evite darle indicios al examinando. 6. En ningún caso utilice las opciones: “todas las anteriores”; “ninguna de las anteriores” y “no sé”. 7. Evite utilizar formas negativas en las opciones como: “no” y “Excepto”. En caso de utilizarlas, deben ser presentadas en mayúsculas y debidamente resaltadas. 8. Evite dar indicios sobre la respuesta correcta. No utilice frases repetidas en la base y en las opciones que permitan la asociación y den indicios sobre la respuesta correcta. 196 EVALUACIÓN DEL APRENDIZAJE EN EL NIVEL UNIVERSITARIO. ELABORACIÓN DE EXÁMENES Y REACTIVOS OBJETIVOS 9. Evite opciones ridículas o implausibles que ningún examinando escogería. 10. Evite indicios gramaticales que den pistas sobre la respuesta correcta. 11. Evite utilizar “nunca”, “siempre”, “totalmente”, “absolutamente” y “completamente” en las opciones. Sólo podrá utilizarlos cuando su interés sea evaluar la extensión con la que un concepto particular puede ser aplicado a una inferencia, presuposición o interpretación. 13. Incluya las preguntas completas en la misma página. 14. Evite opciones sinónimas. 15. Coloque el distractor más poderoso lo más cerca posible a la respuesta correcta. V. Reglas para el desarrollo de la respuesta correcta 1. Si utiliza el formato de una sólo respuesta correcta, asegúrese de que haya una sola respuesta correcta. 2. La respuesta correcta debe tener aproximadamente la misma extensión que los distractores. 3. Si utiliza el formato de la mejor respuesta correcta, asegúrese que la respuesta correcta sea en verdad la mejor. VI. Reglas para el desarrollo de los distractores 1. Asegúrese que cada distractor sea plausible para quien no tenga el conocimiento que el reactivo valora y que para quien sí lo posea, sea claramente erróneo. 2. Utilice errores comunes de los estudiantes para construir distractores plausibles 3. Use frases técnicas para construir distractores plausibles, pero incorrectos. 4. Utilice frases verdaderas pero incorrectas como distractores. 5. Evite utilizar frases humorísticas. Una regla general de la escritura de reactivos, que hemos dejado hasta el final para resaltar su importancia es la de revisar concienzudamente el o los reactivo(s) elaborado(s). A continuación se presenta una lista de auto evaluación que le podrá ser útil para valorar los reactivos que tenga en desarrollo ELABORACIÓN DE ÍTEMS OBJETIVOS 197 ESCALA DE AUTOEVALUACIÓN DE REACTIVOS * Instrucciones 1. Autoaplíquese el reactivo y marque con una cruz, la opción que contenga la respuesta correcta. Marque su respuesta en el formato de evaluación que se anexa de la siguiente forma: RC (respuesta correcta) xA B C D Sólo en caso de haber discrepancia fundamentada entre lo que usted contestó y la clave dada por el elaborador, previa revisión de la argumentación que éste anexa, identifique la falla esencial, argumente su decisión y entregue el reactivo y la escala correspondiente. Un panel de expertos resolverá la discrepancia. 2. Revise el reactivo con base en los aspectos que se listan a continuación y valórelos utilizando el siguiente código 0= NO O NUNCA; 1= PARCIALMENTE; 2= SÍ O TOTALMENTE en el formato que se anexa colocando una X en la casilla correspondiente. *Adaptado de Castañeda (1999) REVISIÓN INDIVIDUAL DE REACTIVOS a. Sobre la redacción general del reactivo 1. Asegurar que si usa el formato de respuesta correcta y no el de la mejor respuesta correcta así sea. 2. Asegurar que si usa el formato de la mejor respuesta correcta y no el de respuesta correcta así sea. 3. Evita errores de gramática, de puntuación, de ortografía y abreviaciones. 4. Usa conceptos conocidos en vez de sinónimos rebuscados. 5. La estructura de párrafos es lo más simple posible. 6. El vocabulario usado es lo más simple posible. 7. Minimiza tiempo de lectura del reactivo porque sólo usa información necesaria. 8. Evita el uso de pregunta capciosa que tienden a engañar al sustentante. 198 EVALUACIÓN DEL APRENDIZAJE EN EL NIVEL UNIVERSITARIO. ELABORACIÓN DE EXÁMENES Y REACTIVOS OBJETIVOS 9. Evita usar información tal cual aparece en la bibliografía recomendada. 10. Evita evaluar sólo sentido común. 11. El reactivo ha sido bien ubicado de acuerdo a la tabla de especificaciones b. Sobre el contenido del reactivo 12. El reactivo evalúa competencias y/o sub competencias del perfil del examen. 13. El reactivo evalúa temas y/o subtemas propios de los contenidos del examen. 14. Valora correctamente el tipo de operación cognitiva seleccionada. 15. Evalúa una sola idea o problema a la vez. 16. Usa vocabulario entendible aún para lectores poco habilidosos. 17. Evita dar indicios que permiten responder otros reactivos del mismo grupo. 18. El contenido utilizado en el reactivo es correcto. c. Sobre la construcción de la base del reactivo 19. Presenta instrucciones claras que permiten identificar lo que se está pidiendo. 20. La base del reactivo formula con precisión el problema a ser resuelto. 21. La base del reactivo evita dar indicios sobre la respuesta correcta. 22. Si mide inferencias, explicita que la información de la base es verdadera. 23. Si utiliza enunciado incompleto, deja espacios al principio y en medio. 24. Evita mezclar la pregunta con ilustraciones o párrafos de lectura de la base. ELABORACIÓN DE ÍTEMS OBJETIVOS 199 d. Sobre el desarrollo de las opciones de respuesta 25. Usa sólo distractores plausibles (especifique en una hoja anexa “Formato para la evaluación de reactivo”). 26. Ubica las opciones de acuerdo con un orden lógico o numérico correcto. 27. Cuida que las opciones de respuesta tengan una extensión similar. 28. Evita usar “todas las anteriores”; “ninguna de las anteriores” y “no sé” 29. Evita incluir indicios gramaticales que dan pistas sobre la respuesta correcta. 30. Sólo usa “nunca”, “siempre”, “totalmente”, “completamente” para evaluar inferencias, presuposiciones o interpretación. 31. Evita usar opciones sinónimas. 32. El distractor más poderoso está lo más cerca posible a la respuesta correcta. e. Sobre el desarrollo de la respuesta correcta 33. Hay sólo una opción que contiene la respuesta correcta. NOTA: Los indicadores de valoración que están sombreados indican problemas importantes en los reactivos. Ponga especial cuidado en ellos. DICTAMEN DEL REACTIVO (A) Aceptarlo (AR) Requiere arreglos menores en: (NA) No aceptarlo (BA) la base del reactivo como está (OR) opciones de respuesta (D) los distractores (RC) la respuesta correcta (C) el contenido, para adecuarlo a lo establecido (OC) la tipología de operaciones cognoscitivas En el caso de que el reactivo revisado sea “Aceptado como está” o “No aceptado” coloque una cruz dentro del paréntesis correspondiente. ACEPTADO A (x) A( AR ( R( NO ACEPTADO ) ) ) AR ( R (x) ) 200 EVALUACIÓN DEL APRENDIZAJE EN EL NIVEL UNIVERSITARIO. ELABORACIÓN DE EXÁMENES Y REACTIVOS OBJETIVOS Si el reactivo necesita ser modificado en menor medida coloque dentro del paréntesis la abreviatura que corresponda a dicha modificación, por ejemplo un reactivo que tiene ligeros problemas en la redacción de los distractores se valoraría así: A( ) AR (D) R( ) ESCALA PARA LA REVISIÓN DE REACTIVOS FORMATO PARA LA EVALUACIÓN DE REACTIVOS Nombre del revisor: Folio: RC Folio: RC Folio: RC Nombre de la prueba: Nombre de la sección: Folio: RC Folio: RC Folio: RC Folio: RC Folio: RC Folio: RC ABCD ABCD ABCD ABCD ABCD ABCD ABCD ABCD ABCD 0 1 2 0 1 2 0 1 2 0 1 2 0 1 2 0 1 2 0 1 2 0 1 2 0 1 2 1 2 3 4 9 10 SOBRE EL CONTENIDO DEL REACTIVO 11 12 13 15 16 17 SOBRE LA CONSTRUCCIÓN DE LA BASE DE REACTIVO 18 19 21 22 23 SOBRE EL DESARROLLO DE LAS OPCIONES DE RESPUESTA 24 25 26 29 30 31 SOBRE EL DESARROLLO DE LA RESPUESTA CORRECTA Dictamen 32 A( ) A( ) A( ) A( ) A( ) A( ) A( ) A( ) A( ) AR ( ) AR ( ) AR ( ) AR ( ) AR ( ) AR ( ) AR ( ) AR ( ) AR ( ) R( ) R( ) R( ) R( ) R( ) R( ) R( ) R( ) R( ) Nota. Se eliminaron algunos de los espacios correspondientes a algunos reactivos de la escala de evaluación por fines de espacio. ELABORACIÓN DE ÍTEMS OBJETIVOS 201 La Tabla 21 muestra reactivos que fueron evaluados para un dominio particular. A manera de ejemplo, se ilustra el ítem número uno. 1. El postulado de la ética profesional que declara que el contado público está obligado a emita juicios de valor que deben ser imparciales y estar libres de conflictos de intereses es el de: A) independencia de criterio B) calidad profesional de los trabajadores C) responsabilidad personal D) preparación y calidad del contador Como se puede observar las áreas de mejora del reactivo tienen que ver, en términos generales, con que la estructura del párrafo y el vocabulario son complejos; valora solo el recuerdo; la base del reactivo da indicios sobre la respuesta correcta; no usa sólo distractores plausibles; y la extensión de las opciones de respuesta no es similar. Dada la evidencia el evaluador decide rechazar el reactivo. 202 EVALUACIÓN DEL APRENDIZAJE EN EL NIVEL UNIVERSITARIO. ELABORACIÓN DE EXÁMENES Y REACTIVOS OBJETIVOS TABLA 21 Hoja de respuesta de la evaluación de algunos reactivos. ESCALA PARA LA REVISIÓN DE REACTIVOS FORMATO PARA LA EVALUACIÓN DE REACTIVOS Nombre del revisor: REGR 2 4 5 8 19 20 X 22 X 23 X 24 X 25 X 26 27 28 29 X 30 31 Dictamen Nombre de la sección: Contaduría I Folio: 1 RC ABCD 0 1 2 X X X X 14 16 32 Nombre de la prueba: Examen General Folio: 2 Folio: 3 Folio: 4 Folio: 5 Folio: 6 RC RC RC RC RC ABCD ABCD ABCD ABCD ABCD 0 1 2 0 1 2 0 1 2 0 1 2 0 1 2 X X X X X X X X X X X X X X X X X X X X SOBRE EL CONTENIDO DEL REACTIVO X X X X X X X X X X X X SOBRE LA CONSTRUCCIÓN DE LA BASE DE REACTIVO X X X X X X X X X X X X X X X X X X X X X SOBRE EL DESARROLLO DE LAS OPCIONES DE RESPUESTA X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X SOBRE EL DESARROLLO DE LA RESPUESTA CORRECTA X X X X X X A( ) AR ( ) A(X) AR ( ) A( ) A( ) A( ) A( ) AR (BR D) AR (BR D) AR (BR D) AR (OC D) R(X) R( R( ) ) R( ) R( ) R( ) Nota. Se eliminaron algunos de los espacios correspondientes a algunos reactivos de la escala de evaluación por fines de espacio. ELABORACIÓN DE ÍTEMS OBJETIVOS 203 Referencias Beller, M.; & Gafni, N. (2000). Can Item Format Account for Gender Differences in Mathematics Achievement? Sex Roles, 42, 1-2. Castañeda, S. (1998). Estado del arte de la evaluación y el fomento del desarrollo intelectual en la enseñanza de ciencias, artes y técnicas. En Castañeda, S. (Ed.) Evaluación y fomento del desarrollo intelectual en la enseñanza de ciencias, artes y técnicas. Perspectiva internacional en el umbral del siglo XXI (pp.17–158). Colección “Problemas Educativos de México”. México: UNAM, CONACYT y Miguel Ángel Porrúa. Castañeda, S. (1999). Guía de elaboración de reactivos. UNAM. Castañeda, S. (2000). Guía del Examen General de Egreso de la licenciatura en Psicología. 2ª Ed. CENEVAL. Castañeda, S. (2004). Educación, Aprendizaje y Cognición. En Castañeda S. (Ed.) Educación, Aprendizaje y Cognición. Teoría en la práctica (pp. 49-74). México: UNAM, U. de G. y Manual Moderno. Feng, X. & Mokhtari, K. (1998). Reading Easy and Difficult Texts in English and Chinese: Strategy Used by Native Speakers of Chinese. Asian Journal of English Language Teaching, 8, 19-40. García Jurado, R. (2003). Factores instruccionales que inciden en el aprendizaje de la comprensión de lectura en inglés como lengua extranjera en alumnos de la UNAM, Campus Acatlán. Tesis de maestría no publicada, UNAM, Facultad de Psicología, D. F., México. Graves, B., & Frederiksen, C. (1991). Literary expertise in the description of a fictional narrative. North-Holland - Elsevier Science Publishers, 20, 1-26. Haladyna, T (2004). Developing and Validating Multiple-choice Test Items. (3a. ed.). Mahwah, N.J.: LEA. Jornet, J. M. & Suarez, J. M. (1996). Pruebas estandarizadas y evaluación del rendimiento: usos y características métricas. Revista de Investigación Educativa, 14 (2), 141-163. Kolstad, R. K. & Kolstad, R. A. (1994). Applications of conventional and non-restrictive multiple-choice examination items. Clearing House, 67(6), 3, 317.