QM: ¿Cuales son las tendencias de uso de software para realizar evaluaciones computarizadas en México y en el caso particular de la UIA?

En particular, considero que el uso de herramientas tecnológicas en la educación tanto para el apoyo a la educación tradicional, como para esquemas de educación virtual, cada día está cobrando mayor auge. Permanentemente en las instituciones educativas invertimos en la programación de sistemas que nos permitan un control administrativo eficiente de todos nuestros procesos. La evaluación del aprendizaje, se convierte en un proceso crítico para garantizar a la sociedad la correcta formación de recursos humanos, así como un indicador clave en la evaluación curricular de nuestros procesos internos. Por ello contar con herramientas poderosas para reemplazar los exámenes impresos y las grandes horas de trabajo de escritorio docente fuera de grupo, nos obliga a invertir en soluciones tecnológicas. En específico para la educación virtual, los exámenes automatizados se vuelven una condición obligada.
Para la Universidad Iberoamericana QM, ha constituido una solución a diversos esfuerzos previos en diseñar soluciones tecnológicas. 

QM: ¿Cómo emplean el software de evaluación computarizada Questionmark Perception?

En la actualidad QMP  nos permite administrar bancos de reactivos para 30 cursos online, de la dirección de educación continua de la Universidad Iberoamericana. Tan sólo en el año 2005 se han aplicado exámenes a cerca de 18 mil personas que interactúan con el sistema 2 o 3 veces, por lo que requeríamos una solución que sólo QMP nos ofrecía en el mercado de software comercial.

QM: ¿Cómo se percibe dentro de la comunidad Universitaria la automatización de Evaluaciones?

Al interno de la universidad, la Dirección de Educación Continua, está siendo pionera en la implementación de exámenes masivos y un ejemplo a seguir por el resto de las áreas académicas. Se cuenta con implementaciones de Sistemas para la administración del aprendizaje en línea para los alumnos que asisten a clases presenciales que requieren de los beneficios de sistemas de exámenes departamentales (es decir, bancos de reactivos reutilizables para materias que se imparten en diferentes carreras, y que son producidos por equipos docentes).

QM: ¿Hace cuantos años está usando Perception?

Se cuenta con el uso de QMP, desde noviembre de 2004 una vez que se concluyeron los trabajos de evaluación y recomendación de la compra del sistema.

QM: ¿Cómo escucho hablar de Perception por la primera vez?

Teníamos un conocimiento de QMP desde inicios de 2003, no obstante se había decidido programar un sistema de exámenes con los recursos humanos internos de la universidad.

QM: ¿Antes de Perception, ya computarizaba sus evaluaciones? ¿Cuáles fueron los antecedentes y necesidades previas a Perception?

Efectivamente, se había desarrollado internamente un sistema de evaluaciones online. Consistía en una aplicación en PHP, con limitadas posibilidades en el sentido pedagógico para diseñar diversos tipos de preguntas. La programación de los exámenes a los alumnos se realizaba en completa dependencia de los expertos en sistemas que habían desarrollado la aplicación, así como la identificación de errores en su programación. Dicho sistema se utilizó alrededor de un año con poblaciones que nunca superaron los 300 alumnos.

QM: ¿Por qué se decidieron por Perception?

La perspectiva de aplicar exámenes a miles de alumnos y la necesidad de contar con un sistema de exámenes develó un elemento crítico que las autoridades universitarias no advertían: el costo del desarrollo de software por personal interno, era en mucho superior al costo de licencias de un producto comercial. QMP tiene consigo el respaldo de una larga trayectoria de equipos completos de programadores y la experiencia acumulada en los lugares de su implementación. La solución a un año de dolores de cabeza quedó resuelta en 3 días.

QM: ¿Cuáles son los desafíos actuales que enfrenta, y que rol puede tener Perception en ayudarle a realizar estos desafíos?

El gran desafío es la producción de bancos de reactivos en flujos de trabajo centralizados en un solo sistema. Es decir, la producción actual de reactivos se realiza a partir de 3 figuras académicas: El profesor experto, un pedagogo de validación de reactivos, y el programador de reactivos en QMP. Dado que por las políticas de contratación de la Universidad los expertos no laboran físicamente en las instalaciones de la universidad, por lo que no fue posible dotarlos del software autor, sino que se utilizaron plantillas previamente desarrolladas en excell. Posterior a ello, las propuestas docentes son revisadas y validadas por un staff de expertos en pedagogía y remitidas a las personas que físicamente si trabajan en la universidad y cuentan con los equipos para programar los reactivos.

En este punto nos enfrentamos en su momento con un dilema de perception 3, una misma persona no podía trabajar con más de un archivo *.question , lo que nos obligó a desarrollar sistemas de control para centralizar las estructuras de los 30 cursos. Vemos con beneplácito que perception 4 resuelve adecuadamente tal situación  y con el templete para Word se redimensionan diversos de nuestros procesos.

De ahí nuestro próximo reto: rediseñar nuestros flujos de procesos y crear nuestros propios manuales de trabajo con la herramienta. Sin duda una realidad de toda institución es prepararse para tener una base de conocimientos que las personas que se integren recuperen la experiencia previa.  

QM: ¿El uso de evaluaciones computarizadas los ha ayudado a mejorar el aprendizaje de sus estudiantes?

Hemos observado en nuestra comunidad de alumnos que enfrentar un examen, resulta una experiencia estresante. La eventual falla del sistema, resulta un factor que aumenta la tensión y los alumnos reaccionan violentamente al recurso tecnológico.

No obstante las situaciones subyacentes a las tecnologías de Información y comunicaciones (ancho de banda, configuraciones de equipos, Firewall, etc) la experiencia de contestar preguntas y recibir retroalimentación inmediata de su calificación y en su consecuencia del grado de dominio de los conocimientos previstos, ha tenido una buena recepción en los alumnos.

Cabe destacar que los exámenes, son programados para que se acceda sólo una vez, y tienen 40 minutos para contestarlo; cumplidos ambos criterios el examen se cierra. Nuestras estadísticas nos dicen que el 0.8 % de los alumnos se ven afectados por aspectos tecnológicos.

QM: Después de su experiencia con Perception ¿Cuáles son los atributos que más valor le aportan?

La posibilidad de aplicar exámenes masivamente a partir de bancos de reactivos. Es decir, a partir de 300 a 400 preguntas previstas para un curso, el alumno reciba 20 de forma aleatoria. Las posibilidades de que dos alumnos reciban un examen igual son de tal proporción que nos garantizan la validez del examen para evaluar el aprendizaje.

De igual forma, la posibilidad de generar reportes de la estadística de las preguntas, nos permite realizar una validación estadística de cada pregunta y poder enriquecer constantemente nuestro sistema.

A propósito de la UIA

La Universidad Iberoamericana, campus Santa Fe, es parte de un consorcio de instituciones educativas jesuitas. A sus 61 años de su fundación en la ciudad de México, se encuentra entre las mejores universidades privadas de México. Dentro de sus actividades de educación continua, el proyecto de www.iberoonline.com ha constituido una oportunidad para hacer extensiva su oferta educativa más allá de sus aulas a veinte mil personas en 2005.

A propósito de Questionmark y Perception

Questionmark, con más de 2000 clientes a nivel mundial, ofrece a la industria del aprendizaje las capacidades más óptimas para realizar evaluaciones en línea, estas capacidades incluyen herramientas de autoría, reporte y análisis. Questionmark produce software de evaluación y de prueba desde 1988, permitiendo a los educadores y formadores de redactar, administrar, y evaluar tests y encuestas, de forma segura, usando PC individuales, redes locales, intranets e Internet. El programa Questionmark™ Perception™ permite, sin conocimientos informáticos o experiencia al nivel del HTML, crear archivos de preguntas. Los usuarios pueden crear varios bancos de pregunta a partir de los cuales juntan las preguntas en pruebas y encuestas, organizando las preguntas en temas y subtemas. Para más detalles visite http://www.questionmark.com/esp.