La gestión de los datos en favor de la calidad docente: las analíticas de aprendizaje
Para responder a estas cuestiones entre otras, se presenta el proyecto de investigación “Uso de analíticas de aprendizaje en entornos digitales universitarios: impacto en la mejora del desempeño docente” (LAxDigTeach – PID2020-115115GB-I00) coordinado por Montse Guitert Catasús desde la Universitat Oberta de Catalunya. El punto de partida lo encontramos en la definición que hace Siemens (2013: 1382) sobre las analíticas de aprendizaje como “la medición, recopilación, análisis e informe de los datos sobre los estudiantes y sus contextos, con el fin de comprender y optimizar el aprendizaje y los entornos en los que se produce”. Otra referencia inicial al proyecto ha sido la tesis de Cerro (2021) “Seguimiento y evaluación de actividades colaborativas en línea a través de las analíticas del aprendizaje. Análisis del impacto sobre los docentes y los estudiantes de educación superior” donde se presenta el diseño y la implementación de una herramienta basada en tecnologías web de analíticas del aprendizaje para los docentes denominada DIANA 2.0 para Moodle. Así, este proyecto de investigación tiene como objetivo específico: explorar, definir y ajustar indicadores y métricas de analíticas de aprendizaje, partiendo de las definidas en Cerro, Guitert y Romeu (2020) que informen sobre los procesos de interacción de los estudiantes en espacios compartidos en el ejercicio de la docencia en entornos digitales.
El equipo investigador principal está compuesto por investigadores de la Universitat Oberta de Catalunya y miembros del grupo de investigación Edul@b, la Universidad del País Vasco – Euskal Herriko Unibertsitatea (grupo de investigación Elkarrikertuz) y la Universidad de Extremadura (grupo de investigación CILEM). Dentro de este proyecto participan 6 universidades diferentes, 4 a nivel estatal (Universidad de la Laguna, Universidad de Extremadura, Universitat Oberta de Catalunya, Universitat Rovira i Virgili) y 2 internacionales (Universidad de Padua, Universidade Federal do Rio Grande do Sul). La investigación está basada en el diseño se divide en cuatro fases: (1) Definición de tecnologías de analíticas de aprendizaje, (2) Casos de uso de analíticas de aprendizaje, (3) Ajustas y validar los indicadores y métricas de analíticas de aprendizaje y (4) Recomendaciones y diseminación de resultados.
Durante el curso 2021-22 se validaron las métricas, se creó un plugin para utilizar la herramienta en la plataforma Moodle y se inició la formación del equipo docente que debía participar en estos pilotos. Durante el curso 2022-23 se están llevando a cabo la fase de pilotos dentro de algunas de las asignaturas que se imparten en todos los másteres sobre educación y TIC online del estado español con grupos control y experimental. Uno de los casos en la Universidad de Extremadura, se ha realizado dentro del Máster de Educación Digital. En este máster han participado dos asignaturas entre septiembre y diciembre del 2022 que han permitido la fase de pilotos. La primera de ellas ha sido “Integración curricular de la Tecnología Educativa” donde el grupo de 20 estudiantes ha conformado el grupo control y la segunda “Perspectivas de investigación en Tecnología Educativa” donde el grupo ha pasado a formar parte del grupo experimental. La coordinación entre ambas asignaturas en cuanto al diseño ha sido fundamental, ya que siguen una misma manera de organizar las actividades del alumnado, basada en una webquest y que además implica una actividad colaborativa de foro de debate que sirve como eje para el desarrollo del contenido principal de las asignaturas.
Es importante remarcar que el objetivo en esta fase de pilotos se centra en analizar la interacción comunicativa del alumnado intentando comprender el desempeño que realizan y así poder actuar en el proceso de enseñanza potenciando el aprendizaje y la adquisición de las competencias definidas en la acción formativa.
En las siguientes líneas nos gustaría describir cómo ha sido la experiencia con el grupo experimental en la asignatura de “Perspectivas de investigación en Tecnología Educativa” mostrando algunos resultados previos ofrecidos por la herramienta DIANA 2.0, a la espera de un análisis más exhaustivo que llegará en los meses posteriores.
La asignatura se imparte al finalizar el primer semestre y tiene una duración de tres semanas y media. En dicha asignatura hacemos una primera aproximación a las perspectivas de investigación en tecnología educativa, y resulta una primera vez para la mayoría del alumnado abordar conceptos propios de investigación en esta área de conocimiento. El planteamiento que se le hace al alumnado consta de tres tareas que tienen como punto de partida varias lecturas. Tras estas lecturas, se les plantea una actividad del foro de debate asíncrono para debatir, reflexionar y contrastar ideas sobre las perspectivas de investigación, donde la interacción con los compañeros posibilita afianzar ideas y construir un conocimiento conjunto para después aplicarlos en las siguientes tareas de forma grupal e individual.
Este foro de debate que ha tenido una duración de dos semanas y se ha convertido en el eje vertebrador de la asignatura. Ha estado divido en tres hilos de discusión con una duración limitada para cada hilo en el que se han tratado los siguientes aspectos: (1) Identificación de las características principales de las perspectivas de investigación en educación (5-9 de diciembre). (2) Pros y contras de cada una de las perspectivas (10-14 de diciembre). (3) Conclusiones: cuál es la perspectiva que me puede aportar un contexto para la investigación y un buen desarrollo del TFM (15-18 de diciembre). Para poder realizar el análisis del aprendizaje con la herramienta DIANA 2.0, en relación a la interacción comunicativa, cada profesor debe configurar unos parámetros iniciales entre los que se encuentran: el campo semántico de la conversación (palabras estimadas que deberían aparecer en la conversación); el grado de severidad de la conversación; el mínimo y máximo de mensajes de participación; el grado máximo de dispersión de la conversación y el máximo de días de inactividad (Imagen 1).
Imagen 1: Definición de los parámetros en el primer hilo de debate de la asignatura en la herramienta de analíticas del aprendizaje DIANA “Perspectivas de investigación en Tecnología Educativa” de la Universidad de Extremadura.
Una vez definidos dichos parámetros, es posible realizar un preanálisis en cualquier momento de lo que va aconteciendo a lo largo de los días en el debate. Consultar regularmente este preanálisis a la par que se hace un seguimiento de lo que se está debatiendo en el foro, facilita el seguimiento de la actividad, ya que es posible reconducir la misma, animar a las personas a que participen si no lo han hecho todavía y dar una retroalimentación individual entre otras opciones.
La herramienta permite visualizar de diferente manera la participación del alumnado en relación a diferentes indicadores como: participación en la interacción comunicativa con el número de mensajes que aportan; fomento del diálogo y la negociación a través de las respuestas enviadas y el grado de popularidad entre los compañeros; el estilo comunicativo considerando en número de palabras escritas; la constancia y la regularidad en la interacción grupal a lo largo de los días; y el intercambio de información dentro del grupo con aportaciones de enlaces externos y/o documentos adjuntos (Imagen 2).
Imagen 2: indicadores y métricas individuales
La herramienta ofrece diferentes posibilidades para visualizar los datos (gráficos, tablas y nubes de palabras por ejemplo) que se recogen mientras dura el foro de debate, en relación a los parámetros definidos previamente. Más allá de la información numérica ofrecida, posibilita realizar una lectura transversal de lo que acontece en el foro y de la implicación que el propio alumnado muestra con la actividad y en la interacción comunicativa. En conclusión, esta experiencia piloto ha posibilitado:
1.- Tener por primera vez una visión gráfica de la interacción comunicativa.
2.- Hacer un seguimiento de la actividad más sostenible reduciendo considerablemente el tiempo dedicado a ello por parte del docente.
3.- Identificar de forma rápida al alumnado que no ha participado en el debate.
4.- Realizar un feedback individualizado al alumnado de la participación que están realizando, dándoles la posibilidad de mejorar en las siguientes intervenciones. Este feedback se ha recibido de manera muy positiva por parte del alumnado.
5.- Realizar una evaluación de la actividad más objetiva y ajustada.
Aunque el diseño de la asignatura se revise anualmente realizando actualizaciones y ajustes en las tareas y las lecturas, la participación en el proyecto de investigación ha posibilitado pensar mejor en el diseño de la asignatura y el reparto de tareas, dándole más importancia a la colaboración y al trabajo en equipo.
Referencias
Camino, J. (2022). Datificación. Aportes para una discusión filosófica sobre la informática y sus repercusiones sociales. ArtefaCToS. Revista de estudios de la ciencia y la tecnología, 11(1), 111-131. https://doi.org/10.14201/art2022111111131
Cerro, J.P. (2021). Seguimiento y evaluación de actividades colaborativas en línea a través de las analíticas del aprendizaje. Análisis del impacto sobre los docentes y los estudiantes de educación superior [Tesis de Doctorado Universitat Oberta de Catalunya]. http://hdl.handle.net/10803/672548.
Cerro, J.P, Guitert, M. & Romeu, T. (2020). Impact of using learning analytics in asynchronous online discussions in higher education. International Journal of Educational Technology in Higher Education, 17, 29-22. https://doi.org/10.1186/s41239-020-00217-y
Siemens, G. (2013). Learning Analytics: The Emergence of a Discipline. American Behavioral Scientist, 57(10), 1380–1400.
Autoras:
Lorea Fernández-Olaskoaga (UPV-EHU),
Montse Guitert Catasús (UOC)
1 respuesta
[…] Como usuarios de la tecnología y como docentes del área de tecnología educativa, para apoyar nuestro quehacer diario utilizamos una multitud de plataformas. Algunas de ellas las dispone la universidad donde trabajamos y otras son herramientas externas a las que con una mayor o menor conciencia… […]