Kol Campus

Key Performance Indicators (KPIs) en el eLearning

  • Kol Campus LMS (Learning management system) recopila un vasta cantidad de datos que incluyen cada interacción del usuario con el sistema. Esta guía detalla los conceptos básicos, las métricas recomendadas y los posibles planes de acción.
  • Los KPIs en la capacitación online se pueden dividir en dos grupos principales: user engagement y fundamental metrics. 

Fundamental metrics

Las métricas fundamentales son las que se enfocan al performance del estudiante o grupo, y pueden mostrar claramente cuando un participante requiere atención adicional.

  1. Calificación individual por Curso. Cada Curso puede incluir una o más evaluaciones, permitiendo a la organización dar seguimiento histórico al performance de cada estudiante.
  2. Calificaciones promedio. Por Evaluación, Curso o Grupo
  3. Training Time (individual y promedio). ¿Cuánto tiempo ha sido invertido en el entrenamiento?. 
  4. Users’ Course Status. Es decir, el estado de un Curso dentro del perfil del estudiante (sin iniciar, en progreso o completado). El objetivo es que cada estudiante concluya satisfactoriamente el mayor número de Cursos.
  5. Course Completion Rate. Este KPI puede mostrar cuáles son los Cursos más populares, un curso con porcentaje bajo puede tener un contenido inadecuado, difícil o demasiado largo.
  6. Usuarios totales
  7. Cursos totales

User engagement

Múltiples estudios han confirmado que mientras más involucrados estén los estudiantes con la capacitación y con sus compañeros, mejores serán los resultados. Los KPIs de este tipo son:

  1. Gamificación. Posición del usuario dentro del ranking de participación.
  2. Comentarios. Relevancia de la participación del estudiante en comentarios en los Cursos, Lecciones y/o Foros
  3. Sign-up Rate. Frecuencia de acceso por estudiante, grupo y tendencia general.

Este tipo de KPIs requieren que el tutor o líder de grupo se encuentre involucrado en el proceso; por ejemplo, para identificar los comentarios más relevantes.

 

A continuación revisaremos los reportes disponibles y los KPIs que podemos observar en cada uno:

Reportes

Esquina inferior izquierda 

Acceso a los reportes

El módulo de reportes está disponible en la esquina inferior izquierda de la pantalla, solo esta disponible para Administradores y/o Líderes de grupo.

Reporte Global 1

Filtro por grupo

Usuarios y Cursos asignados al grupo

Actividad reciente del Grupo

Lista de Cursos y KPIs globales

Reporte Global

El reporte Global de Cursos ofrece una vista rápida de los siguientes KPIs fundamentales:

  • Usuarios totales (asignados a ese Grupo)
  • Cursos totales (asignados a ese grupo)
  • Course Completion Rate; es decir, el porcentaje de los usuarios inscritos que ha concluido cada Curso asignado (% completo)
  • Training Time. Tiempo promedio invertido por Curso
  • Puntuación promedio obtenida por Curso

El Gerente o Líder de Grupo debe presentar especial atención en mantener un crecimiento continuo en el KPI porcentaje de Cursos completados y en el KPI puntuación promedio.

Filtro por grupo

Status

Tiempo y calificación promedios.

Detalle de un Usuario.

Reporte por Curso

Al seleccionar un Curso dentro del reporte Global, tendremos acceso a los KPIs específicos de ese Curso:

  • Usuarios inscritos, puntuación promedio y tiempo promedio.
  • Status dentro del Curso, por ejemplo, en esta imagen podemos ver que el 28% de los usuarios a los que este Curso se ha asignado no lo han iniciado, mientras que solo el 14.29% lo han concluido. Esto podría demandar acciones por parte del Líder del Grupo.
  • Detalle usuario por usuario, incluyendo su tiempo (time to complete), visitas subsecuentes (Time spent), promedio de calificación individual y fecha de conclusión. En la imagen ejemplo podemos observar que “Fernanda Grajeda” aún no inicia el curso, pues su avance es del 0%. El Líder de Grupo puede decidir dar seguimiento a los usuarios en esta situación.

Lista de Usuarios y Cursos sin iniciar.

Reporte por Usuario (A)

El reporte por Usuario ofrece múltiples niveles de contenido. 

A. La vista inicial despliega la lista de Usuarios integrantes del Grupo, en cuántos Cursos está inscrito cada Usuario y cuántos Curso el Usuario aún no ha iniciado.

En este caso el KPI principal para el Líder de Grupo es el de Cursos sin iniciar. Los usuarios con demasiados Cursos sin Iniciar podrían requerir seguimiento especial.

Lista de Cursos y porcentaje de avance en cada uno

Reporte por Usuario (B)

B. Al seleccionar a un Usuario en el reporte anterior, podemos ver el detalle de su progreso en todos los Cursos en los que está inscrito, los KPIs a observar son:

  • Users’ Course Status. Incluyendo el porcentaje de avance por Curso
  • Fecha de conclusión
  • Tiempo invertido en el Curso, y tiempo total (visitas posteriores)

El Líder de Grupo debe observar a los usuarios con calificaciones no satisfactorias así como los porcentajes de avance bajos.

El click podemos ver el detalle pregunta por pregunta

Filtros por tipo de Contenido

Reporte por Usuario (C)

C. La opción “ver detalles” del reporte anterior nos ofrece los detalles completos del desempeño del Usuario en ese Curso. Este reporte incluye un bloque de navegación vertical que nos ofrece información filtrada por el tipo de contenido que el curso incluya.

En el caso de las Evaluaciones, basta hacer click en el ícono que muestra la imagen para ver el reporte detallado con la respuesta que el usuario seleccionó en cada pregunta de cada una de las Evaluaciones que conforman este Curso.

Los principales KPIs a observar son:

  • Calificación individual por Curso
  • Users’ Course Status. (sin iniciar, en progreso o completo)
1

Reporte de Evaluaciones

2

Grupos

3

Progreso por Usuario

4

Progreso por Grupo

Reportes consolidados

Además del reporte Global, es posible consultar 4 reportes con vistas consolidadas:

  1. Evaluaciones
  2. Grupos (Reporte consolidado de estudiantes y líderes de Grupo)
  3. Progreso por Usuario (el Líder de Grupo puede modificar manualmente el avance del usuario en esta interface)
  4. Progreso por Grupo

Estas vistas ofrecen más flexibilidad al Líder del Grupo en la consulta de datos.

Acceso a los reportes de Ensayos y Tareas

Detalle de un entregable

Tareas y Ensayos (opcional)

Como parte de las Evaluaciones, es posible crear dos tipos de Preguntas especiales.

  1. Tareas y/o Archivos entregables
  2. Ensayos (textos)

Estos dos tipos de preguntas son opcionales para la estrategia de cada organización, pues requieren ser revisadas y calificadas por el Tutor o Líder de Grupo. El responsable puede consultar -y calificar- estas actividades desde esta sección.

Tiempo de Actividad

Detalle por Usuario

Filtro por fechas

Tiempo de Actividad (opcional)

El tiempo de actividad es un reporte especial que detalla el tiempo que cada usuario ha invertido en la plataforma, incluye datos por sesión, fecha y hora.

Pero se debe señalar que este reporte no necesariamente está ligado al performance, pues un estudiante puede dejar abierta su sesión por largos periodos, sin que esto realmente se traduzca en actividad o tareas de aprendizaje. 

En nuestra experiencia los KPIs relacionados a las métricas fundamentales y la gamificación, son casi siempre más relevantes.

Perfil (porcentaje completado)

Insignias

Ranking de participación

Detalles de cada Curso asignado

Gamificación

Los KPIs relacionados al User engagement son públicos, pues son parte del concepto “Gamificación”, que busca incentivar la competencia. Esta estrategia contempla otorgar puntos e “insignias” al estudiante por actividades como:

  • Ingresos únicos a la plataforma
  • Escribir comentarios
  • Completar su perfil personal
  • Completar un Curso
  • Completar un grupo de Cursos
  • Obtener la calificación máxima en una evaluación
  • Etc

Esta información puede ser consultada por cada Usuario desde la sección “Mi progreso“, la misma sección incluye una tabla con el ranking de los 20 usuarios que más puntos de participación han logrado

ROI (Retorno de inversión)

Finalmente, la métrica para interpretar de manera monetaria valor del eLearning es el Retorno de Inversión, esta métrica depende de cada organización, pero debe incluir:

  • Ahorros vs otros métodos de capacitación
  • Ahorro en tiempos de desplazamiento
  • Costo total de propiedad de su solución LMS
  • Costo total de propiedad por contenidos educativos
  • Incremento en los indicadores de productividad (por ejemplo: reducción del número de errores, incremento en las ventas, reducción de solicitudes de soporte, etc)