¿Cómo escribir un test de evaluación sin morir en el intento?

Si eres experto en un contenido y te han pedido escribir material para un curso, probablemente también te han pedido la redacción de algunas preguntas de test, puesto que sabes qué es lo relevante de tu especialidad.

Este artículo está escrito para ayudar a los expertos a redactar preguntas de test sin tener que sufrir especialmente por ello. Incluso los profesionales de la formación que llevamos años redactando evaluaciones iniciales y finales y actividades intermedias, sabemos que es la parte menos agradecida de la creación de cualquier contenido formativo.

Evitemos que al alumno le llegue nuestra incapacidad para redactar un test que sea realmente significativo.

La dificultad de redactar preguntas de test para una evaluación

Relaciona las preguntas con los objetivos

Redacta las preguntas de evaluación teniendo en mente los objetivos que se esperan alcanzar con esta formación. Los objetivos no son aquello que la entidad formadora pretende lograr (sorprende la cantidad de veces que esto se confunde), son lo que el alumno ha de ser capaz de saber o hacer con el contenido que se le imparte.

Cuando no se tienen en mente los objetivos que el alumno ha de alcanzar, se redactan preguntas demasiado triviales (insultantes) o muy difíciles (insultantes también), alejadas de lo que es relevante de la formación.

Preguntas muy fáciles

Se trata de las preguntas obvias, con respuestas  peregrinas y una claramente verdadera. Realizar este tipo de test es percibido por el alumno como una pérdida de tiempo.

Preguntas muy difíciles

Son aquellas preguntas que requieren ir más allá de la información expuesta o también una memoria de elefante. Cuidado, no estamos examinando la memoria del alumno. La idea es testar si ha comprendido y puede aplicar los conceptos, no si ha registrado los contenidos como si de una grabadora se tratase.

No se trata de “ir a pillar”.

¿Cómo redactar las preguntas?

Normalmente, en las evaluaciones se incluyen preguntas de respuesta simple, verdadero o falso o de respuesta múltiple. A veces también se incluyen preguntas de relacionar, ordenar o rellenar huecos, pero son menos frecuentes en una evaluación. En todo caso, la dinámica que se esconde detrás en la misma en todos los casos.

Una pregunta de respuesta simple está formada por un enunciado, afirmación o pregunta seguido de una serie de respuestas posibles, una de las cuales es correcta o claramente mejor que las otras opciones.

Para la correcta redacción de este tipo de pregunta, hemos de contemplar los tres elementos que la forman:

Cómo se redacta el enunciado de una pregunta de evaluación

Puede tratarse de una pregunta o de una afirmación incompleta, pero siempre precisa.

El enunciado ha de plantear un problema, la tarea o el objetivo que el alumno debe realizar, de una manera concreta y útil.

Si queremos preguntar por la altura del edificio Empire State:

Forma incorrecta Forma correcta
El edificio Empire State: ¿Cuántas plantas tiene el edificio Empire State?
a) tiene 102 plantas. (respuesta correcta) a) 25
b) se construyó en 1917. b) 57
c) es principalmente un edificio de viviendas. c) 72
d) se encuentra en Chicago. d) 102 (respuesta correcta).

El enunciado ha de poner foco en el conocimiento profundo que se desea evaluar del alumno, por ello, ha de ser concreto y detallado.

Tipo de pregunta a realizar

Deben utilizarse lo términos “por qué” (¿Por qué ocurre algo y no otra cosa?), y “cómo” (¿Cómo debe realizarse algo?) mejor que “quién”, “dónde” y “cuándo”, ya que estas últimas suelen preguntar nombres, fechas y lugares, datos que se aprenden de memoria o que se pueden consultar fácilmente.

Preguntar por definiciones

Las definiciones no deben utilizarse como enunciados, ya que resultan preguntas artificiales y no miden un logro útil. Es mucho mejor aportar el término en el enunciado y ofrecer posibles definiciones en las opciones.

Ejemplo:

¿Cuál de las siguientes afirmaciones describe el proceso de la migración de las aves?

  1. la invasión del territorio de un ave por otras especies
  2. el proceso de construcción de un nido
  3. la continuación de las especies
  4. el movimiento de una región a otra (correcta)
  5. el nivel de actividad creciente

Las opciones correctas

  • Proporcionan una respuesta clara y precisa al enunciado.
  • Deben ser lógica y gramaticalmente consistentes con el enunciado.
  • Procura evitar el “ninguno de los anteriores”, “todos los anteriores”. Este tipo de opción es pobre y el alumno la reconoce como una forma de rellenar un número de opciones predeterminado (por ejemplo, cuatro) cuando solo se tienen tres opciones válidas.

Los distractores

Se trata de las opciones que no son correctas o no son la mejor opción para responder a un enunciado. Han de ser respuestas que parecen posibles y que solo son detectadas por los alumnos que han trabajado los contenidos.

Han de utilizarse tres o cuatro distractores por cada enunciado. Menos distractores hacen más probable acertar la respuesta por azar.

Deben ser similares entre sí y con la respuesta correcta en cuanto a longitud, construcción y precisión.

Han de construirse a partir de errores de interpretación comunes y conclusiones posibles pero equivocadas.

No pueden solaparse entre sí ni con la respuesta correcta.

Ejemplo de forma incorrecta:

¿Dónde está situado Oslo?

  1. Al norte del Círculo Polar Ártico
  2. Al norte del Trópico de Cáncer (correcta)
  3. Al norte del Ecuador
  4. Al sur del Ecuador
  5. Al sur del Trópico de Capricornio

En esta pregunta, la respuesta c) también es correcta, lo que puede llevar a confusión y frustración a los alumnos.

¿Cómo controlar la dificultad de una pregunta?

Cuanto más parecidas son entre sí las posibles respuestas, más difícil es contestar a la pregunta. En el caso del número de plantas del Empire State, podemos ofrecer opciones alrededor de la respuesta correcta, 102: 101, 103, 104…

Algunas reflexiones finales

Todos los que redactamos preguntas de test cojeamos de algún pie:

  • La respuesta correcta de nuestras evaluaciones suele ser la c), o nunca es la a), o casi siempre es la de “todos los anteriores” o “ninguno de los anteriores”.
  • Algunos redactores tienen un gusto especial por preguntar en negativo, con lo que llevamos al alumno a confusión. También lo hacía el TomTom: “¿Desea evitar los peajes?”. Si digo no, ¿estoy diciendo que quiero peajes o que no? Hay que preguntar siempre en afirmativo.
  • Otros redactores son de hacer la respuesta correcta muy larga y completa y el resto de opciones cortas o sin sentido: el alumno avezado lo va a descubrir pronto.
  • Tampoco es muy rico el uso de “sí, siempre”, “sí, pero depende de…” porque aumenta la carga cognitiva y lleva a confusión.

Dejemos atrás los recuerdos de pesadilla de los exámenes que nos hicieron durante nuestros estudios y creemos el test de evaluación con la mente fresca.

Para saber más

SCANNELL, Dale P. TRACY, D.P. Testing and Measurement in the Classroom. Ed. Houghton Mifflin Company, 1975.

Anuncios

Formación online vs. marketing digital

La formación online puede optimizar sus contenidos

Tengo la suerte de trabajar en dos sectores aparentemente similares: la creación de cursos online y la redacción y traducción de textos de marketing. Ambos consisten en buscar la mejor forma de comunicar algo a alguien. Es una comunicación por escrito y el destinatario está identificado con el nombre de “alumno” o de “potencial cliente”.

Hasta ahí las características en común.

La forma en la que se redactan los contenidos para cursos online es totalmente diferente, yo diría contraria, a la forma en que se redactan para marketing online.

Cómo es la redacción de cursos

La formación online puede optimizar sus contenidos

Aun hoy día, y después de haber conocido la gamificación, el aprendizaje informal y la necesidad de distinguir los cursos de desempeño de los cursos de información con el fin de producir resultados, lo cierto es que la redacción de los cursos online es generalmente ineficiente.

Ineficiente quiere decir desconocer al destinatario del mensaje, creando cursos “talla única” para todos los posibles alumnos, incurrir en verborrea escrita, dirigirse al alumno como si no fuese adulto adoptando un molesto tono paternalista, arengar y añadir un exceso de información innecesaria.

Yo en ocasiones también hago esto. Que me perdonen los alumnos presentes y futuros, siempre desconocidos. Trato de aliviar al máximo su pesar, reduciendo el número de pantallas en el típico curso pasapáginas, en que además se tortura al alumno mostrando cuántas pantallas le quedan por ver y bloqueando su avance. Sin embargo, muchos clientes piden esto, porque están todavía centrados en medir los resultados de una formación por el número de horas que dura y por el número de alumnos que la realizan (sufren).

Cómo es la redacción de marketing online

La redacción de marketing digital va al grano, se dirige a un posible cliente muy segmentado, por ejemplo, es una mujer de entre 25 y 34 años, con gusto por lo saludable y hábitos de compra en páginas de comercio electrónico, se descarga apps para estar en forma, etc.

Si sabemos a quién nos dirigimos, podemos adaptar el mensaje a ese destinatario al máximo, ofreciéndole algo que le puede interesar en base a sus hábitos y aficiones.

Quitamos toda la posible verborrea, minimizamos el mensaje, tiene que ser suficiente pero no largo ni pesado, y ha de entenderse con claridad. La economía de palabras es clave. El cliente es soberano, se le habla como a un adulto.

¿Cuál es la buena?

Evidentemente, por su sensibilidad a las necesidades del receptor, la buena es la comunicación de marketing online, optimización SEO, campañas de email…

Compartimentos estanco

A pesar de que sería extremadamente fácil aplicar toda la sabiduría del marketing digital a la formación online, lo cierto es que son compartimentos estanco.

Ahora existen registros del aprendizaje que permiten analíticas mucho más precisas sobre los alumnos. El seguimiento puede realizarse incluso offline y de actividades de aprendizaje informal.

Sería muy interesante que la formación online fuese bebiendo poco a poco de los avances del marketing digital y de la analítica.

Vasos comunicantes

Si en lugar de ser compartimentos estanco fuesen vasos comunicantes, la formación online se caracterizaría por afectar positivamente a la cuenta de resultados de la empresa donde se imparte.

Además, si se analizara lo que los alumnos necesitan saber hacer, se ahorraría mucho dinero en iniciativas de formación que solo se realizan para cubrir el expediente.

En palabras de Nassim N. Taleb:

Esta incapacidad para transferir de forma automática el conocimiento o la complejidad de una situación a otra, o de la teoría a la práctica, es un atributo muy inquietante de la naturaleza humana.


A mí me encanta la formación, yo hago varios MOOCs al año y he finalizado este año un máster, tengo dos carreras… Vamos, yo no puedo decir que no me guste la formación. Y sin embargo sí puedo decir que la he “sufrido” repetidas veces cuando departamentos de formación y compañeros, todos ellos bienintencionados, me han hecho llegar algunos cursos que son un compendio de lo que significa “comunicación ineficaz”.

Y como decía, a veces yo misma lo hago…

¿Qué piensas? ¿Has hecho recientemente alguno de estos cursos? ¿Eres tú mismo/a un artífice de cursos de estas características? Los comentarios, ya sabes, son siempre bienvenidos, ¡gracias!

Sobrevivir en sociedad: más caricias

¿Pero te gusto o no te gusto?

La semana pasada hicimos una introducción al tema de las caricias, utilizando como ejemplo el uso de “Me gusta” en redes sociales.

Quedan pendientes algunas facetas interesantes de las caricias, así como ampliar otras que mencionamos solo de pasada.

"Me encanta", una caricia más intensa que "Me gusta"

 

Adaptando tu conducta a las caricias que recibes

Lo cierto es que las caricias refuerzan nuestras conductas: amoldamos nuestro comportamiento para recibir más caricias. Esto puede ser una trampa en varios sentidos:

  • No ser capaz de tener un comportamiento autónomo. Ser un Adulto autónomo es la meta de todo el desarrollo personal. Depender de las caricias puede llevarnos a una conducta del Niño adaptado.
  • Preferir la caricia ajena a la propia. Sobre todo es peligroso olvidar el propio juicio, la propia intuición, la personal manera de ver las cosas, para superponer la opinión ajena.
  • Buscar caricias negativas para justificar nuestro guion. Muchos comportamientos aparentemente autodestructivos buscan justificar unas decisiones inconscientes y desde el pensamiento mágico del niño, cuando por primera vez construimos nuestro guion de vida.

 

Caricias que no son tales

A veces recibimos un reconocimiento aparentemente positivo pero que encierra una trampa, y se convierte en negativo o no útil. Hay caricias falsas y caricias de plástico. Veamos en qué consisten:

Caricias falsas

Comienzan con un mensaje positivo y terminan con una picadura:

“¡Qué camisa más bonita! ¿La has comprado en el mercadillo?”

Caricias de plástico

Según Berne, es como dar un caramelo a un niño para luego quitárselo. Son personas que reparten caricias positivas no sinceras, muy exageradas, como una gran sonrisa, un fuerte abrazo y luego un:

“¡La sala se ha iluminado cuando has entrado! Es que todo lo que haces es perfecto, ¡es maravilloso! ¡Es ideal! ¡Es lo máximo!”

Caricias que ya no nos dicen nada

Ya mencionábamos en el anterior post que la calidad e intensidad de las caricias es variable. Podemos estar acostumbrados a recibir una serie de reconocimientos, y estos ya no nos dicen nada. Podemos además desear recibir otro tipo de caricias, pero no atrevernos a manifestarlo. Podemos incluso negarnos a nosotros mismos/as que deseamos un cierto tipo de caricias.

El banco de caricias

Las unidades mínimas de reconocimiento las vamos atesorando en un banco de caricias. Este banco puede mantenerse con “depósitos antiguos”, esto es, con recuerdos de caricias, y con auto caricias, pero no durante mucho tiempo. A la larga, los depósitos antiguos ya no nos dicen nada, y las auto caricias no son suficientes: necesitamos reponer provisiones en el entorno social. Por eso a veces, tras un aislamiento más o menos elegido, volvemos a la sociedad, al grupo. Necesitamos caricias tanto positivas como negativas, ambos tipos son una forma de aprendizaje.

Caricias negativas vs. descuentos

En el anterior post también apuntábamos la posibilidad de que una persona filtre las caricias que recibe porque no coinciden con lo que esperaba. Esto se llama hacer “descuentos”. Hay un matiz que diferencia los descuentos de las caricias negativas: el descuento conlleva una distorsión de la realidad. Veamos algunos ejemplos:

Caricia negativa: Has escrito mal esa palabra.

Descuento: No sabes escribir.

Caricia negativa: Me siento insegura cuando dices eso.

Descuento: Me haces sentir insegura diciendo eso.

Caricia negativa: No te soporto.

Descuento: Eres insoportable.

Como vemos, no podemos hacer nada con la información que recibimos de los descuentos, pero sí con la que nos dan las caricias negativas.

El peor descuento es el que nos hacemos a nosotros mismos/as:

Te dicen: “Has estado muy bien en tu presentación, ¡enhorabuena!”

Respondes: “Qué va, sólo he dicho chorradas”

En los siguientes posts veremos por qué “nos descontamos” las caricias de los demás.

 

The future of entertainment

The future is coming, this kind of immersive experience seems to be the logic next step of learning.

E-Learning Provocateur

In the space of a couple of weeks, I have previewed the future of entertainment twice.

Promo for VR Noir

The first instance was at AFTRS in Sydney, where I attended a presentation of VR Noir: A Day Before The Night.

Billed as an “interactive crime thriller”, this immersive virtual reality experience might best be described as a combination of a film and a game. Set in the style of the gumshoe genre we know so well, you play the part of a private detective who must decide whether or not to take on a client’s case. Your actions drive the story forward, and your decisions along the way impact the final outcome.

While I thoroughly enjoyed the experience and commend AFTRS on the quality of their work, I was also fascinated by the unique technical challenges they encountered. One of the most pressing ones was point of view: in a 360° environment…

Ver la entrada original 306 palabras más

El humor en el e-learning: un tema serio

Hoy reflexionamos sobre el humor en la formación. Yo estuve 10 años en formación presencial y llevo más de 6 en e-learning. En este paso de lo presencial a la mediación de la tecnología, observo que el humor se ha quedado en el camino, al menos en lo que respecta a la educación para adultos, que es la que conozco. El problema es tener que desarrollar la formación para el mínimo común denominador de la audiencia objetivo.

¿Qué temas se prestan a ser tratados con humor?

Como mencionaba en este artículo, sugieres a cualquiera involucrado en un proyecto utilizar el humor y responderá: “no, para tratar el tema X no debemos usar humor”. Y lo malo es que X se puede sustituir por cualquier temática: prevención de riesgos, contabilidad, liderazgo, matemáticas… Todo debe ser serio para ser tomado en serio. En la práctica, la formación se convierte en algo tedioso y soporífero. Cuando estás en el aula puedes paliar la seriedad de la documentación con ejemplos y anécdotas. Cuando provees de formación a través de un sistema informático, se acabaron los ejemplos y las anécdotas.

Uno de mis ejemplos preferidos es el vídeo de Klaus y las carretillas:

Es un vídeo sobre PRL para operarios de carretilla difícil de olvidar, incluidos los riesgos que representa y su representación más que gráfica, gore, de lo que puede pasar si no se cumplen las normas. Y pensábamos que los alemanes eran más serios que nosotros…

En otro ejemplo se explican con humor las consecuencias de romper una normativa, algo mucho más entretenido y que se recuerda mejor que el habitual listado de Debes/Tienes que.

En cualquier caso, cada vez más colectivos se ofenden y se sienten agraviados cuando se tratan según qué temas con humor. Esto es algo que señaló hace poco John Cleese, de los Monty Python, en una entrevista: “no podemos hacer humor y ser políticamente correctos a la vez”. Algunas de las perlas que John Cleese dijo en esta entrevista: “la idea de que se te debe proteger de cualquier tipo de emoción incómoda es lo que de ninguna manera suscribo”, “toda la esencia del humor, de la comedia (…) es que toda comedia es crítica”. Sin embargo, distintos colectivos pueden tener sentido del humor y comunicarnos sus necesidades de una manera muy efectiva, como podemos ver en este vídeo genial:

Como mencionaba en el artículo sobre Miguel vigil, el propio John Cleese fundó la empresa VideoArts para crear formación basada en vídeos con humor. Es antológico su vídeo “Bloody meetings” (Malditas reuniones) para explicar, de una forma muy cómica, lo que no debe hacerse en una reunión:

 

¿Cuándo decantarnos por el humor?

La mayoría de los intervinientes en esta discusión de la comunidad de Articulate, comentaban que la audiencia a la que va dirigido el curso puede determinar el uso del humor, y que puede ser más necesario cuanto más nos acercamos a un público de millennials.

En este otro foro se plantea si existe una necesidad de “entretener” a los alumnos como técnica para ayudar a aprender.

Al final, es el proyecto el que determina si se puede utilizar el humor. Hay que tratarlo abierta y directamente con quien encarga el curso (el cliente) y estudiar si un barniz de humor, o un humor abierto, aplican para la audiencia objetivo y la temática a tratar.

Un apunte final del gran diseñador instruccional Bruce Graham. Tenía que preparar una formación de normas de actuación y la sugerencia de Bruce fue crear un curso de “antinormas”:

“Bienvenidos amigos, hoy vamos a mostraros cómo envenenar a tu personal, reducir la productividad un 32% al año Y conseguir para ti una multa de entre 4 y 6 millones de dólares… ¡TODO en solo 20 minutos!”

 

“Welcome folks, and today we’re going to show you how to poison your staff, reduce productivity by 32% per year, AND get yourself a fine of between $4m and $6m….ALL in 20 minutes!”

 

Por qué Storyline 2 es la herramienta a usar en e-learning

Desde hace años soy una firme defensora del uso de Articulate Storyline como la mejor herramienta de autor del mercado que conozco, en su relación calidad-precio.

¿Qué diferencia hay entre Storyline y “Articulate”?

De hecho, Storyline es un producto de Articulate, que es una empresa.

La mayoría de profesionales que responden con escepticismo a mi afirmación de que deberían probar Storyline, desconocen sus funcionalidades, que no tenía el anterior producto de Articulate. Lo que en España se suele conocer como “Articulate” es el Articulate Presenter, una herramienta destinada a mejorar las presentaciones en PowerPoint. Además, Presenter se podía adquirir junto con un set de programas más en la línea de las necesidades del sector, que eran Articulate Engage y Articulate Quizmaker. Todos estos programas se podían adquirir bajo el paraguas de Articulate Studio.

Articulate Studio sigue existiendo, y es un producto que ha incorporado muchas de las funcionalidades de Storyline. Sin embargo, está dirigido a un público diferente, a aquellos que quieran crear básicamente presentaciones, no cursos de e-learning.

Aquí puedo tener a algún lector preguntándose por la diferencia. De hecho, muchos creen que los cursos e-learning son presentaciones pero más bonitas. En ocasiones, incluso si se trata de vídeos, estas personas comentan que “en la diapositiva donde pone…”.

¿Qué características destaco de Storyline?

  • La curva de aprendizaje es muy suave. Al principio, el diseñador creerá estar viendo el espacio de trabajo de PowerPoint. Esto facilita el uso de muchas funcionalidades que ya conocemos bien de este programa, como insertar objetos, darles color, sombra, agruparlos, ordenarlos, animar su entrada y salida…
  • Las interacciones, actividades, evaluaciones y feedback se pueden crear desde cero sin tener que ajustarse al incómodo corsé de la mayoría de herramientas, en que la evaluación es visualmente muy pobre, extremadamente aburrida para el alumno, y en ocasiones, totalmente diferente al aspecto del resto del curso.
  • La navegación no lineal, con árboles de decisiones, en la que se puede dirigir a cada alumno al contenido que necesita conocer.
  • La grabación de pantalla, creando por defecto las pantallas de cada uno de los pasos que se han seguido al interactuar con una aplicación. Esto permite realizar formación sobre aplicaciones de una forma muy rápida y económica.
  • La realización de vídeos interactivos, una funcionalidad muy potente y que hace que los vídeos dejen de ser piezas que colocan al alumno en actitud pasiva. Aquí tienes un ejemplo.
  • La galería de personajes con diferentes poses y encuadres hace que no sea necesario crear personajes de cero, lo cual ahorra costes y tiempo. Además, se puede adquirir por muy poco la galería completa de personajes fotográficos.
  • Agrega los resultados de diferentes evaluaciones en un resultado final, algo que no era posible con Storyline 1.
  • Permite la traducción cómoda del contenido y la incorporación de la traducción a un fichero de Storyline, sin perder los formatos.
  • Es multidispositivo y proporciona un output en HTLM5 que se adapta al tamaño del explorador.
  • Contiene plantillas para crear interacciones y no tener que partir de cero.
  • Tiene una de las mejores comunidades, donde se pueden resolver dudas, encontrar desafíos y compartir ideas de diseño instruccional. Además, esta comunidad proporciona varios tipos de descargables, como plantillas, objetos para añadir a tu curso o storyboards.

Puedes saber más aquí.

¿Qué aspecto tienen los cursos realizados en Storyline 2?

Mostramos a continuación algunos ejemplos de cursos realizados en Storyline 2.

Existe una iniciativa de la Universidad Charles Darwin que ha creado un MOOC en el que han incorporado Storyline para el desarrollo de contenidos. Puedes ver este ejemplo aquí.

Accounting MOOC

Comparto aquí algunos ejemplos de demos realizadas en Storyline por Inserver.

Curso gamificado de Liderazgo - Inserver

Curso gamificado de Liderazgo 

Curso sobre la importancia de los datos - Inserver

Curso sobre la importancia de los datos

Ejemplo de entornos de formación

Demo de diferentes pantallas en Storyline

¿Cuál ha sido tu experiencia con Storyline 2? Cuéntanos cómo te ha ido con esta herramienta y si consideras que podemos destacar algo más de ella.