Artículo Original

Fracaso Repetido en Exámenes de Reválida: ¿Falta de Conocimiento o Conocimiento Erróneo?

Repeated Failure in Board Exams: Lack of Knowledge or Erroneous Knowledge?

Eduardo Torres-Rodríguez 1*, Carmen M. Rivera-Rivera 2, Kelvin Mariani-Escalante 3, Juan Flores Cintrón 4, & Gabriel Cirino Gerena 5

1 Carlos Albizu University, San Juan, Puerto Rico. https://orcid.org/0000-0002-2947-7211

2 Carlos Albizu University, San Juan, Puerto Rico. https://orcid.org/0000-0002-4073-4223

3 Test Innovations, San Juan, Puerto Rico. https://orcid.org/0000-0002-8884-0092

4 Carlos Albizu University, San Juan, Puerto Rico. https://orcid.org/0000-0002-3821-2362

5 Test Innovations, San Juan, Puerto Rico. https://orcid.org/0000-0002-3456-7107

* Correspondencia: etorres881@sunmail.albizu.edu

Recibido: 9 junio 2020 | Aceptado: 24 junio 2020 | Publicado: 15 julio 2020

WWW.REVISTACARIBENADEPSICOLOGIA.COM

Citar como:

Torres-Rodríguez, E., Rivera-Rivera, C. M., Mariani-Escalante, K., Flores, J., & Cirino, G. (2020). Fracaso repetido en exámenes de reválida: ¿Falta de conocimiento o conocimiento erróneo? Revista Caribeña de Psicología, 4(2), 120-128. https://doi.org/10.37226/rcp.v4i2.4809

RESUMEN

Los exámenes de reválida se utilizan para confirmar que cada profesional posea los conocimientos mínimos necesarios. Son considerados un filtro, donde quienes aprueban son reconocidos por el Estado como profesionales autorizados. Muchos aspirantes fracasan repetidamente, aún repasando. Se presume que esto se debe a falta de suficiente conocimiento de su disciplina. Se ha observado que algunos repiten muchas respuestas erróneas. Esto indica una segunda posibilidad: aprendizaje equivocado. Para evaluar este fenómeno en Puerto Rico examinamos las tendencias de respuestas en dos administraciones de la misma versión de reválida para dos carreras cortas (salud y maquinaria). Utilizamos funciones de análisis estadísticos en Excel (pruebas lógicas y operadores de comparación). Los resultados indican que el tipo de respuesta más frecuente fue cambiar de incorrecto a correcto y la segunda respuesta más frecuente fue cometer el mismo error seleccionando la misma alternativa incorrecta. Esto pudiera explicarse con teoría de aprendizaje de doble lazo de Argyris. Por otro lado, los del campo de la salud mejoraron su puntuación al repetir su examen, pero los de maquinaria obtuvieron puntuaciones más bajas.

Palabras Claves: aprendizaje doble lazo; exámenes de reválida; tendencias de respuestas; repetición de exámenes

ABSTRACT

Board exams are used to confirm that each professional has the minimum necessary knowledge. They are considered a filter where those who approve are recognized by the state as authorized professionals. Many applicants fail repeatedly, even after studying for the exam. Failures are presumed to be due to insufficient knowledge of their discipline. During the review of these tests, it has been observed that some repeat many wrong answers. This indicates a second possibility, wrong learning. To evaluate this phenomenon in Puerto Rico, we examined the response trends in two administrations of the same version of the test for two technical occupations (health and machinery). Excel statistical analysis functions known as logical tests and comparison operators were used. The results indicate that the type of error that prevailed was changing an incorrect alternative to another incorrect alternative. This could be explained by Argyris' double loop learning theory. In addition, applicants from the health field improved their score by repeating their exam, while those from machinery obtained lower scores.

Keywords: board exams; double loop learning; repeated testing; response tendency



INTRODUCCIÓN

Históricamente, muchas de las profesiones y ocupaciones han sido reguladas por el Estado, usualmente a petición de sus miembros. Esta regulación tiene varios antecedentes históricos. Según Young (1987) existen intentos de regular las profesiones desde alrededor del año 1800 a. C. Además, se registra la regulación de los médicos en el reino de Sicilia en el siglo XIII y a mediados del siglo XV alrededor de Europa (Impara, 1995). En Estados Unidos, las primeras regulaciones se efectuaron en las colonias comenzando por Virginia en 1639, Massachusetts en 1649 y Nueva York en 1665 (Impara, 1995).

La Constitución de Puerto Rico establece que todo ciudadano tiene el derecho a dedicarse al tipo de trabajo de su preferencia (Ley N° 82-447, 1952). Sin embargo, los derechos ciudadanos no son absolutos y solamente se pueden ejercer mientras no afecten los derechos de otras personas. Las cortes también han reconocido la facultad del Estado de reglamentar el ejercicio de los derechos para proteger la seguridad, salud y bienestar de la población. El Tribunal Supremo de Puerto Rico ha reconocido la facultad del Estado para reglamentar la práctica de una profesión u ocupación con el fin de evitar el fraude y la incompetencia de aquellos que desean ejercerla. Para implantar dicha reglamentación se crean juntas examinadoras y se les faculta para administrar exámenes de reválida y emitir licencias, entre otras cosas.

Los exámenes de reválida tienen como propósito determinar que las personas que aspiran a que se les autorice a ejercer una profesión u ocupación específica tengan las capacidades mínimas necesarias. Boris (2006) considera que la regulación de las profesiones es el mecanismo que utiliza el Estado para fiscalizar profesionales y garantizar un estándar mínimo en la calidad de los servicios. El propósito del examen es asegurarse que la persona que se autoriza a ejercer una profesión u ocupación está capacitado para realizarla bien. Además de regular la profesión, las licencias les añaden prestigio a las profesiones (Cruz, 2016).

Actualmente en Puerto Rico no se publican con regularidad las tasas de aprobación de los distintos exámenes de reválida. Por tal razón, se hace difícil estudiar los resultados de los exámenes para evaluar el funcionamiento de las juntas examinadoras. El conocer qué por ciento de aspirantes aprueban los exámenes de reválida reviste una importancia personal y social, ya que en la mayoría de los casos el Estado contribuye a la preparación académica de los candidatos. Sin embargo, hay datos aislados que permiten tener un atisbo de ese funcionamiento. Por ejemplo, Gely et al. (2007), examinaron las tasas de aprobación para un grupo de profesiones y opinan que parece haber un aumento en el número de personas que toman exámenes de reválida y también una disminución en el porcentaje de personas que las aprueban.

El fracaso en un examen de reválida puede atribuirse a múltiples factores. Entre estos, variables relacionadas con el estudiante, el centro de estudios y el examen de reválida. Entre los relacionados con el estudiante se puede considerar la motivación (Lozano-Díaz, 2003), la habilidad, el esfuerzo que le dedica a los estudios (Navarro, 2003) y el tiempo y métodos que utiliza para repasar antes del examen. Entre los factores relacionados al centro de estudios están el alineamiento del currículo con el examen de reválida (Sueiro, 2017), los recursos educativos disponibles y la calidad de los profesores (Guzmán, 2011). Finalmente, entre los factores relacionados al examen se consideran la confiabilidad y validez del mismo (Cirino, 1984) y la dificultad de la materia (Brizuela & Montero-Rojas, 2013).

Para aprobar un examen de reválida el aspirante debe haber logrado el nivel de conocimientos y destrezas que exige la junta (Millman, 1989). Por tal razón, a los aspirantes que fracasan se les ofrecen varias oportunidades para repetir el examen y en algunos casos se les exige retomar cursos antes de tomar el examen nuevamente. A pesar de esto, se ha observado que muchas personas fracasan repetidamente en los exámenes de reválidas y que la probabilidad de aprobarlo disminuye con el número de veces que toman el examen (Geving et al., 2005).

Por otro lado, Feinberg et al. (2015) encontraron que gran parte de los examinados que toman un examen repiten un alto por ciento de respuestas incorrectas y que repetir la misma versión no resulta en ventaja sobre otros aspirantes. Concluyeron que no hay diferencias significativas entre los resultados de un examen paralelo y repetir el mimo examen. Generalmente la probabilidad de aprobación en un segundo intento es mayor, pero existen distintas variables que lo puedan explicar. Por otro lado, debido al alto costo de los ítems ($300- $1,000), es razonable la repetición de una misma prueba en una segunda administración (Feinberg et al., 2015; Raymond et al., 2007; Vale, 2006). Por otro lado, Feinberg et al. (2015) exponen que, si los ítems con cuatro alternativas se responden al azar, se esperaría que un cuarto de las respuestas se cambie de incorrecto a correcto, por lo que la puntuación en un examen repetido debe resultar más alto. También, debe ser más alto como resultado de la práctica. Relacionado a esto, Chen y Liu (2016) mencionan que el número de intentos que un examinado tenga en una determinada prueba afecta la tasa de aprobación y a la vez, la precisión del instrumento.

Usualmente se presume que los fracasos en los exámenes se deben a falta de suficiente conocimiento de la disciplina. Sin embargo, observaciones informales realizadas como parte del proceso de revisión de examen al que tienen derecho los aspirantes indican una segunda posibilidad: aprendizaje equivocado. Algunos aspirantes parecen estar convencidos que las respuestas que dan a ciertas preguntas son las correctas, aunque no lo son. Se ha encontrado que la repetición de los mismos errores de respuesta puede ser hasta de 68 por ciento (Feinberg et al., 2015). Para comenzar a dilucidar estas interrogantes en Puerto Rico examinamos las tendencias de respuestas en dos administraciones de la misma versión de la reválida para dos carreras cortas: una en el campo de la salud y la otra en el campo de maquinaria.

Generalmente, hay tres presunciones sobre la conducta de un examinado al responder a preguntas de selección múltiple (Feinberg et al., 2015): 1) si conoce lo que se pregunta, seleccionará la respuesta correcta; 2) si tiene algún conocimiento de lo que se pregunta, lo utilizará para eliminar opciones y seleccionará al azar entre las restantes; 3) si desconoce sobre lo que se pregunta, seleccionará al azar entre las opciones. Nótese que entre las presunciones no figura la posibilidad de que el aspirante posea conocimientos que son incorrectos y seleccione consistentemente una respuesta incorrecta.

Los aspirantes asisten a programas académicos con el propósito de obtener conocimientos ciertos sobre un campo de estudio. Debemos suponer entonces que, los conocimientos que se imparten son ciertos y que si los aspirantes poseen conocimientos erróneos es porque han entendido mal sus lecturas o presentaciones en clase, lo han obtenido al repasar con sus compañeros o que su experiencia personal los ha llevado a conclusiones erróneas o prácticas no recomendables. Esta última posibilidad pudiera ser más frecuente en disciplinas donde el aspirante pudo haber adquirido conocimiento práctico antes de asistir a clases; como es el caso de las profesiones relacionadas con maquinaria.

La adquisición de conocimiento erróneo podría explicarse en base a la teoría del aprendizaje organizacional (Argyris, 1977; Toro, 2002) que establece dos maneras de utilizar el conocimiento obtenido en el pasado con el aprendizaje de lazo sencillo y doble lazo. El aprendizaje de lazo sencillo se refiere al intento repetido de resolver un problema de la misma manera que ha resuelto situaciones similares en el pasado sin cuestionar el método ni replantearse el cuestionamiento del objetivo. La persona espera resolver el problema según lo ha logrado en situaciones anteriores (aprendizaje de lazo sencillo). Por el contrario, el aprendizaje de doble lazo conlleva cambiar el modelo mental del que depende una decisión. Este podría incluir una comprensión más amplia de la situación tomando en cuenta las diferencias entre situaciones y objetivos que se deben lograr.

Aplicando dichas teorías al contexto de nuestra investigación, podemos plantear que durante sus estudios los aspirantes desarrollan con alguna frecuencia ciertos modelos mentales que utilizan en todas las situaciones. Estos modelos llevan a que se responda repetidamente de la misma manera a preguntas o situaciones planteadas. Esto es más probable cuando se ha aprendido por cuenta propia métodos o formas de hacer las cosas que no son los mejores. Debemos postular que un grupo de estos aspirantes consideran que han aprendido correctamente y que dichos conocimientos son acertados, por lo que los utilizan ante nuevas situaciones. También, que hay otro grupo de aspirantes que ha reflexionado sobre sus conocimientos, ha comprendido la necesidad de ajustarlos a la situación y cómo utilizarlos.

En este estudio, el por ciento de veces que el aspirante repite la misma respuesta incorrecta (mismo error) se tomará como evidencia de que este utiliza creencias previas y que posiblemente su aprendizaje ha sido de lazo sencillo. El por ciento de veces que cambie de una respuesta incorrecta a otra incorrecta (error distinto), se tomará como evidencia de que el aspirante está adivinando. El por ciento de veces que cambie de una respuesta incorrecta a la correcta se tomará como evidencia de que el aspirante tuvo un aprendizaje de doble lazo; mientras que el por ciento de veces que cambie de una respuesta correcta a una incorrecta se tomará como evidencia de que había logrado adivinar la respuesta correcta la primera vez. Basado en esto, nos planteamos los siguientes objetivos para este estudio:

1) Evaluar el por ciento de ocurrencia de los siguientes tipos de respuestas: a) mismo error, b) error distinto, c) cambio de correcto a incorrecto, d) cambio de incorrecto a correcto.

2) Identificar si hubo cambio en el promedio de respuestas correctas en la segunda administración.

MÉTODO

Diseño de Investigación

El diseño del estudio se considera como longitudinal, ya que se evaluó la administración de la misma versión de dos exámenes a lo largo del tiempo, aunque, hay que aclarar que la investigación no se determinó a priori de administrar los exámenes. Estuvo basado en un análisis de datos secundarios obtenidos de una base de datos de aspirantes a exámenes de revalidas para carreras cortas. La selección de los datos se hizo por cumplimiento del criterio establecido donde se rescatarían únicamente los datos de examinados que repitieron la misma versión de examen de revalida.

Participantes

Los participantes en este estudio (n = 179) fueron seleccionados por conveniencia, debido a que tomaron en dos ocasiones o más una misma versión del examen correspondiente a su profesión. La muestra de la reválida de salud fue de 115 participantes, de los cuales 95.7 % son féminas (n = 110) y el 4.3% son varones (n = 5). La muestra de la reválida de maquinaria estuvo compuesta de 75 participantes, de los cuales el 97.3 % fueron varones (n = 73) y el 2.7 % féminas (n = 2). La muestra total del estudio (n = 190) estuvo compuesta por las personas que tomaron dos veces los exámenes de reválidas para una carrera corta en el área de salud y el área de maquinaria. En cuanto a la preparación académica de los participantes de salud, el .9 % posee grado vocacional, 3.5% grado técnico, 73.9% grado asociado y el 21.7% bachillerato. Por otro lado, la preparación académica de los participantes de maquinaria presenta un nivel más bajo de educación en general. El 4% solo tiene cuarto año y la convalidación de experiencia, el 93% posee un grado técnico y solo un 2.7% tiene grado asociado.

En esta investigación no se requirió la participación de personas directamente, por lo que no fue necesario la aprobación de un comité del IRB. Para aclarar dicho estándar, el centro donde se realizó la investigación se dedica al desarrollo y análisis de pruebas y a la administración de exámenes de reválida. A la vez, se asesoran a las juntas examinadoras del Gobierno de Puerto Rico en el desarrollo y análisis de los exámenes preparados por dichas juntas. Estos exámenes y los resultados de los mismos son propiedad de cada junta examinadora. Como parte del asesoramiento se realizan los análisis correspondientes para garantizar que las pruebas sean válidas, confiables y que no discriminen contra ningún grupo de personas. Estos análisis no conllevan riesgo alguno para los participantes toda vez que ya han tomado las pruebas exigidas por la junta. Consecuentemente, las juntas retienen los derechos sobre los exámenes y la responsabilidad de protección de los participantes.

Instrumentos

Los instrumentos utilizados en este estudio fueron exámenes de reválidas para carreras cortas que requieren un grado asociado en las áreas técnicas de salud y de maquinaria. El examen para el área de salud se compone de 110 preguntas y posee una confiabilidad de α = .90; mientras que el examen para el área de maquinaria se compone de 120 preguntas y la confiabilidad del examen es de α = .82. La muestra relacionada a salud consistió de 115 participantes, sus medias aritméticas se reportan en un rango de 42.66 hasta 66.50, la mediana desde 41.00 a 69.00 y las desviaciones estándar desde ± 9.17 hasta ± 13.18; el error estándar de media va desde .85 hasta 1.22. Con respecto al área de maquinaria la muestra consistió de 75 participantes, sus medias aritméticas van desde 34.61 hasta 85.39, las medianas desde 32.00 hasta 88.00 y sus desviaciones estándar desde ± 10.83 hasta ± 14.21. El error estándar de media va desde 1.25 hasta 1.64.

Procedimientos Generales

Para atender los objetivos mencionados anteriormente, se examinaron los resultados de dos grupos de candidatos que repitieron la misma versión del examen correspondiente a su profesión. El primer grupo corresponde a una carrera corta en el campo de la salud, mientras que el segundo grupo corresponde a una carrera corta en el campo de maquinarias. Con el propósito de identificar los cambios en las respuestas entre la primera administración del examen y la segunda administración para ambos grupos, se incluyeron los datos en una página de análisis de Microsoft Excel (2013). Este programa permite utilizar varias funciones de análisis estadísticos conocidas como pruebas lógicas y operadores de comparación. Estas funciones permiten comparar el contenido de una celda con el contenido de otra celda en la plantilla de Excel. Esto incluye evaluar una expresión como verdadera o falsa lo que permite comparar resultados en ambas administraciones. Esta función estadística permitió identificar los distintos tipos de respuestas y errores cometidos por los participantes en las reválidas. Luego, se calcularon los porcentajes para cada tipo de error en ambas muestras y en ambos tiempos. También, se llevó a cabo un análisis de prueba t de muestras repetidas para evaluar si hubo diferencias estadísticamente significativas entre las puntuaciones promedios de ambos grupos. Se seleccionó de la base de datos las respuestas de dos grupos de participantes que repitieron la misma versión del examen de reválida. Las respuestas fueron organizadas en una hoja de Excel donde se realizaron varias funciones de análisis estadísticos conocidas como pruebas lógicas y operadores de comparación.

 El análisis de pruebas lógicas que se realizó combina 2 funciones de Excel: “IF” y “AND”.  La función “IF” permite comparar celdas; si ambas celdas son iguales presenta una respuesta de cierto, de lo contrario, presenta una respuesta de falso. La función “AND” permite superar la limitación que tiene la función “IF”, que solo permite evaluar un solo requisito, el de igualdad. Es decir, “AND” permite que se combine más de una operación de comparación por análisis. Para lograr lo requerido para el estudio, se añadió la función “AND” en la función “IF”. Si la evaluación lógica resultó “Cierto”, se considera como el tipo de respuesta correcta; mientras que, si resultó “Falso”, esta representa un tipo de respuesta incorrecta.

Para identificar si existían diferencias estadísticamente significativas en los tipos de respuestas (Primera administración y Segunda administración) de las dos reválidas, se organizaron los datos en una plantilla del programa estadístico IBM SPSS, versión 25. Se realizó un análisis de prueba t para datos correlacionados para evaluar si existen diferencias estadísticamente significativas entre el promedio de respuestas correctas e incorrectas en la primera y segunda administración.

RESULTADOS

A continuación, se presentan los resultados y se relacionan a los dos objetivos del estudio.

Objetivo 1: Evaluar frecuencia en la que ocurren los siguientes tipos de respuestas: a) mismo error, b) error distinto, c) cambio de correcto a incorrecto, d) cambio de incorrecto a correcto.

En la Tabla 1 se puede observar que la respuesta más frecuente en el grupo de salud fue cambiar una respuesta incorrecta por una correcta. El caso del grupo de maquinaria es distinto, ya que el error más frecuente fue cometer el mismo error y un segundo error mas frecuente fue cambiar una respuesta incorrecta por una correcta. Sin embargo, en el grupo de salud la segunda respuesta más frecuente fue seleccionar la misma respuesta errónea, esto es, tanto el grupo de salud como el de mecánica tienden a cometer el mismo error con más frecuencia que un error distinto al responder al examen por segunda vez. Los participantes del área de salud repitieron la misma respuesta incorrecta en un 4.54% de las preguntas, mientras que los participantes del área de maquinaria repitieron la misma respuesta incorrecta en un 12.5 % de las preguntas.

Tabla 1

Comparación de los por cientos de ocurrencia de tipos de respuestas en las reválidas de carreras técnicas de salud y maquinaria

Tipos de respuestas

en el segundo examen

Salud (%)

Maquinaria (%)

Cometió el mismo error

Cometió errores distintos

Cambió de correcto a incorrecto

Cambió de incorrecto a correcto

4.54

2.72

1.81

7.27

12.5

2.50

3.33

5.00

Nota: N Masculino = 75; N Femenino = 115

Los participantes del área de salud cambiaron una respuesta incorrecta por otra igualmente incorrecta (cometieron un error distinto) en un 2.72% de las preguntas del examen. Mientras que los participantes del área de maquinaria cometieron un error distinto en 2.5% de las preguntas de su examen. Este error de cambiar una pregunta correcta por otra incorrecta ocurrió con menos frecuencia en el grupo que tomó el examen del área de Salud, solamente 1.81 % de las preguntas. Sin embargo, el grupo de maquinaria, en promedio, dicho error ocurrió en el 3.33% de las preguntas de su examen. En ambos casos el porciento de preguntas en que se cometió este tipo de error fue pequeño.

Finalmente, se evaluó un tipo de respuesta denominado “Incorrecto/Correcto”, el cual responde a ofrecer una respuesta incorrecta la primera vez y una respuesta correcta en la segunda administración del examen. Este tipo de respuesta es el que sucede con más frecuencia para el grupo que tomó el examen del área de Salud. En promedio, los participantes del área de salud realizaron este tipo de respuesta en 7.27% de las preguntas de su examen. Mientras que los participantes del área de maquinaria, en promedio, realizaron esto para el 5% de las preguntas de su examen.

Objetivo 2: Identificar si hubo cambios en el promedio de respuestas correctas en la segunda administración.

Se compararon los porcentajes de respuestas correctas entre la primera y segunda administración para la muestra de candidatos del área de Salud y Maquinaria (Ver Tabla 2). De esta forma, se auscultó cómo varían los porcentajes promedios de respuestas entre la primera y segunda administración para ambas muestras.

Al observar los cambios en promedios de respuestas correctas (Ver Tabla 2) se encontró que en la reválida de salud los participantes aumentaron un poco su puntuación promedio de la primera a la segunda administración (M= 61.58; M= 66.5).  En la reválida de maquinaria los participantes disminuyeron su puntuación promedio de la primera a la segunda administración (M= 38.96; M= 34.61), lo cual es contrario a lo esperado. Las comparaciones de las medidas muestran que existen diferencias significativas en ambos grupos. Para saber cuán diferentes son, se evaluó el tamaño del efecto con la d de Cohen (d salud= .43 y d maquinaria= .34). Esto indica que en ambos casos el efecto es pequeño.

Tabla 2

Diferencias en las puntuaciones de las administraciones para ambos exámenes de revalida


n

M

SD

t

df

p

d

Salud








1era admi.

115

61.58

9.17

-6.33

114

0.001

.43

2da admi.

115

66.5

13.15


114



Maquinaria





1era admi.

75

38.96

14.22

2.90

74

0.005

.34

2da admi.

75

34.61

10.83


74



Nota: admi. = administración.

DISCUSIÓN

El presente estudio se realizó con el objetivo de verificar la prevalencia de conocimientos erróneos en grupos de aspirantes que toman una reválida. Esta prevalencia se pudo identificar mediante el por ciento de veces que los aspirantes repiten los mismos errores de respuestas. Estudiamos las respuestas de dos grupos de aspirantes que tomaron dos veces la misma versión del examen de reválida, con el propósito de identificar la naturaleza de los cambios en las respuestas. Esta evaluación se hizo para muestras de aspirantes en dos ocupaciones técnicas distintas: reválida relacionada con maquinaria y reválida relacio-nada con salud. Encontramos que, en la reválida relacionada con maquinaria, el tipo de error más frecuente fue repetir una respuesta incorrecta. Este tipo de error se observó más en la reválida relacionada con maquinaria que en la reválida relacionada con salud.

Este resultado concuerda con lo observado por Feinberg et al. (2015), ya que estos investigadores encontraron que al tomar nuevamente un examen muchos de los examinados repiten un alto por ciento de respuestas incorrectas. Estos investigadores concluyen que estos resultados demuestran que repetir la misma versión de un examen no resulta en ventaja para los que tomaron el examen anteriormente. Además, se añade que los examinados que repitieron el examen se desempeñaron mejor en su segundo intento comparado con el primero, sin embargo, estos autores atribuyen el aumento a que los ítems tiene cuatro alternativas y se respondiera al azar. Se esperaría que un cuarto de las respuestas cambie de incorrecto a correcto. Por otro lado, puede haber un efecto de práctica, aún con exámenes paralelos.

Raymond et al. (2007) concluyen que al repetir exámenes de reválidas donde solamente las personas que no lo aprueban vuelven a tomarlo; no se ve un efecto de ventaja en el segundo intento del examinado. Por otro lado, de acuerdo con Chen y Liu (2016), el número de intentos que un examinado tenga en una determinada prueba afecta la tasa de aprobación y a la vez afecta la precisión del instrumento. Al estudiar el cambio en el promedio de respuestas correctas en ambas reválidas se encontró que, para el grupo de Salud aumenta su puntuación en la segunda administración; mientras que, el grupo de Maquinaria la disminuye. La diferencia en puntuaciones para ambos grupos resultó significativa.

Basándonos en la teoría del aprendizaje de doble lazo (Argyris, 1976; 2002), podemos explicar los resultados obtenidos. Esta teoría, comúnmente utilizada para explicar el aprendizaje en las organizaciones, establece que los individuos de una organización pasan por un proceso de aprendizaje por el cual modifican su comportamiento a raíz de la detección y corrección de errores. Este proceso se basa en el cuestionamiento del esquema mental que tienen los individuos, lo que les provoca adaptar su comportamiento en base a la retro-comunicación que obtienen de la situación que enfrentan. El proceso se describe como uno dinámico y de cambio, ya que la persona entra en un proceso de indagación en el que es capaz de cuestionarse y corregir errores fundamentados en una incongruencia entre lo que se le conoce como teorías declaradas y teorías de uso. Estas últimas en nuestro contexto se pueden explicar como la incongruencia entre la definición que puede suponer un concepto teórico en comparación con el significado que se le da desde la práctica.

En el caso de las reválidas, los aspirantes deben modificar sus creencias y la información que creen saber sobre la materia del examen. Aquellos que no cuestionan o modifican la manera en la que estudian para su examen continúan cometiendo errores. De la misma manera, no cuestionan lo que piensan saber sobre su disciplina, esto se refleja mayormente en la muestra del examen del área de maquinaria. Este grupo obtuvo puntuaciones más bajas en la segunda administración (M1= 38.96, SD1= 14.22; M2= 34.61, SD2= 10.83), lo cual indica que no hubo un proceso de reaprendizaje de la materia, sino tal vez, de desaprendizaje. A su vez, este resultado puede indicar que no tenían conocimiento pleno de lo que se les presentaba en el examen y que podrían estar adivinando respuestas en ciertas preguntas. Mientras que el grupo del examen del área de salud mostró puntuaciones más altas en la segunda administración (M1= 61.58, SD1= 9.17; M2= 66.50, SD2= 13.15). Estos resultados podrían ser un reflejo de la teoría del aprendizaje doble lazo y de un proceso de reaprendizaje del material que no sabían.

Por otro lado, los resultados del estudio también podrían ajustarse a un modelo explicativo alterno al de Argyris. Las personas pueden actuar de forma rápida y efectiva en una variedad de situaciones (Friedman & Lipshitz, 1992), debido a que poseen estructuras mentales relativamente permanentes denominadas mapas mentales (Sternberg & Sternberg, 2011). Esto podría justificar porque los aspirantes a la reválida de la salud como a la de maquinaria optaron por cambiar sus respuestas incorrectas a otra alternativa incorrecta, siendo este el error de respuesta más común en el caso del campo de maquinaria y el segundo en el campo de salud. Una forma de explicar estos resultados sería que durante el proceso inicial de aprendizaje estas personas no profundizaron a un nivel de análisis, ya que nunca cuestionaron si la información recibida era correcta.

Sin embargo, se podría entender que no pusieron a prueba su conocimiento y al tomar la reválida cayeron en lo que Argyris (1990, 1997) llama un error de diseño. El error de diseño es la resistencia para corregir o modificar el esquema mental que se tiene sobre algo. Este se desprende de que estos conocimientos se encuentran profundamente arraigados en nuestro sistema de evaluación (esquema mental) lo que evita que sean examinados y reemplazados, permaneciendo en un aprendizaje de lazo sencillo (Argyris, 1997). En última instancia, lo que implica esto para los candidatos de ambas reválidas es que continúan cometiendo el mismo error, a causa de que, no colocan bajo evaluación el esquema mental erróneo del cual confían a plenitud y continúan asumiendo como correcto. En otras palabras, la confianza incuestionable en el esquema mental erróneo de los candidatos se ha convertido en una barrera que impide la transición hacia un aprendizaje de doble lazo (Butler, 2010).

RECOMENDACIONES FINALES

Nuestras recomendaciones para atender este tipo de problemática son las siguientes. Los candidatos a exámenes de reválidas que se encuentran repitiendo sus exámenes deberían optar por estudiar de manera distinta, tomando repasos, estudiar con personas que aprobaron el examen u otras estrategias de estudios. Estas podrían ayudar a desaprender la información incorrecta que han aprendido y a evitar cometer los mismos errores que realizaron en el primer momento en que tomaron la prueba de reválida. Desde la Psicología Industrial y Organizacional, esto muestra un área de oportunidad para insertarnos dentro del proceso de desarrollo de exámenes de reválida para carreras y puestos que sean regulados. Podemos insertarnos en este escenario sirviendo de enlace con las Juntas Examinadoras para que se desarrollen exámenes que evalúen el conocimiento necesario para ejercer estas carreras que son reguladas y a su vez, desarrollando exámenes que cumplen con las propiedades psicométricas aceptables.

Limitaciones

El muestreo de la investigación es una limitación, ya que se hizo basado por conveniencia; donde solo se incluyeron datos de personas que han tomado los exámenes de reválidas más de una vez. Esto puede causar sesgos de muestreo, pues no podríamos obtener una muestra representativa de la población que toma estos exámenes. Otra limitación que enfrentamos fue que no recopilamos información sobre el tiempo y modo de estudio de los aspirantes entre las administraciones de los exámenes.

Financiamiento: La presente investigación no fue financiada por alguna entidad ni patrocinador.

Conflicto de Intereses: No existen conflicto de intereses de parte de los autores de la investigación.

REFERENCIAS

Argyris, C. (1976). Single-loop and double-loop models in research on decision making. Administrative Science Quarterly, 21(3), 363–375. https://doi.org/10.2307/2391848

Argyris, C. (1977). Double loop learning in organizations. Harvard Business Review, 55(5), 115–125. https://hbr.org/1977/09/double-loop-learning-in-organizations

Argyris, C. (1990). Overcoming organizational defenses: Facilitating organizational learning. Allyn and Bacon.

Argyris, C. (1997). Initiating change that perseveres. American Behavioral Scientist, 40(3), 299–309. https://doi.org/10.1177/0002764297040003006

Argyris, C. (2002). Double-loop learning, teaching, and research. Academy of Management Learning & Education, 1(2), 206–218. https://doi.org/10.5465/amle.2002.8509400

Brizuela, A., & Montero-Rojas, E. (2013). Predicción del nivel de dificultad en una prueba estandarizada de comprensión de lectura: aportes desde la psicometría y la psicología cognitiva. RELIEVE. Revista Electrónica de Investigación y Evaluación Educativa, 19(2), 1–23. https://doi.org/10.7203/relieve.19.2.3143

Boris, M. (2006, Septiembre). La regulación de las profesiones de salud. Sus principales determinantes. Presentación realizada durante el XIII curso OPS/OMS-CIESS legislación de salud, México, DF.

Butler, A. C. (2010). Repeated testing produces superior transfer of learning relative to repeated studying. Journal of Experimental Psychology: Learning, Memory, and Cognition, 36(5), 1118–1133. https://doi.org/10.1037/a0019902

Chen, Y., & Liu, C. (2016). A short note on the relationship between pass rate and multiple attempts. Journal of Educational Measurement, 53(4), 431–447. https://doi.org/10.1111/jedm.12124

Cirino, G. (1984). Introducción al desarrollo de pruebas escritas. Editorial Bohío.

Cruz, P. D. R. (2016). Reválida para la profesión de trabajo social en Puerto Rico: aspectos a reflexionar. Análisis, 16(1), 57–66. https://revistas.upr.edu/index.php/analisis

Friedman, V. J., & Lipshitz, R. (1992). Teaching people to shift cognitive gears: Overcoming resistance on the road to Model II. Journal of Applied Behavioral Science, 28(1), 118–136. https://doi.org/10.1177/0021886392281010

Feinberg, R. A., Raymond, M. R. & Haist, S. A. (2015). Repeat testing effects on credentialing exams: Are repeaters misinformed or uninformed? Educational Measurement: Issues and Practice, 34(1), 34–39. https://doi.org/10.1111/emip.12059

Geving, A. M., Webb, S., & Davis, B. (2005). Opportunities for repeat testing: Practice doesn’t always make perfect. Applied HRM Research, 10(2), 47–56. http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.502.1985&rep=rep1&type=pdf

Gobierno de Puerto Rico. (1952, 25 de julio). Ley 82-447: Constitución del Estado Libre Asociado de Puerto Rico. San Juan, PR.

Gely, G. G., Yglesias, L., & Rosado, N. (2007). Análisis de tasas de aprobación para certificaciones profesionales y reválidas en Puerto Rico. Consejo de Educación Superior de Puerto Rico. http://www.agencias.pr.gov/agencias/cepr/inicio/publicaciones/Publicaciones/EstudioAnalisisRevalidasPRGilda%20Gisela%20Gely.pdf

Guzmán, J. C. (2011). La calidad de la enseñanza en educación superior ¿Qué es una buena enseñanza en este nivel educativo? Perfiles Educativos, 33(SPE), 129–141. https://www.redalyc.org/pdf/132/13221258012.pdf

Impara, J. C. (1995). Licensure testing: Purposes, procedures, and practices. Buros Institute of Mental Measurements. https://digitalcommons.unl.edu/buroslicensure/

Lozano-Díaz, A. (2003). Factores personales, familiares y académicos que afectan al fracaso escolar en la Educación Secundaria. Electronic Journal of Research in Educational Psychology, 1(1), 43–66. http://ojs.ual.es/ojs/index.php/EJREP/article/view/1080/0

Millman, J. (1989). If at first you don't succeed setting passing scores when more than one attempt is permitted. Educational Researcher, 18(6), 5–9. https://doi.org/10.3102/0013189X018006005

Navarro, R. E. (2003). Factores asociados al rendimiento académico. Revista Iberoamericana de educación, 33(1), 1–20. https://doi.org/10.35362/rie3312872

Raymond, M. R., Neustel, S., & Anderson, D. (2007). Retest effects on identical and parallel forms in certification and licensure testing. Personnel Psychology, 60(2), 367–396. https://doi.org/10.1111/j.1744-6570.2007.00077.x

Sueiro, K. T. (2017). La alineación en la educación. Un grito de auxilio de las facultades de derecho puertorriqueñas. Kálathos, 9(1), 34–52. http://kalathos.metro.inter.edu/kalathosmag/publications/Kalathos-Vol9-Num1.pdf

Toro, C. A. (2002). Los errores de diseño y el aprendizaje en las organizaciones: Teoría de acción, evidencia empírica y aplicaciones prácticas. Publicaciones Puertorriqueñas.

Young, S. D. (1987). The rule of experts: Occupational licensing in America. Cato Institute.

Vale, C. D. (2006). Computerized item banking. In S. M. Downing & T. M. Haladyna (Eds.), Handbook of test development (pp. 261–285). Lawrence Erlbaum Associates. https://fatihegitim.files.wordpress.com/2014/03/hndb-t-devt.pdf



Obra bajo licencia de Creative Commons Atribución 4.0 Internacional (CC BY 4.0).

© 2020 Autores.