Facultad de Psicología

20020130100320BA Aplicación de Modelos de la Teoría de Respuesta al Ítem a la Construcción de Tests de Ejecución Máxima y Típica.

Email: hattorre@psi.uba.ar

Unidad Ejecutora: FACULTAD DE PSICOLOGÍA
Área Temática: Psicología
Rama: Educacional
Especialidad: Psicometría - Teoría de Respuesta al Item - Test de Ejecución Máxima y Típica-Razonamiento

Resumen en inglés:

APPLICATION OF ITEM RESPONSE THEORY MODELS TO THE CONSTRUCTION OF MAXIMUM AND TYPICAL PERFORMANCE TESTS

This project aims to design and build maximum and typical performance tests, their processing with Item Response Theory (IRT) models ? 1pLM, 2pLM or 3pLM, Nominal and Graded Response, and Partial Credit?, their application to the development of Computerized Adaptive Tests (CAT), and analyses of Differential Item Functioning (DIF). Evaluation of the following kinds of reasoning will be done: Syllogistic, Verbal, Figural Analogic, Probabilistic and Conditional. The test of typical performance are ?Usefulness of Mathematics Perceived by Students of Psychology?, ?Prosocial Behavior? and ?Attitude towards Economics?. A short test of Syllogistic Reasoning will be obtained by means of maximization of both marginal information and reliability provided by the IRT model fits and the profile of students in this type of reasoning will be got. A verbal reasoning CAT will be designed by programming the adaptive algorithm which will determine how to start and finish the test, how to select the best items progressively, and to choose the method for trait level estimation. Different versions of the CAT will be tested according to the way to start and finish by comparing their psychometric properties, and skill levels estimated from the full bank will be correlated with the ones estimated from each version. Figural Analogical Reasoning items will be constructed according to systematic design guidelines, considering one, two and three rules which will calibrate their difficulty. The Alternatives Combination Design (ACD) will be used to generate their options so that a greater number of rules will correspond to a greater level of difficulty. The ACD is expected to serve, in the future, as a model for developing a software for Automatic Item Generation. Conditional reactives will be prepared according to Qhelhas and Birne (2003) factorial design. Nominal Response Model (Bock, 1997) and Graduated Response Model (Samejima, 1997) will be applied to analyze different experimental formats of responses for the test of Usefulness of Mathematics. These will be compared with respect to estimates of item parameters, model fits and test information functions. The latter will serve to determine the best experimental format of the test?s Likert scale. Furthemore, IRT models will be applied to construct an Ad Hoc designed test for measuring Prosocial Behavior, DIF and bias will be studied, and the profile of Psychology students regarding this behavior will be obtained.

Resumen en español:

Este proyecto tiene como objetivo el diseño y construcción de pruebas de ejecución máxima y típica, su procesamiento con modelos de la Teoría de Respuesta al Ítem (TRI) ?ML1P, ML2P o ML3P, Respuesta Nominal, Graduada y Créditos Parciales?, su aplicación a la elaboración de Tests Adaptativos Informatizados (TAI) y análisis del Funcionamiento Diferencial del Ítem (DIF). Se evaluarán los tipos de razonamiento: Silogístico, Verbal, Analógico Figural, Probabilístico
y Condicional. Las pruebas de ejecución típica son: Utilidad Percibida de la Matemática por Estudiantes de Psicología, Conducta Prosocial y Actitud hacia la Economía. Se obtendrá una prueba corta de Razonamiento Silogístico maximizando la información y la confiabilidad marginal provistas por el ajuste de los modelos de la TRI y el perfil de los estudiantes en este tipo de razonamiento. Se diseñará un TAI de razonamiento verbal programando el algoritmo adaptativo que determinará el modo de comenzar y finalizar el test, de seleccionar progresivamente los mejores ítems y elegir el método de estimación del rasgo. Se probarán distintas versiones del TAI según modo de inicio y finalización comparando sus propiedades psicométricas y se correlacionarán los niveles de habilidad estimados a partir del banco completo con los estimados con cada versión. Se construirán ítems de Razonamiento Analógico Figural según pautas sistemáticas de diseño considerando una, dos y tres reglas que calibren su dificultad. Se utilizará el Diseño de Combinación de Alternativas (DCA) para generar sus opciones de modo tal que a mayor cantidad de reglas corresponda mayor dificultad. Se espera que el DCA sirva a futuro como modelo para el planteo de un software, en pos de la Generación Automática de Ítems. Se elaborarán reactivos condicionales según el diseño factorial de Qhelhas y Byrne (2003). Se aplicarán los modelos Respuesta Nominal (Bock,1997) y Respuesta Graduada (Samejima,1997) al análisis de diferentes formatos experimentales de respuesta del Test de Utilidad percibida de la Matemática. Se compararán según las estimaciones de los parámetros de los ítems, el ajuste de los modelos y las funciones de información del test. Se determinará así el formato experimental óptimo para la escala Likert del test. Se aplicarán también los modelos de la TRI a la construcción de un test diseñado ad hoc para la medición de la Conducta Prosocial, se estudiará DIF y Sesgo y se hallará el perfil de estudiantes de Psicología en esta conducta.