Please use this identifier to cite or link to this item:
http://repositorio.ufc.br/handle/riufc/48275| Type: | Tese |
| Title: | Análise comparativa do Exame Nacional do Ensino Médio (Enem) via Teoria Clássica dos Testes e Teoria de Resposta ao Item |
| Authors: | Sousa, Leandro Araujo de |
| Advisor: | Braga, Adriana Eufrásio |
| Keywords: | Avaliação em larga escala;Psicometria clássica;Modelo de traço latente |
| Issue Date: | 2019 |
| Citation: | SOUSA, Leandro Araujo de. Análise comparativa do Exame Nacional do Ensino Médio (Enem) via Teoria Clássica dos Testes e Teoria de Resposta ao Item. 2019. 105f. - Tese (Doutorado) - Universidade Federal do Ceará, Programa de Pós-graduação em Educação, Fortaleza(CE), 2019. |
| Abstract in Brazilian Portuguese: | As avaliações educacionais em larga escala, entre elas o Exame Nacional do Ensino Médio (Enem), são importantes medidas de desempenho escolar realizadas atualmente no Brasil. Por muito tempo a Teoria Clássica dos Testes (TCT) foi dominantemente utilizada. Nesse contexto, o Enem desde a sua criação, em 1998, até 2008 utilizou-se desse paradigma de análise. No entanto, a partir da década de 1990 parte dos procedimentos da TCT têm sido substituídos pela Teoria de Resposta ao Item (TRI). Dessa forma, em 2009 esse exame passou a utilizar a TRI. Com isso, questionamos se há diferenças nas medidas a partir da TCT e TRI, portanto, se há comparabilidade entre os parâmetros dos itens e escores dos participantes. Dessa forma, esta pesquisa teve o objetivo de avaliar os resultados do Enem de 2017 a partir da TCT e TRI. Trata-se de uma pesquisa de abordagem quantitativa e com objetivo exploratório. Participaram da pesquisa uma amostra de 10.000 participantes selecionados por amostragem aleatória simples. A análise da dimensionalidade das provas do exame foi realizada com o teste de Análise Paralela e Análise Fatorial de Informação Plena. Posteriormente, foram estimados os parâmetros dos itens e dos participantes do exame a partir da TCT e TRI (1, 2 e 3 parâmetros) e comparados a partir do coeficiente de correlação de Pearson (r) e regressão linear simples. Para todas as análises foram utilizados pacotes estatísticos do Software R. Os resultados encontrados a partir da Análise Paralela indicaram evidências de haver uma dimensão dominante em cada prova do exame. A Análise Fatorial de Informação Plena indicou que a maioria dos itens apresentaram cargas fatoriais elevadas em um único fator. Mas alguns itens apresentaram cargas fatoriais baixas (<0,30). Após o ajuste de um modelo unidimensional e estimação dos parâmetros dos itens e dos participantes pela TCT e TRI, encontrou-se forte correlação entre os parâmetros de dificuldade e discriminação dos itens pela TCT e modelos de TRI de 1 e 2 parâmetros. Os valores de correlação decrescem com o modelo de 3 parâmetros. O mesmo ocorre na comparação entre os escores dos participantes. Em ambos os casos o modelo de regressão simples ajustado foi significativo. Conclui-se que há alta comparabilidade entre os parâmetros dos itens e escores dos participantes pela TCT e modelos de TRI. Entretanto, a comparabilidade torna-se mais frágil com o modelo de TRI de 3 parâmetros. Assim, questiona-se a necessidade do modelo de TRI para as finalidades desta avaliação. |
| Abstract: | Large-scale educational assessments, including the National Exam of Upper Secondary Education (Enem), are important measures of school performance in Brazil today. For a long time the Classical Test Theory (CTT) has been predominantly used. In this context, Enem since its creation in 1998 until 2008 has used this analysis paradigm. However, since the 1990s, part of the CTT procedures have been replaced by Item Response Theory (IRT). Thus, in 2009 this exam started to use the IRT. Thus, we question whether there are differences in measurements from CTT and IRT, therefore, whether there is comparability between item parameters and participants' scores. Thus, this research aimed to evaluate the results of the 2017 Enem from CTT and IRT. It is a research with quantitative approach and exploratory objective. A sample of 10.000 participants selected by simple random sampling participated in the research. The analysis of the exams dimensionality was performed with the Parallel Analysis and Full Information Factor Analysis test. Subsequently, the parameters of the exam items and participants were estimated from CTT and IRT (1, 2 and 3 parameters) and compared using Pearson's correlation coefficient (r) and simple linear regression. Software R statistical packages were used for all analyzes. The results from the Parallel Analysis indicated evidence of a dominant dimension in each exam. Full Information Factor Analysis indicated that most items had high factor loadings in a single factor. But some items had low factor loadings (<0.30). After adjusting a one-dimensional model and estimating item and participant parameters by CTT and IRT, a strong correlation was found between the difficulty and item discrimination parameters by CTT and 1 and 2-parameter IRT models. Correlation values decrease with the 3-parameter model. The same occurs when comparing the participants' scores. In both cases the adjusted simple regression model was significant. It is concluded that there is high comparability between the parameters of the items and the participants' scores by CTT and IRT models. However, comparability becomes weaker with the 3-parameter IRT model. Thus, the need for the IRT model for the purposes of this evaluation is questioned. |
| URI: | http://www.repositorio.ufc.br/handle/riufc/48275 |
| Appears in Collections: | PPGEB - Teses defendidas na UFC |
Files in This Item:
| File | Description | Size | Format | |
|---|---|---|---|---|
| 2019_tese_lasousa.pdf | 2,56 MB | Adobe PDF | View/Open |
Items in DSpace are protected by copyright, with all rights reserved, unless otherwise indicated.