Schools participate in large-scale assessments without questioning its limits and possibilities for analyzing their reality. Although the importance of such assessments has been recognized for the pursuit of educational quality, this paper questions their use in the context of public policies, problematizing the influence of external factors on the composition of the performance, the utilization of Ideb as the unique measure to represent the quality of institutions and the concept of school effectiveness. Relying on data from the Geres Project, a longitudinal study of the panel type (2005-2008), this paper discusses aspects considered in the analysis of the results of large-scale assessments and their measuring instruments, since these are not always able to reliably represent the work developed by the schools, neither are they neutral or infallible.

/pdf/o-ideb-limites-e-ilusoes-de-uma-politica-educacional-uzntrgb5c3.pdf

O ideb: limites e ilusões de uma política educacional

Resumo: Este artigo pretende analisar o relacionamento entre o Program for International Student Assessment (PISA), desenvolvido pela OCDE e o Indice de Desenvolvimento da Educacao Basica (IDEB), desenvolvido pelo INEP. Os sistemas educativos atuais estao sujeitos a programas de avaliacao estandardizada em nivel nacional e internacional. Esse processo e resultado da implementacao da Nova Gestao Publica (NGP) que no Brasil comeca a ser introduzido a partir dos anos noventa. Nesse contexto os dados estatisticos assumem um papel relevante como instrumento do governo da politica publica. Este texto apresentara de forma sumaria o desenvolvimento historico do PISA e do IDEB, como se relacionam - do ponto de vista estatistico-metodologico e politico - e como essas dinâmicas influenciam a politica educacional do pais.

/pdf/avaliacao-nacional-e-internacional-no-brasil-os-vinculos-2hmgvdto52.pdf

Avaliação Nacional e Internacional no Brasil: os vínculos entre o PISA e o IDEB

Este trabajo analiza la calidad de la educacion basica legitimada por la evaluacion externa y publicada por el Indice de Desarrollo de la Educacion Basica (IDEB). Indice que combina el rendimiento de los estudiantes en la evaluacion y el flujo de la escuela, que culmino con el establecimiento de un parametro objetivo (nota) cuyo objetivo es reflejar la calidad de la educacion brasilena. Los argumentos basados en la premisa de que estos dos elementos son incipientes para determinar la calidad de la educacion en el pais, sin tener en cuenta otros factores que afectan a la calidad, a saber: el nivel socioeconomico y cultural de los estudiantes, la formacion del profesorado, la mejora de ensenanza y de las condiciones tangibles e intangibles de trabajo, la gestion escolar, la infraestructura escolar, los insumos, etc. La reflexion que permita el debate sobre la falta de pruebas para establecer la calidad de la educacion, recorre los caminos de la evaluacion externa en Brasil, de la racionalidad tecnica en gestion escolar referida principalmente por IDEB y su gobernabilidad para alcanzar los objetivos determinados por el indice. Con este ensayo se busca contribuir al debate actual sobre el IDEB como elemento impulsor y movilizador de politicas en las escuelas publicas brasilenas.

/pdf/ideb-como-politica-de-regulacion-estatal-y-legitimacion-de-489s3oyxvh.pdf

IDEB como política de regulación estatal y legitimación de la calidad: en busca de sentido

Este trabajo discute la distribucion de escuelas municipales de Campinas, Sao Paulo - Brasil, segun su localizacion espacial y desempeno escolar, a partir de los datos de las pesquisas: GERES 2005 - LOED / FE / UNICAMP y Vulnerabilidad - NEPO / UNICAMP . Utilizando referenciales teoricos que sustentan los conceptos de Vulnerabilidad Social, Segregacion Espacial, Efecto Hogar y Efecto Escuela, analizamos la distribucion de las escuelas dentro de las diferentes zonas de vulnerabilidad, relacionando esa distribucion a los resultados de su desempeno medido por el \"valor anadido\". La metodologia utilizada se dio en dos ejes: 1) la descripcion de las variables relacionadas a las caracteristicas del entorno de las escuelas; 2) el cruce de las caracteristicas encontradas y el desempeno de esas escuelas. Los resultados revelaron que no hay una recurrencia clara en relacion a la disposicion espacial de las escuelas relacionadas a su desempeno.

/pdf/escuelas-municipales-de-campinas-y-la-vulnerabilidad-2rgdvegr2i.pdf

Escuelas municipales de Campinas y la vulnerabilidad sociodemográfica: primeras aproximaciones

We aimed to relate the characteristics of schools that are associated with the probability of them achieving the objectives of the Indice de Desenvolvimento da Educacao Basica (Ideb) [Elementary Education Development Index] 2013. These objectives are to analyze the association of the Ideb goal with other educational indicators as well as to compare the initial and final years of elementary school. We used the following quantitative methods: descriptive statistics, Item Response Theory and logistic regression (N initial years = 36,236 schools and N final years = 29,095 schools). In the initial years, the variable with the greatest impact on the likelihood of the school achieving the Ideb goal is infrastructure. However, in the final years, the variables with the greatest impact are socioeconomic status and infrastructure. The variables function differently between the initial and final years (e.g. socioeconomic status presents positive impact in the initial years and negative in the final years). Some associations between the Ideb and other educational indicators are different when the issue in question is the goal of the Ideb.

https://dialnet.unirioja.es/descarga/articulo/5764095.pdf

Indicadores educacionais e contexto escolar: uma análise das metas do Ideb

Inserted into the research project funded by the Center of education – Coordination for the Improvement of Higher Level Personnel, “The quality of public school: a longitudinal study for the sustainability of shared responsibility”, and based on the observation that the large-scale assessment currently practiced, a smaller set of goals than those of the training matrix developed in schools is involved. Although the other goals are also important for students’ education, this article brings to discussion the need for an external and more truthful evaluation to the work developed in schools; that, in order to consolidate as such, cannot escape the multidimensionality of the object to be assessed. Therefore, the large-scale assessment processes are discussed, claiming that students’ learning and the quality offered by schools cannot be assessed without constructing a multidimensional evaluation.

http://publicacoes.fcc.org.br/ojs/index.php/eae/article/download/3140/2954

Para uma avaliação de larga escala multidimensional

RESUMO O artigo analisa a experiencia de uma escola publica do estado do Parana, Brasil, no inicio do enfrentamento dos desafios impostos pela pandemia da Covid-19. Examinaram-se os limites e as potencialidades do processo vivido pelos profissionais da escola durante a (re)organizacao de seu trabalho com a suspensao das atividades presenciais, ao mesmo tempo que vivenciavam a reestruturacao das relacoes sociais com as incertezas e os riscos a vida. Desenvolvida como estudo de caso instrumental, a analise permite vislumbrar a potencialidade de reinvencao da escola, estimulada por processos participativos, nao obstante os limites mediantes as condicoes objetivas dos envolvidos e das historicas mazelas dos sistemas educacional e social brasileiros, o que coloca a instituicao trabalhando no limiar do (im)possivel.

(re)organizar o trabalho pedagógico em tempos de covid-19: no limiar do (im)possível

Esta pesquisa e um estudo sobre a eficacia e equidade escolar que tem ganhado atencao especial nos paises que usam as avaliacoes em larga escala a servico da gestao do sistema educativo. No Brasil, que desde a decada de 1990 colocou a avaliacao educacional como recurso central em suas politicas educacionais, mas coletando dados seccionais, que sao muito frageis para essa finalidade. Essa fragilidade decorre da alta associacao que os fatores extraescolares, sobretudo o nivel socioeconomico do aluno, tem sobre as medidas de proficiencia. Diante disso, foram usados dados longitudinais e a analise foi feita por meio de modelos lineares hierarquicos. Esta pesquisa teve como objetivo principal desenvolver um modelo estatistico capaz de identificar tais fatores para a realidade brasileira, considerando que a aprendizagem e um processo complexo, isto e, ela e influenciada simultaneamente por multiplos fatores. Foram desenvolvidos modelos de valor agregado que nao so identificam tais variaveis, como tambem caracterizam sua influencia em alunos com distintas proficiencias no inicio de cada periodo de escolarizacao. A base de dados utilizada nesses modelos foi fornecida pelo Projeto GERES, que, no periodo de 2005 a 2008, coletou dados dos mesmos alunos de 1a a 4a series de uma amostra de 312 escolas em cinco grandes cidades brasileiras. Foram medidas as proficiencias em Leitura e Matematica de 35.538 alunos e coletadas informacoes de contexto desses alunos, seus familiares, professores, diretores e escola. Apos a reducao do grande numero de informacoes disponibilizadas pelo Projeto GERES, feita por meio da Analise Fatorial Exploratoria (AFE), as variaveis resultantes foram reorganizadas em tres arquivos usados para analise em modelos lineares hierarquicos de tres niveis. Os resultados encontrados evidenciam uma significativa instabilidade nos efeitos que as variaveis tem sobre a proficiencia, tanto em leitura quanto em matematica. Ao final da pesquisa, sao encontrados alguns fatores que influenciam positivamente e negativamente a proficiencia em Leitura e Matematica e outros que afetam especificamente cada uma dessas areas, indicando que podem colaborar para o aumento da eficacia e da equidade das escolas. No entanto, constatam-se tambem algumas variaveis que tem comportamentos incoerentes com o esperado e outras com comportamentos opostos nas duas areas. Assim, dos achados das pesquisas, comprova-se que, com base nos dados utilizados, procedimentos metodologicos e modelos estatisticos adotados, os modelos de valor agregado melhoram a confiabilidade das analises em comparacao aos modelos que usam dados seccionais, mas ainda sao inviaveis como ferramentas para a gestao do sistema educativo, sobretudo para o uso meritocratico de seus resultados. Dessa forma, esta pesquisa corrobora os achados de outras realizadas no âmbito internacional e permite afirmar que a qualidade da modelagem estatistica depende da qualidade dos dados que busca modelar, podendo gerar distorcoes, estabelecer relacoes inesperadas ou levar a conclusoes equivocadas. Em contrapartida, trata-se de recursos que podem ser usados no sistema educativo, fornecendo dados importantes para a orientacao das politicas publicas numa perspectiva de avaliacao formativa, com vistas ao melhoramento da qualidade de ensino oferecido pelas escolas e a melhor formacao dos profissionais docentes e nao-docentes que nelas trabalham.
Abstract

Fatores associados à proficiência em leitura e matemática : uma aplicação do modelo linear hierárquico com dados longitudinais do Projeto GERES

Tem como objetivo apresentar a metodologia para a reducao do numero de variaveis, a descricao de cada um dos constructos elaborados e as medidas produzidas durante a Analise Fatorial Exploratoria (AFE). Usou-se a base com dados longitudinais produzidos pelo “Projeto Geres 2005”, que acompanhou uma mesma amostra de alunos durante os quatro primeiros anos do ensino fundamental em cinco cidades brasileiras. Os indices aceitaveis de validade e confiabilidade dos fatores resultantes dos diferentes questionarios de contexto permitem o seu uso em outras pesquisas. O trabalho tambem oferece subsidios metodologicos para futuros estudos longitudinais em painel e constata que os recursos estatisticos, apesar de transmitirem a ideia de precisao, sao, na verdade, ferramentas que orientam as decisoes dos pesquisadores, seja na tolerância usada diante dos diversos valores, seja na decisao conceitual aplicada na definicao dos constructos.

http://emaberto.inep.gov.br/ojs3/index.php/rbep/article/download/3619/3354

Adilson Dalben

Papers

O ideb: limites e ilusões de uma política educacional

Para uma avaliação de larga escala multidimensional

(re)organizar o trabalho pedagógico em tempos de covid-19: no limiar do (im)possível

Fatores associados à proficiência em leitura e matemática : uma aplicação do modelo linear hierárquico com dados longitudinais do Projeto GERES

Capacidade explicativa de questionários de contexto: aspectos metodológicos