Adriana Bauer

ABSTRACT: This article aims to discuss the relations established between evaluation and curriculum at various moments in the development of the educational evaluation field in Brazil and abroad. It retakes how such relations have been established since the 19th century to argue that the interrelations between evaluation and curriculum have always taken place, despite changes in their characteristics and purposes. It discusses results of studies which show that external and large-scale evaluations have induced curricular and pedagogical practices in Brazilian schools, in different administrative settings, to understand to which extent there are reductionism and curriculum control. These discussions provide a base for pointing out the need to reinsert the debate beyond the discussion of curricular induction, defending the imperative to incorporate the debate on educational ends and objectives, as well as the analysis of the potential of assessments and curricula, to carry out the cons...

te é o segundo livro originário das reflexões apresentadas durante o evento Ciclo de Debates – 25 anos de avaliação de sistemas educacionais no Brasil, realizado pela Fundação Carlos Chagas, em 2012, que contou com um seleto grupo de profissionais com experiência na realização dessas avaliações e/ou com larga trajetória de pesquisa na área, além de estudiosos de áreas afins, para discutir um tema que adquiriu grande centralidade no panorama internacional e no quadro atual da educação no país. Foram realizados três encontros temáticos, em março, agosto e novembro, respectivamente, organizados em blocos com duração de dois dias cada, nos quais foram trabalhados os seguintes temas: Bloco 1 – Origem e pressupostos da avaliação de sistemas 1. Origem e pressupostos da avaliação de sistemas no contexto das políticas educacionais para a educação básica: mudanças de abordagem e significados 2. Aspectos metodológicos e técnicos: delineamentos assumidos nas avaliações, limites e perspectivas de aprimoramento Bloco 2 – Implicações das avaliações de sistema educacional 3. Avaliação como instrumento de gestão das redes (planejamento, políticas de bonificação e incentivos) 4. Tessituras entre avaliação, currículo e formação docente Bloco 3 – Reflexões a partir de estudos e experiências de avaliação 5. Experiências estaduais e municipais em destaque e interface com as políticas de avaliação federais 6. Sistemas de Avaliação Educacional: balanço das pesquisas realizadas As contribuições dos participantes no primeiro bloco foram registradas no livro “Vinte e cinco anos de avaliação de sistemas educacionais no Brasil: origens e pressupostos”, também editado em parceria com a editora Insular. O presente volume registra os textos e reflexões decorrentes do segundo e terceiro blocos. O Bloco 2 contou com a participação de quatro palestrantes, dois comentadores, quatro provocadores e uma plateia composta de especialistas especialmente convidados para o evento. As palestras de Manuel Palácios (UFJF) e Romualdo Portela de Oliveira (FEUSP), foram comentadas por Clarilza Prado de Souza (FCC), enquanto que Alicia Bonamino (PUC-Rio) e Elba Siqueira de Sá Barretto (FCC e FEUSP) tiveram como comentador Jefferson Mainardes ( UEPG). Os debatedores especialmente convidados para o evento foram Aléssio Costa Lima (UVA), Álvaro Moreira Hypólito (UFPel), Lucíola Licínio de C. P. Santos (UFMG) e Nigel Brooke (UFMG). Já no Bloco 3 foram realizadas três palestras nos dois dias de evento, reservando-se o último período para a consolidação das discussões em Grupos de Trabalho. Assim, comentadores, debatedores, palestrantes e o público organizaram-se em grupos para aprofundar a reflexão em torno de alguns temas, previamente definidos pelas coordenadoras do evento. As palestras de Sandra Zákia Sousa (FEUSP) e de Nigel Brooke UFMG) foram comentadas por Flavia Obino Werle (Unisinos) e a de Luiz Carlos de Freitas (Unicamp) recebeu comentários de Bernardete Gatti (FCC). Neste terceiro bloco, a tarefa de fazer provocações sobre o conteúdo das palestras e propiciar o aprofundamento das discussões, levantando questões polêmicas, apontando desacordos e limites com base no que foi exposto e na literatura de referência, ficou sob a responsabilidade de Joaquim José Soares Neto (UnB), Nilma Fontanive (Fundação Cesgranrio), Dalton Andrade (UFSC) e Alicia Bonamino (PUC-Rio). Os trabalhos das mesas foram acompanhados por convidados especialistas que, como ouvintes qualificados, também tiveram oportunidade de externar suas opiniões ou ressaltar preocupações, por escrito ou oralmente, para serem incorporadas ao debate. O objetivo do Ciclo foi produzir uma retrospectiva analítica da experiência brasileira nessa temática e pautar marcos e questões de referência para a produção de conhecimento e formulação de políticas no campo da educação. Buscou-se, ainda, aprofundar o debate acerca dos efeitos dessas avaliações sobre os sistemas educacionais e sobre as tendências de usos de seus resultados nas redes de ensino. O intento foi o de discutir as potencialidades de contribuição dos modelos de avaliação para a efetiva elevação dos padrões educacionais, tendo em vista assegurar o direito de toda a população a uma educação de qualidade. O debate de ideias, contemplando diferentes e divergentes perspectivas sobre o tema, permitiu abordar, de forma franca e aprofundada, os impasses e desafios postos pela política de avaliação de resultados nos sistemas de ensino, evitando os radicalismos fáceis que tendem a demonizar essas práticas ou a defendê-las de modo incondicional. Este é, pois, o segundo volume sobre o Ciclo de Debates “Vinte e cinco anos das avaliações de sistemas educacionais no Brasil”, que sintetiza as valiosas contribuições de pesquisadores, especialistas e gestores públicos que se dispuseram a socializar suas reflexões acerca das avaliações de sistemas educacionais no Brasil. As Organizadoras

Este artigo tem por objetivo mapear os argumentos criticos e favoraveis as avaliacoes em larga escala presentes na literatura nacional e internacional, organizando-os de acordo com duas tematicas recorrentes no debate: o papel das avaliacoes nas reformas educacionais e os possiveis usos de seus resultados. Para isso, foram pesquisadas referencias que tem realizado balancos da adocao das politicas avaliativas nos mais diversos sistemas e redes de ensino. A partir da exposicao das principais possibilidades e limites que vem sendo apontados na literatura consultada, discute-se quais seriam os caminhos possiveis para  sistemas de avaliacao  no contexto brasileiro.

Resumo Este artigo apresenta os resultados iniciais do levantamento bibliografico, fruto de pesquisa em andamento, realizada na Fundacao Carlos Chagas2 , que objetiva analisar a producao academica sobre avaliacao de sistemas educacionais. Ao focalizar o levantamento dos referenciais teorico- -metodologicos que tem sido utilizados nos estudos brasileiros sobre os sistemas de avaliacao da educacao basica, a pesquisa busca contribuir para construir uma visao mais abrangente da configuracao dessa tematica de estudos no Brasil e para completar o inventario sistematico da producao academica sobre o tema, ja iniciado por diversos autores3 . O estudo baseia-se nas teses e dissertacoes produzidas no periodo de 1987 a 2010, pesquisadas no Banco de Teses e Dissertacoes da Capes. Palavras-chave: Avaliacao da Educacao ;Levantamento Bibliografico. Abstract This article presents the initial results of a literature review, product of an ongoing research sponsored by Carlos Chagas Foundation. The re...

RESUMO Este artigo tem como propósito discutir como diversos estudos acadêmicos têm analisado e reportado relações existentes entre avaliação externa e em larga escala e gestão educacional, quer no nível das redes de ensino, quer no interior das escolas. Para isso, analisa-se inicialmente a expansão de iniciativas de avaliação no contexto brasileiro em todos os níveis federados. Em um segundo momento explica-se a pesquisa da qual resultou o presente texto, explicitando-se os critérios utilizados para a seleção dos trabalhos e descrevendo-se características gerais dessa produção. Finalmente, segue-se a análise de aportes dessa produção, ressaltando as temáticas discutidas e as relações entre avaliação e gestão reportadas nos trabalhos de doutorado.

No contexto da política educacional paulista, busca-se relacionar os resultados do Sistema de Avaliação do Rendimento Escolar do Estado de São Paulo (Saresp) ao direcionamento de ações de formação de professores. Este trabalho amplia a análise teórica do texto original, produzido durante o mestrado da autora, que focou a articulação entre o Saresp e os programas de formação contínua da rede estadual. Partindo dos anúncios da relação presente nos documentos oficiais, questiona-se em que medida é pertinente elaborar programas e ações de formação e bonificação de professores, tendo como pressuposto que os resultados dos alunos nas avaliações ilustram as necessidades de formação dos docentes e o trabalho realizado pelos professores. Conclui-se que essa relação não é direta, apesar de ser defendida no âmbito de elaboração de políticas educacionais preocupadas com a gestão racionalizada do sistema educacional, e aponta-se a necessidade de estudos e debates mais aprofundados sobre o binômi...

Este artigo discute as estratégias metodológicas utilizadas para enfrentar o desafio de estabelecer indicadores para compor a avaliação de impacto de um programa de formação de professores em serviço, o Programa Letra e Vida. Este programa foi implementado na rede de ensino do Estado de São Paulo, no período de 2003 a 2006, com o propósito de aprimorar a prática de professores alfabetizadores atuantes nos primeiros anos do Ensino Fundamental. Antecedendo a discussão procedimental, é apresentada, com base em contribuições da literatura, a noção de indicador, seus tipos e propriedades, bem como os aspectos políticos e técnicos – que estão subjacentes à definição de indicadores – que possam subsidiar a avaliação de programas educacionais.

This paper reviews results of a bibliographical survey, which aimed to analyze theBrazilian academic production on external and large-scale assessments from 1988to 2011, discussing them from the social networks analysis methodology. It aims tocontribute to: (1) the understanding of the relationships established by actors whohave been systematically engaged in the discussion of this theme; and (2) to thinkabout the quality of this scientific production. The results point to a dispersion inthe production of knowledge; it also points that several works are produced andevaluated by isolated communities and do not seem to dialogue directly with themore consolidated production on the subject. As a possible consequence of thisisolation, we discuss the tendency of theoretical-methodological weakening and theoverlapping of works on the same aspects and themes, which make it difficult todeepen the discussion and, possibly, the advance in the already existing knowledge.

Este estudo, cujo objeto é o programa de formação continuada Letra e Vida, oferecido pela Secretaria Estadual de Educação de São Paulo a professores alfabetizadores entre 2003 e 2006, avaliou os impactos do Programa nos resultados de desempenho dos alunos de 1ª série em 2007, mensurados pelo Sistema de Avaliação do Rendimento Escolar do Estado de São Paulo e nas concepções e práticas de alfabetização dos professores que dele participaram. Para o desenvolvimento do trabalho, aplicou-se o método misto, no qual se combinaram dados quantitativos e qualitativos. As análises estatísticas do estudo original contemplaram a triangulação dos resultados das análises de regressão linear múltipla, realizadas com base na comparação dos resultados de alunos de escolas com diferentes proporções de professores que participaram do curso, e de estudos baseados em árvores de decisão.

In this interview, Chris Coryn, Director of the Interdisciplinary PhD in Evaluation (IDPE) Program, Professor of Evaluation at Western Michigan University (WMU) and executive editor of the Journal of MultiDisciplinary Evaluation, explains key concepts and characteristics of program evaluation, a dimension of evaluation that is still unexplored in the educational area in Brazil. The researcher comments on some of the current challenges in the field of program evaluation, highlighting methodological tendencies and ethical issues in professional practice. He also discusses knowledge, competences and skills that should be considered in the training of the professional evaluator. Coryn criticizes current evaluative approaches that disconnect program evaluation from values and valuing, which, in his view, are distinctive elements of program evaluation.

Assessment of Educational Systems and Educational Management: theoretical contributions. This paper aims to discuss how different academic studies have analyzed and reported the existing relationships between external large-scale assessment and educational management, both at the level of educational districts as well as at the school level. For this, it initially analyzed the expansion of initiatives for this type of evaluation, in the Brazilian context, at all federated levels. Second, the research from which the present text resulted is explained, and the criteria used for the selection of the studies and the general characteristics of this production are described. Finally, the analysis of the contributions to this production follows, emphasizing the themes discussed and the relations between assessment and management reported in the doctoral studies.

RESUMO: Este artigo tem como objetivo discutir as relações que se estabelecem entre avaliação e currículo em diversos momentos do desenvolvimento do campo da avaliação educacional no Brasil e no exterior. Retoma como tais relações vêm se estabelecendo desde o século XIX, para argumentar que as tessituras entre avaliação e currículo sempre ocorreram, observando-se mudanças em suas características e propósitos. Discute resultados de pesquisas que constatam que as avaliações externas e em larga escala têm induzido práticas curriculares e pedagógicas nas escolas brasileiras, em diversos âmbitos administrativos, a fim de compreender em que medida existe um reducionismo e controle curricular. Tais discussões dão base para apontar a necessidade de se recolocar o debate para além da discussão sobre indução curricular, defendendo o imperativo de incorporar o debate sobre as finalidades e objetivos educacionais, bem como a análise do potencial de avaliações e currículos para efetuar a garanti...

Este artigo é fruto de pesquisa que buscou caracterizar sistemas de avaliação em larga escala desenvolvidos em países da América. Tendo como referência informações obtidas de diversas fontes, analisa tendências de uso dos resultados das avaliações de sistemas educacionais, a partir de seus objetivos declarados. Busca retomar os objetivos das primeiras experiências no campo de avaliação educacional, desde o século 19, e levantar os objetivos anunciados em sistemas atuais, consolidados a partir dos anos de 1990. Como conclusão, destaca a propensão da utilização das avaliações no âmbito de gerenciamento dos sistemas educacionais e prestação de contas. Finalmente, chama a atenção do leitor para algumas críticas que vêm sendo feitas a esses sistemas e seus objetivos.

Este texto procura discutir conceitos associados à noção de valor e à ação de valorar na avaliação de programas, tendo em vista a necessidade de fazer julgamentos acerca da qualidade de uma política, programa, projeto ou ação social que lhe é inerente. Busca-se contribuir para fomentar a discussão a respeito da prática de valoração nas avaliações de programas sociais. Para isso, é feita uma revisão das literaturas estadunidense e brasilei- ra, a fim de identificar como as questões de valoração têm sido propostas teoricamente e explicitadas em pesquisas avaliativas. São examinados, de forma exploratória, relatórios de avaliação e artigos sobre avaliações de programas, com foco na área educacional. Conclui-se, com base na análise bibliográfica realizada, que a discussão sobre a atribuição de valor raramente tem sido feita na literatura nacional de forma explícita, ressaltando-se a necessidade de seu aprimoramento.Palavras-chave: Avaliação de Programas, Critérios de Avaliação, Mérito, ...

Nesta entrevista, Chris Coryn, diretor do Programa de Doutorado Interdisciplinar em Avaliação, professor de Avaliação na Western  Michigan University e editor-executivo do Journal of MultiDisciplinary Evaluation, explica conceitos e características essenci-  ais da avaliação de programas, dimensão da avaliação ainda pouco explorada na área educacional no Brasil. O pesquisador comenta sobre alguns dos desafios atuais do campo da avaliação de programas, destacando tendências metodológicas e questões éticas recor- rentes na prática avaliativa profissional; discute conhecimentos, habilidades e competências que deveriam ser consideradas na formação do avaliador profissional; e critica abordagens avaliativas atuais que desconectam a avaliação de programas da atribuição de valor e da discussão sobre valores e valoração que, a seu ver, são seus elementos distintivos.Palavras-chave: Avaliação de Programas, Desenhos de Pesquisa Avaliativa, Formação do Avaliador, Abordagens Avaliativas. Tenden...

RESUMO Visando a mapear e caracterizar iniciativas relacionadas às avaliações em larga escala em desenvolvimento nos municípios brasileiros, desenvolveu-se uma pesquisa com abrangência nacional. Seus resultados são tratados no presente artigo, que se organiza em quatro seções. Inicialmente, apresenta-se uma síntese dos estudos já produzidos sobre a temática e, em seguida, explicitam-se os procedimentos metodológicos. Na terceira seção são discutidos os resultados obtidos por meio de survey, que abarcam informações obtidas de 4.309 municípios brasileiros. Por fim, são expostas conclusões acerca das concepções presentes nas avaliações propostas pelos municípios, bem como os usos dos resultados que as gestões desses entes federados fazem das diversas avaliações existentes, que evidenciam a consolidação da avaliação em larga escala como instrumento de gestão educacional nas municipalidades.

Resumo O presente artigo discute os aportes do debate acadêmico sobre quatro dimensões relacionadas às políticas docentes no Brasil: atratividade, formação, retenção e avaliação. A partir de revisão de trabalhos que tratam dessas dimensões, muitas vezes isoladamente, objetiva-se destacar os principais problemas a serem equacionados pelas políticas públicas direcionadas aos professores visando à melhoria da qualidade da educação. Para isso, o trabalho divide-se em seis partes: uma introdução, na qual se apresenta a importância da questão docente e os desafios que ela impõe às políticas públicas, e quatro seções, nas quais são analisadas a atratividade, a formação, a retenção e a avaliação de docentes, respectivamente. Ao final sintetizam-se os principais desafios colocados à superação dos problemas destacados.

Resumo As reformas educativas implantadas nas últimas décadas caracterizam-se, entre outros traços, pela utilização de avaliações em larga escala como instrumento de gestão de redes de ensino e de responsabilização de profissionais da educação. Isso tem ocorrido de modo peculiar em cada país e, no Brasil, observa-se a difusão dessas avaliações, por meio de provas padronizadas. Tais avaliações geram na comunidade acadêmica e educacional um debate no qual há posições que vão da contraposição extremada ao reconhecimento da contribuição das avaliações em larga escala e das medidas educacionais como norteadoras de políticas e programas educacionais, incluindo as restrições ao uso que vem sendo feito de seus resultados. Diante dos argumentos favoráveis e contrários, incluindo as dimensões técnicas e políticas, neste trabalho, apresenta-se uma reflexão que reconhece a utilidade dessas avaliações, ainda que questionando alguns de seus usos para a gestão como critério, por exemplo, para a al...

Este texto apresenta os resultados iniciais do levantamento bibliográfico, fruto de pesquisa em andamento, que objetiva analisar a produção acadêmica sobre avaliação de sistemas educacionais. Ao focalizar o levantamento dos referenciais teóricometodológicos que têm sido utilizados nos estudos acadêmicos brasileiros sobre os sistemas de avaliação da educação básica, a pesquisa busca contribuir para construir uma visão mais abrangente da configuração dessa temática de estudos no Brasil e para completar o inventário sistemático da produção acadêmica sobre o tema, já iniciado por diversos autores, que já se propuseram a fazer um levantamento sobre as produções sobre a temática de avaliações de sistema no Brasil. Em tais estudos, porém, há pouca ênfase nos referenciais teóricos que têm alimentado a produção acadêmica brasileira, foco do presente estudo (ver Borges e Calderón (2011), Martins e Sousa (2011) e Barreto e Pinto (2001). O estudo baseia-se nas teses e dissertações produzidas no...

DESCRIPTION The purpose of this paper is to analyze the issue of the use of São Paulo’s assessment results in the management of teachers’ bonuses policies in Brazil. The author will argue that these assessments are being used to further a political agenda, and the assessments do not account for other factors such as school conditions, students’ socio-economic status, and teacher skills and efforts which are others factors involved in the appraisal’s results. This paper will seek to prove that São Paulo’s Management Policies are a misuse of student assessments results, because the correlation between teacher’s work and student’s knowledge is not so evident and direct to be used to determine bonuses and school budgets. To complete that task, the author will divide the paper into three sections. The first section provides a brief historical context of large-scale assessment and the objectives they have in Latin America and specifically in São Paulo/Brazil and discusses the concepts of ...

Abstract This work presents results of a study conducted between 2005 and 2006 entitled The use of the results of the SA RESP Exam: the role of assessment in teacher education policies (Uso dos resultados do SA RESP: o papel da avaliação nas políticas de formação docente), whose purpose was to analyze possibilities and limits of the use of the results obtained by pupils in the SARESP Exam (School Performance Assessment System of the State São Paulo) to formulate and direct teacher education policies. The attention was focused on education programs for teachers of Portuguese Language to pupils in fundamental education. Four out of the thirteen Regional Education Directorships of the State of São Paulo were visited to gain acquaintance with the teacher education programs they developed and to investigate to what extent they could be related to the results achieved in the SARESP exam. The qualitative study adopted as its main strategy the exploratory survey, with the use of semi-struct...

This paper will analyze the issue of the use of São Paulo assessment results in the management of teacher bonus policies and school awards. The author will argue that this assessment is being used to further a political agenda, and the bonus and award policies do not account for other factors such as school conditions, students socioeconomic status, and teacher skills and efforts all of which influence the assessment results. This paper will seek to prove that São Paulo's Management Policies misuse student assessment results because the correlation between teacher work, school efficiency and students knowledge is not so evident and direct as to be used to determine bonuses and school budgets. ASSESSMENT RESULTS – TEACHER BONUS-AWARDS

O presente artigo visa a compartilhar as vicissitudes de uma proposta de avaliação de impacto de um programa educacional, objeto atual de análise da autora. Tal estudo, provisoriamente intitulado “Avaliação de possíveis impactos de programas de formação docente: a experiência do Programa Letra e Vida”, originou-se da preocupação com a escassez de trabalhos que buscassem mensurar impactos de programas educacionais no Brasil. O texto discute o conceito de “avaliação de impacto” e analisa as di$ culdades metodológicas inerentes a esse tipo de avaliação. Traz exemplos dos desa$ os subjacentes à mensuração de impacto em educação que frustraram o projeto inicial de doutoramento da autora e as tentativas realizadas no sentido de superar tais obstáculos. A motivação para a produção do artigo não é, portanto, compartilhar resultados de pesquisa, mas sim propor a discussão das di$ culdades encontradas e dos caminhos metodológicos que podem ser utilizados para o estudo de efeitos de programas,...