Os pesquisadores Cristine Pinto e Fernando Domingos apresentaram casos de programas de gestão e educação que não puderam ter seus resultados medidos
Os pesquisadores Cristine Pinto e Fernando Domingos apresentaram casos de programas de gestão e educação que não puderam ter seus resultados medidos
A 28ª Oficina de Impacto Socioambiental do Insper Metricis, realizada no dia 10 de novembro, debateu o tema “Problemas com medição”. Os economistas Fernando Domingos e Cristine Pinto apresentaram dois casos de políticas públicas na área de educação que não puderam ter seus efeitos mensurados por situações não previstas no planejamento.
Pesquisador e pós-doutorando na Universidade de Oxford, no Reino Unido, Domingos apresentou a política que vai “melhor do que o esperado”. Por meio do programa Jovem de Futuro, o Instituto Unibanco transferiu práticas de gestão para as secretarias estaduais de educação. “São práticas conhecidas por serem simples, apesar de empresas e governos não as utilizarem tão bem”, disse Domingos. Foram, então, criados grupos de tratamento, que receberam os conhecimentos, e de controle, que não os receberam.
Conheça o ExpertEAD e tire seu curso do papel
O resultado esperado era que as escolas do grupo de tratamento apresentassem resultados melhores no final do experimento. Foi o que aconteceu. Depois da implementação da política, o desempenho dos alunos melhorou o correspondente a um ano de educação em matemática e língua portuguesa, como se eles cursassem quatro anos de ensino médio em vez de três. Só que o desempenho foi similar nas escolas do grupo de controle.
A conclusão é que nas escolas, como em outras instituições, as pessoas estão conectadas e os grupos se conversam. “Os gestores podem difundir práticas além do grupo de tratamento”, explicou Domingos. “Não é fácil romper esses contatos. Como o gestor da secretaria não vai passar o novo conhecimento também para o grupo de controle? Também os diretores das escolas do grupo de tratamento passam as práticas para outros diretores.” Faz sentido o gestor focar nas escolas que não receberam as práticas de gestão, ainda mais se a escola não for bem aparelhada em bibliotecas e computadores ou não tiver os professores mais capacitados.
Conheça o ExpertEAD e tire seu curso do papel
Domingos observa que não há problema nessa difusão do conhecimento. Mas, sob a perspectiva da política pública, o resultado dificultou a medição dos resultados. Afinal, o que se pretende descobrir é se a implantação de tais práticas funciona ou não, para replicar posteriormente a toda a rede escolar. “A difusão de práticas além do contratado também pode reduzir a importância percebida do parceiro que transfere as práticas”, afirmou Domingos.
Efeito zero
Cristine Pinto, professora associada do Insper e doutora em Economia pela Universidade da Califórnia em Berkeley, nos Estados Unidos, comentou os resultados da implementação do Programa Compasso, pela organização não governamental Vila Educação. Professoras do ensino regular foram treinadas para realizar 22 aulas de aprendizado socioemocional — habilidades que auxiliam no aprendizado, como empatia, controle emocional, reconhecimento de emoções e resolução de problemas.
As escolas dos grupos de tratamento e controle foram sorteadas conforme a localização geográfica e o tamanho, cobrindo toda a cidade do Rio de Janeiro. O projeto foi apresentado em um grande seminário para os diretores das escolas. Durante um ano, foram avaliados os alunos e professores do terceiro e quinto anos do ensino fundamental, embora o material fosse oferecido para todos. “No final do primeiro ano, registramos efeito zero em todas as medidas nos alunos”, disse Cristine. Na média, os professores deram apenas 13 das 22 aulas programadas.
Conheça o ExpertEAD e tire seu curso do papel
O que poderia ter acontecido? Em 2017, os índices de violência cresceram atipicamente na capital fluminense, segundo Cristine. Consequentemente, a frequência dos estudantes às escolas havia sido baixa naquele ano. Além disso, os professores questionaram que as aulas adicionais estavam fora do contexto dos alunos das escolas públicas brasileiras.
Alguns professores não se convenceram a ensinar habilidades socioemocionais em vez dos conteúdos da disciplina, porque ninguém explicou a eles qual era a importância do novo aprendizado. Outros docentes falaram que não gostaram do método do programa e que tinham um método melhor. Para complicar, na época, os professores estavam sobrecarregados devido à mudança das escolas para tempo integral.
Para Cristine, faltou convencer todos os envolvidos da importância do programa e das habilidades socioemocionais no aprendizado das crianças. “Aprendemos que todos têm de estar empenhados no processo de implementação, que o material tem que ser adequado ao contexto dos alunos e que devemos prestar atenção a outros fatores que podem atrapalhar a implementação e a própria avaliação”, afirmou. Assim, escolas de áreas muito violentas tiveram que ser excluídas posteriormente.
Conheça o ExpertEAD e tire seu curso do papel
Intervenção escrita
Em busca de maior esclarecimento sobre o Programa Compasso, em 2018, iniciou-se uma intervenção informacional por meio de mensagens no WhatsApp para os professores em dois grupos. Os do grupo de tratamento recebiam conteúdos completos sobre habilidades socioemocionais; e os de controle, informações genéricas, basicamente números sobre outras escolas.
Depois de dois anos, o efeito do programa continuou nulo na média. “Mas a intervenção informacional foi positiva sobre habilidades socioemocionais, negativa sobre habilidades cognitivas e as mensagens afetaram como os professores pensam nas habilidades e como atuam em sala de aula”, disse Cristine. Entre essas idas e vindas, o Programa Compasso nunca foi implementado na sua totalidade, o que afetou a mensuração do impacto.
Cristine ressaltou a importância de monitorar programas durante a sua execução, com alguém que acompanhasse o quanto cada professor avançava nas aulas de habilidades. “Não fizemos de maneira tão fina, porque custa muito dinheiro também”, afirmou. “E isso é fundamental para avaliação de programas sociais. Se tivéssemos um número no meio do caminho, poderíamos ter descoberto antes do final. Intervenções baratas e fáceis funcionam muito bem. Se em vez do superseminário com os diretores tivéssemos feito a intervenção de mensagens, que nós mesmo escrevemos e enviamos, talvez mudassem os efeitos no primeiro ano.”
Fonte: Insper.edu
