Durante a pandemia, o ensino remoto intensificou lacunas de aprendizagem nas aprendizagens dos(as) estudantes, apesar de todos os esforos empreendidos pelos(as) docentes e gestores(as), que precisarão ser recuperadas em 2022 e ao longo dos próximos anos. Uma das maneiras de identificar essas defasagens educacionais para permitir intervenções pedagógicas mais assertivas é contar com bons instrumentos de avaliação, preferencialmente aquelas de caráter formativo. 

No 2o Circuito Geekie, que aconteceu no formato online, na quarta-feira, 23 de fevereiro, Claudio Maroja, gerente editorial da Geekie, ministrou a formação “Lacunas de aprendizagem e a retomada dos resultados de proficiência”.

Ele falou sobre a importância do Geekie Teste – avaliação externa da Geekie oferecida às escolas parceiras – como um instrumento capaz de estimar a proficiência dos(as) alunos(as) e servir como um potente instrumento de planejamento dos professores e das professoras.

O encontro teve também a participação de Maria Gracielly, coordenadora do Lab Enem da Escola Sesi, em Patos (PB), que contou como a instituição utiliza o Geekie Teste com os(as) estudantes.

Maroja iniciou a formação explicando que avaliar compreende três aspectos:

Segundo ele, coletar informações não é só pegar a resposta em um gabarito, pois envolve as condições em que se oferece o instrumento [prova] ao aluno, como o ambiente de realização, a compreensão por parte do(a) estudante do objetivo da prova e o tipo de instrumento utilizado.

Ele explicou que o Geekie Teste usa itens fechados (múltipla escolha), que são submetidos a uma série de parâmetros para garantir que a resposta coletada está condizente com o domínio do(a) estudante – por exemplo, que ele(a) não está respondendo aquilo porque “lembrou da questão” ou a viu num exercício ou na apostila e “fixou a resposta na memória”. Se isso acontece, pode haver uma imagem distorcida do domínio. 

Com os resultados em mãos, o passo seguinte é proceder um juízo de valor:

“Se eu não faço isso, o resultado se torna somente uma medida: ‘tal aluno(a) é 500 pontos, a média da turma é 430. E daí?’”, questionou. Para ele, é importante o(a) professor(a) compreender o que isso significa – por exemplo, o que diferencia um(a) aluno(a) que fez 500 pontos de um(a) que fez 450? “Quais domínios o(a) que fez 500 pontos sabe? E o que ele(a) precisa para chegar em 550?”, perguntou. 

O primeiro ponto a considerar na criação do instrumento é a matriz de avaliação. O Geekie Teste segue a matriz atual do SAEB, que deve ser reformulada em 2023 – quando a avaliação diagnóstica da Geekie será adequada às novidades trazidas pelas instituições oficiais.

A matriz de avaliação, por sua vez, tem os seus descritores, que são as habilidades – o “saber fazer”, que permite definir o que se quer investigar em relação ao que os(as) estudantes conseguem realizar. “Na Geekie, nós utilizamos o mesmo referencial teórico do Inep. Entendemos as habilidades como competências, objetos de conhecimento e contexto”, disse Maroja. 

Ele ressaltou que as competências estão ligadas à taxonomia (revisada) de Bloom, que se referem aos verbos identificar, analisar, comparar, explicar, criar etc. Eles orientam a organização da hierarquia de domínios dos(as) estudantes. Os objetos de conhecimentos são os conteúdos propriamente ditos. E o contexto é o que dá a dimensão do grau de dificuldade da questão ou da habilidade.

Maroja lembrou que uma habilidade pode estar em diferentes pontos de uma escala de domínios. “Ela não está restrita a um determinado intervalo, pois pode estar ao longo de todos os domínios de uma prova, desde o nível 200 até o nível 1000, por exemplo. O que vai diferenciar é a construção do item a partir da habilidade, determinando um nível mais fácil, de complexidade média ou de maior complexidade”. 

Na elaboração dos itens, normalmente realizada pelos(as) professores(as), é preciso considerar não só o gabarito, mas também os distratores, que são as opções de respostas erradas, mas que não podem ser absurdas. “Elas levam o(a) aluno(a) que não tem o domínio daquela habilidade a achar que aquela opção é correta”, pontuou.

O Geekie Teste também dá acesso ao percentual de respostas dos distratores, o que constitui uma evidência pedagógica importante para verificar as lacunas de aprendizagem dos(as) estudantes. “Ao analisar o distrator você consegue ter evidências de aprendizagem. A análise do erro é um elemento importante para um entendimento mais profundo.”

Uma vez que as questões são criadas, elas passam por três análises: análise pedagógica, técnica e psicométrica. Na análise pedagógica, é verificado se aquele item está condizente com um determinado público e se a linguagem e o contexto estão adequados. 

A etapa seguinte é a análise técnica, que vai considerar uma série de aspectos, como a extensão do texto, a qualidade das imagens e a adequação do enunciado em relação à habilidade. Também leva em conta se as opções de respostas estão dentro do campo sintático e semântico, se elas não são mutuamente excludentes e se não dão dicas de respostas. 

A análise psicométrica vai verificar se realmente a questão funciona e se está apta para ir para o Geekie Teste. Para isso, é feito um pré-teste. “É uma etapa muito importante, em que montamos um caderno de provas e o aplicamos em nossas escolas parceiras. De alguns itens, não conhecemos a proficiência. Eles foram aprovados tecnicamente, pedagogicamente, mas não sabemos se ele é fácil, médio ou difícil. Por isso, é importante o pré-teste”, destacou Maroja.

Feito o pré-teste, cada caderno de prova precisa ser respondido por pelo menos 1000 alunos, para fazer a estimativa da proficiência dos itens e saber se estão aptos a integrar o banco de questões da Geekie. Há itens que são reprovados e voltam para a linha de produção, para a análise do que deu errado. Mas a grande maioria dos itens é aprovada. “Essa é uma etapa fundamental para ver a qualidade do que estamos oferecendo”, salientou o gerente editorial. 

Leia também: A avaliação sob o olhar de três especialistas

Os itens aprovados no pré-teste passam então a fazer parte do banco de questões da Geekie. Eles são etiquetados segundo seu domínio – não apenas se são fáceis ou difíceis, mas se é um item 250, 500, 800 pontos – e área: Ciências Humanas, Matemática, Ciências da Natureza e Linguagens.

“Na seleção da questão são considerados o conteúdo programático do Geekie One, que oferecemos às escolas, e também olhamos a tendência do Enem nas últimas aplicações. A prova também é pensada para que a gente consiga estimar as diferentes proficiências dos(as) estudantes, das mais baixas até as mais altas. Ela tem que abarcar essa diversidade de domínios dos(as) alunos(as) para que todos(as) avancem.”

É realizado então o processamento da prova, e ela é aplicada nas mais de 400 escolas da base do Geekie One, mais as instituições da rede Sesi. A proficiência dos(as) estudantes é estimada individualmente.

“No Geekie One, por exemplo, acompanhamos os(as) alunos(as) desde o 1º ano do Ensino Médio até o 3º ano, para ver onde esse(a) estudante está avançando e onde precisa de intervenção. O diagnóstico é importante para identificar onde está o problema e trabalhar em paralelo com esse(a) estudante para que ele(a) consiga acompanhar a sala. Ninguém para trás. Todo mundo junto e avançando. O conhecimento é um processo que a gente constrói.”

O passo seguinte é a Escala Interpretada de Proficiência. Ela mostra o domínio dos(as) estudantes por nível. Para isso, a Geekie considera a escala do Enem, que vai de 0 a 1000, e a dividiu-a em quatro níveis, que mostram o que esse(a) aluno(a) sabe e o que ele(a) precisa aprender. O nível 1 vai até 450 pontos (nota de corte do Fíes); o nível 2, de 450 a 600 (nota de corte do Ciências sem Fronteiras); o nível 3, de 600 até 700 (nota de corte de algumas engenharias e cursos de biológicas no Sisu); e o nível 4, a partir de 700. 

Na divulgação dos resultados, ele ressaltou que deve haver todo um cuidado. “Não é falar que Fulano(a) é 450, mas ter uma conversa sobre o resultado, do ponto de vista de onde ele(a) está e como vai ter o apoio da escola para chegar onde deseja. Conversar sobre os resultados é empoderar os(as) estudantes do seu percurso dentro da escola.”

Por fim, Maroja destacou que a personalização do ensino passa muito pelo diagnóstico dos domínios dos(s) alunos(as) e acompanhamento das aprendizagens. “Só conseguimos isso se rastreamos as lacunas. É preciso saber onde aquele grupo está para dar a atividade mais assertiva, se não eu continuo dando minha aula como se nada tivesse acontecido. A escola tem que ter objetivo, ninguém pode ficar para trás.”

Um exemplo do uso do Geekie Teste para elevar a proficiência dos(as) estudantes é o Projeto Lab Enem, desenvolvido desde 2020 pela unidade de Patos (PB) da rede Sesi. A partir dos resultados obtidos na avaliação, realizada no final do ano anterior, os(a) alunos(as) do 3º ano do Ensino Médio são divididos(as) em dois grupos para participarem de oficinas de Matemática, Ciências Naturais, Ciências Humanas, Linguagens e Redação. Elas acontecem diariamente, no contraturno escolar, somando dez horas semanais.

Para monitorar se os(as) estudantes estão conseguindo superar as defasagens e melhorar a proficiência, são feitos simulados mensais, que permitem que os(as) alunos(as) mudem de turma. Esses simulados, preparados pelos(as) próprios(as) professores(as) do Lab Enem, possibilitam ajustes nas rotas para poderem avançar e o redirecionamento do planejamento docente. A ideia, de acordo com a coordenadora, é realizar um Geekie Teste em abril e outro em outubro, para comparar com os resultados de 2021 e com os simulados aplicados.

“Os bons resultados que estamos alcançando mostram que o Lab Enem está surtindo efeito. Hoje, ele está se tornando a menina dos olhos da Escola Sesi Paraíba. Os(as) professores(as) abraçaram o projeto e estão querendo adentrar nesse espaço. Começamos a trabalhar com os(as) docentes desde o 1º ano do Ensino Médio, para conhecerem a estrutura do Geekie Teste e a análise dos resultados. E, devido à boa repercussão, estamos oferecendo o laboratório de forma opcional para os(as) estudantes do 2º ano. As famílias também compreenderam a importância da iniciativa e estão apoiando o projeto’, concluiu Maria Gracielly.

Você que se inscreveu no Circuito Geekie e assistiu a essa palestra ao vivo, já deve ter recebido nossos materiais adicionais por e-mail, certo? Agora, se você fez a inscrição depois e acabou perdendo esse conteúdo, não se preocupe. Aqui estão todas as leituras adicionais que recomendamos para aprofundar seus estudos sobre o tema:

Quer receber a apresentação usada pelo Claudio Maroja no Circuito Geekie e realizar a pesquisa para receber o certificado dessa palestra? Basta se inscrever no Circuito Geekie e você receberá o link dessa e das demais programações que já passaram por aqui. Basta clicar no banner abaixo para fazer a inscrição e tudo será enviado para seu e-mail: