Como a Geekie consegue prever a nota do seu aluno no Enem?

Uma prova capaz de decidir o destino de 8 milhões de jovens, como o Enem (Exame Nacional do Ensino Médio), é necessariamente cercada de sigilo. Cada etapa do seu longo processo de preparação tem mecanismos de segurança dignos de filme de suspense. Como a Geekie consegue, então, prever o desempenho dos alunos no exame? Como você verá a seguir, não é magia, é tecnologia.

Ainda mais complicado do que montar uma prova do Enem é a tentativa de, olhando de fora, replicá-la. As questões (ou itens) da prova não são selecionadas ao acaso, mas a partir de pré-testes feitos com grupos reduzidos de alunos. Com base neles, as questões são colocadas em uma régua que vai de zero a mil pontos, segundo três características (parâmetros): seu poder de separar quem sabe o conteúdo de quem não sabe; seu grau de dificuldade; a possibilidade de o candidato acertar a resposta no chute. Essa régua é a referência que permite comparar exames de anos diferentes.

 O caminho da Geekie para replicar a prova começou pelos microdados do Enem. Divulgados periodicamente pelo Inep, eles agrupam as respostas de cada candidato (sem identificá-lo) a todas as questões do exame. A Geekie criou, então, um programa para fazer uma espécie de logística reversa, um caminho de trás para frente, capaz de identificar as características dos 180 itens de cada edição do Enem – o trabalho começou com os microdados das provas de 2009 a 2011. Foi quase como usar a prova de verdade como um gigantesco pré-teste, respondido por milhões de candidatos.

Estabelecidos os parâmetros de cada questão, a Geekie aplicou os seus próprios pré-testes. Misturou itens do exame oficial com outros elaborados pela sua rede de professores. As questões da prova real serviram como referência para a Geekie montar a sua régua do exame, semelhante à oficial.

 O acesso ao gabarito oficial também permitiu à Geekie trabalhar suas questões próprias no mesmo formato dos itens do Enem. Todos os itens dos exames de 2009 a 2011 foram analisados para definir exatamente a habilidade cobrada por eles. Em cada uma das quatro áreas do Enem podem ser avaliadas até 30 habilidades – que são aplicações práticas do domínio (competência) do candidato em uma determinada área do conhecimento.

Vamos detalhar isto um pouco mais. Na matriz de referência da prova de Ciências da Natureza, por exemplo, estão relacionadas oito competências. A competência de área 2 é “identificar a presença e aplicar as tecnologias associadas às ciências naturais em diferentes contextos”. Como avaliar na prática se o aluno domina essa competência, domina o “fazer” a partir do “saber”? Um das três habilidades incluídas na competência de área 2 é “dimensionar circuitos ou dispositivos elétricos de uso cotidiano”. Todas as questões do Enem têm de obedecer a essa lógica, de avaliar habilidades pré-estabelecidas dentro das competências relacionadas nas matrizes do exame.

 Mapa para melhorar as notas no Enem

 Com base na análise minuciosa dos microdados, então, a Geekie conseguiu descobrir a receita para combinar consistência técnica das questões e o seu peso na pontuação do Enem. Por isso consegue oferecer às escolas ao longo do ano exames que são como um “Enem pré-Enem” para apoiar a preparação dos alunos, apontando deficiências a tempo de serem trabalhadas.

Outro benefício desse trabalho cuidadoso é o fato de que o produto final está em constante aperfeiçoamento. Quanto mais questões entram no acervo, maior a possibilidade de calibrá-las com eficiência na régua da Geekie.

 Espelho do desempenho na prova real

“Temos o retorno das escolas para assegurar que o desempenho dos alunos no Enem é bastante semelhante ao que eles têm nas nossas avaliações”, diz o especialista em avaliação da Geekie Claudio Maroja, que já elaborou itens do exame oficial. “Nossas questões têm a mesma consistência técnica das do Enem e estão na mesma escala. A diferença é que, para nós, a avaliação é um meio (de melhorar a qualidade do ensino), não um fim.”