Entenda como é feito o desenvolvimento de provas para uma avaliação

Por Camila Karino, diretora de Avaliação da Geekie
Para muitos, preparar uma prova significa apenas selecionar um conjunto de questões de uma determinada área do conhecimento. Para a Geekie, uma prova é muito mais do que isso. Ela é um instrumento de medida cuidadosamente elaborado para aferir um domínio.
Neste sexto artigo do Especial Geekie Avaliação, vamos esclarecer por que devemos tratar a prova como mais do que um conjunto de perguntas. Esperamos que, ao final, você perceba que esse olhar diferenciado dá sustentação para que o processo avaliativo se concretize e permita a tomada de decisões.
Avaliar envolve coletar informações fidedignas a ponto de possibilitar fazer inferências e juízos de valor. Quando precisamos de dados sobre o conhecimento ou outros traços que não podem ser verificados diretamente, é necessário usar um instrumento de medida que revele um conjunto de comportamentos que representam esse traço latente. No caso da avaliação educacional, a prova é esse instrumento de medida.
Nesse sentido, o desenvolvimento dessa prova deve ser cuidadosamente criterioso para nos permitir inferências corretas. Portanto, ao selecionar qualquer conjunto de questões, damos margem para uma amostra errada ou enviesada de comportamentos, o que, consequentemente, culmina em interpretações equivocadas.
Há todo um cientificismo por trás da construção de instrumentos de medidas para avaliação Destacamos aqui alguns aspectos importantes relacionados à construção de uma prova.
Preparando o item
O item é o instrumento fundamental da coleta de dados sobre os domínios do aluno. Para tanto, ele deve atender a critérios de forma e conteúdo.
A forma é importante para garantir a padronização das aplicações, principalmente em avaliações educacionais que buscam monitorar desempenhos entre anos ou ao longo de várias aplicações. Manter um modelo único de formato diminui o número de fatores que podem intervir no desempenho, permitindo assim uma mensuração mais objetiva.
O formato do item utilizado em avaliações como o Saeb e o Enem, e também seguido pela Geekie, foi definido com base em resultados de estudos na área de testagem. Esse formato busca evitar “pegadinhas” ou induzir o aluno ao erro. O objetivo é medir o quanto o aluno sabe, e não o quanto ele é esperto para detectar uma “pegadinha”. Uma boa prova não é a prova mais difícil, que os alunos não conseguem resolver.
A preocupação quanto ao conteúdo busca garantir validade ao instrumento. Os itens devem ser adequados aos alunos que vão respondê-los, tanto em relação ao vocabulário quanto ao nível de habilidade exigida. Muitas vezes, esses conteúdos são previamente definidos em uma Matriz de Referência elaborada por especialistas. Essa matriz busca expressar os consensos coletivos acerca daquilo que é imprescindível e que nenhum estudante deverá deixar de saber até uma determinada etapa de ensino. Durante a preparação dos itens, os professores precisam estar atentos para que cada item aborde predominantemente um conteúdo contemplado na matriz.
Análise psicométrica
Além da análise conceitual e teórica, a validação empírica do item é outro aspecto importante na montagem de provas. É um teste prévio para verificar se o item (ou o instrumento) está funcionando conforme esperado. Essa etapa é comumente denominada de pré-teste.  
A exposição prévia do item a uma amostra de estudantes permite a realização de análises psicométricas. Tais análises fornecem evidências de que o item possui somente um gabarito e de que os distratores (alternativas erradas) não estão muito chamativos, além de informações como o grau de dificuldade e a discriminação do item. Após a análise psicométrica, aqueles itens que possuem bom ajuste ficam disponíveis para uma avaliação.
Montando a prova
Uma vez assegurada a qualidade das unidades (item), o todo (prova) também precisa ser assegurado. Para isso, os critérios de escolha de quais itens devem constituir a prova é crucial para a validade dos resultados.
Características como diversificação de assuntos, gêneros textuais e tamanho dos itens devem ser considerados para possibilitar interpretações pedagógicas ricas, bem como uma boa experiência de prova.
Aspectos estatísticos também interferem na escolha dos itens. Ao construir um instrumento, é importante pensar no grau de dificuldade, na amplitude de proficiência que será coberta, no tempo de prova, na quantidade de itens e no nível de precisão almejado.
O objetivo do artigo é mostrar um pouco da complexidade que está nos bastidores do desenvolvimento de uma prova para uma avaliação. Se considerarmos a importância dos resultados das avaliações para ações pedagógicas e políticas, seria inaceitável que a construção do instrumento de medida fosse ausente de critérios técnicos e científicos.
Veja todos os artigos do Especial:

1. Avaliação externa e o papel na gestão da escola
2. TCT (Teoria Clássica dos Testes) e TRI (Teoria de Resposta ao Item)
3. Avaliação formativa
4. Avaliação somativa
5. Saiba por que é possível tirar mais de mil ponto na prova do Enem
6. Critérios de montagem de prova