José Aparecido Da Silva
Dedico esta coluna ao amigo Rubén Ardila (1942-2025), Professor da Universidade Nacional da Colômbia, um dos melhores cientistas do comportamento que conheci.
De tempos em tempos, a temática da avaliação educacional, e suas consequências, voltam a permear, intensa e extensamente, o cenário educacional brasileiro. Exemplos disso são a Prova Paulista, o ENEM (Ensino Médio) o Saeb, o FUVEST (Exames Vestibulares), o PISA (para crianças e para adultos) e outras tantas que focalizam, essencialmente, o rendimento e o conteúdo escolar aprendidos, bem como, a avaliação da excelência do ensino, que, por sua vez, focaliza a qualidade do que é ensinado. Os resultados destas avaliações têm importantes implicações sociais, econômicas e educacionais para a qualificação do capital humano da nação. No caso dos exames do ensino básico e fundamental, seus principais indicadores revelam que, a maioria dos alunos das 4ª e 8ª séries, ou do 5º e dos 9º anos não consegue desempenhar simples operações matemáticas, nem contextualizar textos curtos e rudimentares. No caso dos exames vestibulares, discute-se se eles devem focar os processos de raciocínio, pensamento abstrato ou capacidade de lidar com a complexidade, ou, apenas, conhecimento adquirido das diferentes disciplinas curriculares, ou seja, discute-se se tais avaliações devem centrar-se na inteligência fluída ou na inteligência cristalizada, respectivamente. No caso da avaliação da excelência do ensino, procura-se analisar o desempenho dos professores em todas as suas facetas, e quais de seus atributos podem ser melhorados para enriquecer o processo de ensino-aprendizagem. Entretanto, independente de qual tipo de avaliação seja empregada, a preocupação é com o valor diagnóstico, e preditivo, de cada uma delas. Adicionalmente, se elas são capazes de aferir habilidades e conhecimentos importantes para vida adulta. Assim considerando, acho importante analisar dois componentes fundamentais do processo de avaliação educacional: (1) o que estamos de fato medindo e (2) quais as dimensões da excelência do ensino que devem ser mensuradas.
Avaliações educacionais envolvem e afetam indivíduos, instituições e sociedades como um todo. Fruto desta importância, avaliadores tentam mensurar, o mais rigorosamente possível, tais desempenhos. Entretanto, alguns desses instrumentos têm se tornado controvertidos pelo fato de muitas pessoas suspeitarem que eles sejam enviesados (vejam, por exemplo, a controvérsia acerca dos testes de inteligência, da progressão continuada e dos exames vestibulares, entre outros). A despeito disso, todas as avaliações devem compartilhar um conjunto de propriedades, ou características, comuns, tais como: devem ser fidedignas, válidas, padronizadas e livres de vieses. E não há, certamente, outro aspecto do campo da psicologia que apresentou tamanho impacto na vida dos indivíduos.
Uma avaliação consiste numa situação experimental e padronizada, que serve de estímulo a um dado comportamento ou constructo, que se pretende capturar. Usualmente, este é pontuado mediante uma comparação estatística com comportamentos similares de outros indivíduos, colocados, estes, na mesma situação. A partir dessa comparação, podem-se classificar, ou ordenar, os indivíduos (ou mesmo uma escola, uma universidade, um centro de pesquisa ou uma unidade de ensino) quantitativa e qualitativamente em função do constructo sendo mensurado. O teste desempenha um tipo de mensuração, mas, diferentemente do que ocorre com as medidas físicas, tais como, comprimento e peso, há, em relação ao mesmo, uma confusão considerável sobre “o quê”, de fato, o teste mede e “quão bem” ele faz isso. Um problema particular reside no fato de que, aquilo que está sendo mensurado não é um objeto físico, e, sim, uma variável/constructo interveniente, ou uma entidade hipotética. Por exemplo, ao aferirmos um teste, para avaliação da qualidade e eficiência do ensino, nós não podemos comparar diretamente o escore de um indivíduo, como o professor avaliado pelo aluno, por exemplo, no teste, com o seu desempenho real ou verdadeiro. Estamos restritos em verificar como os escores dos testes diferenciam professores eficientes dos não-eficientes, em alguma dimensão subjacente ao processo de ensino-aprendizagem. Em outras palavras, de acordo com algumas dimensões, sejam estas, componentes ou fatores que compõem o instrumento de avaliação, sobre como os professores eficientes se comportariam. A avaliação de constructos iguais à qualidade do ensino, eficiência do professor, desempenho acadêmico, inteligência, ou mesmo da liderança, é certamente limitada pela clareza com que somos hábeis em definir o significado particular desses constructos, e isso tem se tornado um problema particular para os instrumentos que visam avaliar as dimensões ou fatores que os compõem. Assim, a rigor, devemos, primeiramente, estabelecer, conhecer e definir com clareza as dimensões subjacentes ao constructo que pretendemos mensurar, ou avaliar. Sem essa condição fundamental, qualquer instrumento se torna ineficaz e não deve ser levado a sério.
É importante ficar claro que este processo de avaliação tem três elementos essenciais. Primeiro, as medições nunca são dos objetos ou pessoas, mas, sim, das propriedades, atributos e características dos objetos, como, por exemplo, altura, largura ou espessura de uma mesa, entre outros, ou das pessoas, como, por exemplo, inteligência, liderança, desempenho acadêmico, dor e autoestima, entre outros. Segundo, as mensurações carregam informações sobre a quantidade das características ou dos atributos possuídos por um objeto ou pessoa. Terceiro, essencialmente, a medida pode ser definida como um processo de codificação, destas características ou atributos de objetos ou pessoas, tais como, traços, estados, atitudes, interesses, valores, habilidades etc., que estão sendo mensurados, ou avaliados, naquele momento. O valor prognóstico, ou diagnóstico, de um instrumento depende do grau com que ele serve como indicador a respeito do comportamento futuro do indivíduo. Trata-se, portanto, de fazer generalizações sobre o comportamento futuro, a partir de resultados empíricos, obtidos numa pequena amostra, tal como se faz em outras ciências. Deve-se notar, entretanto, que os itens de um instrumento não precisam assemelhar-se, estritamente, ao comportamento real, mas, que haja, apenas, uma correspondência empírica entre ambos. Entretanto, qualquer que seja a natureza da medida e suas implicações, preocupam-me por demais três “doenças acadêmicas”, a saber: O aumento das desigualdades escolásticas (regionais e internacionais), a pandemia da ignorância (nunca houve tanto conhecimento e se quis aprender tão pouco) e a ignorância estatística (lamento que ela impera até nos meios acadêmicos e científicos). Não sei, realmente, qual delas me maltrata mais, mas, precisarei conviver com elas.