No dia 24 de agosto de 2009, o Ministério da Educação divulgou a Portaria nº 821/2009, que “Define procedimentos para avaliação de Instituições de Educação Superior e Cursos de Graduação”, oferecendo nova fórmula de cálculo para o Conceito Preliminar de Curso – CPC, novo sentido para o “conceito ENADE” e tratando de outros temas relativos à avaliação.

Nesse documento a avaliação passa a ser praticamente toda voltada para índices simplificados, aparentemente abandonando boa parte do esforço estatístico por trás de índices como o CPC, o Índice Geral de Curso – IGC e o Conceito ENADE.

As regras claras sobre avaliação de Instituições de Ensino que possuem campi fora de sede, a limitação das avaliações do ciclo 2007/2009 aos cursos presenciais e a limitação do número de avaliadores, também apontam no sentido de uma “racionalização” dos processos avaliativos. Nesse sentido, vale lembrar que o art. 7º, da Portaria MEC nº 1027/2006 previa até oito avaliadores e que não havia disposição legal excluindo a avaliação dos campi fora de sede ou dos cursos na modalidade à distância.

Além destas medidas, destaco a integração do cadastro nacional e único de avaliadores (BASis) com o e–MEC, que certamente permitirá, no futuro, verificar eventuais relações de avaliadores com instituições avaliadas.

Mas mesmo diante desta amplitude de temas, entendo que as mais importantes medidas foram aquelas relativas aos índices de avaliação de cursos e das instituições. Por isso, precisamos, analisar separadamente estes temas.

Sobre o Conceito Preliminar de Cursos (art. 4º)

O CPC, utilizado para avaliar os cursos sofreu profunda modificação em relação às variáveis e aos respectivos pesos na fórmula de cálculo. O quadro abaixo descreve estas mudanças:

Num primeiro olhar, duas alterações são evidentes: o peso da variável INSUMOS aumentou em relação ao peso das respostas das provas do ENADE (que determinam, também, o valor do IDD); e na variável “corpo docente” passou a ter peso o percentual de professores mestres.

O aumento do peso da variável INSUMOS, apesar de pequeno, parece ser uma valorosa inovação. Afinal, quanto menos a avaliação depender do desempenho no ENADE mais as Instituições de Ensino terão de preocupar-se com os meios necessários para um bom ensino. Esta modificação afasta um pouco o foco do “resultado” que, no senso comum equivale ao desempenho dos alunos. E, em virtude disso, reduz a possibilidade de criação de “grandes cursinhos” focados e formatados pelo ENADE.

Como tive oportunidade de ouvir de um bom aluno do curso de MBA em gestão educacional: a fórmula anterior do CPC era, de certa forma, perversa, pois permitia que um bom desempenho no ENADE dispensasse outras preocupações. Isso, facilita, dizia ele, a atuação voltada para o mercado e inibe medidas ousadas como currículos diferenciados ou abordagem de novos conteúdos.

O cálculo era simples: como as Instituições de Ensino perseguiam, no mínimo, a nota “3”, numa escala de “5”, os 70% do ENADE já garantiam o desempenho básico  (70% de 5 pontos é igual a 3,5). Por isso, em tese, uma faculdade poderia “treinar nem” seus alunos para responder a prova do ENADE, deixando em segundo plano os regimes de dedicação, a melhoria da infra-estrutura e os recursos didáticos.

Nesse ponto, a alteração promovida pela Portaria MEC nº 821/2009, mesmo sendo tímida, já configura um incentivo maior para a preocupação com os INSUMOS.

Por outro lado, quando observamos a subdivisão da variável INSUMOS, constatamos que os componentes de avaliação dos meios usados para o ensino receberam percentuais em números absolutos, aumentando a qualidade da informação. Porém, estes valores provavelmente não resultam de uma regressão feita com critérios estatísticos, ou seja, não refletem o percentual de importância de cada item na composição de um bom desempenho. A dimensão e os impactos dessa modificação devem ser avaliados pelos profissionais da área de estatística, mas mesmo na visão de um leigo a substituição de índices como 38,20% e 27,10% por índices como 20% e 5% parece carecer de fundamentação técnica.

A boa novidade, com relação aos componentes dos INSUMOS, é a inclusão de percentual relativo aos professores com título de mestre. E outra modificação digna de nota é a redução considerável da importância dos regimes docentes – dedicação parcial e integral –, que pode até ser justa para as faculdades. Todavia, uma análise mais aprofundada dos INSUMOS e do novo CPC somente poderá ser feita quando notas técnicas ou novas portarias esclarecerem o que significa “infra-estrutura” e “questão pedagógica”; indicando como e de onde serão extraídos os dados para quantificar estes parâmetros.

Nesse sentido, observe-se que, ao contrário da situação anterior, não houve uma divulgação de qual seria o item determinante da questão pedagógica e da infra-estrutura (numa nota técnica divulgada em 2008, os recursos didáticos, por exemplo, eram avaliados em função dos planos de ensino e a infra-estrutura ficou vinculada aos equipamentos para aulas práticas). Isso provoca incerteza, pois não é possível saber se a “questão pedagógica” equivale aos “recursos didáticos” da fórmula anterior, ou mesmo saber o que significa, exatamente, “infra-estrutura”. Além disso, também não é possível saber se a quantificação destas variáveis será feita com base nos questionários preenchidos pelos alunos, como era antes, ou se resultará de um cadastro específico, ou do relatório de autoavaliação.

Portanto, para suprir a indefinição e justificar a simplificação ocorrida nos componentes da variável INSUMOS ainda devem surgir novas regras e novos fatos, que provavelmente serão apresentados em nota ou resumo técnico.

Sobre o Índice Geral de Curso (art. 3º)

Em decorrência da modificação nas variáveis que compõem o CPC, os Índices Gerais de Curso, que resultam da média ponderada dos Conceitos Preliminares dos cursos da Instituições de Ensino, serão alterados.

E além de serem modificados quantitativamente, os IGC’s ganham também uma maior amplitude, pois  segundo a Portaria MEC nº 821/2009: O Índice Geral de Curso - IGC, criado pela Portaria Nº 12, de 05 de setembro de 2008, servirá de referência para o processo avaliativo, quando da visita in loco para avaliação institucional externa (art. 3º).

Os novos IGC’s serão a referência para as avaliações externas, passando a ser mais do que um dado importante nas estratégias de marketing e nos processos de supervisão.

Este dispositivo, que segue a direção já apontada pela Portaria MEC nº 12/2008, é uma aplicação às avessas da regra prevista na Lei 10.861/2004 (Lei do SINAES), que afirmava: Os resultados da avaliação referida no caput deste artigo constituirão referencial básico dos processos de regulação e supervisão da educação superior (art. 2º, parágrafo único, grifo nosso). Como podemos constatar, na MEC nº 821/2009, ao contrário do que se prevê na Lei do SINAES é o índice usado para a supervisão que passará a ser utilizado como referencial para a avaliação.

Esta é uma inversão de papeis de duvidosa constitucionalidade, afinal a Lei do SINAES prevê que a avaliação das Instituições de Ensino terá por objetivo identificar o seu perfil e o significado de sua atuação, por meio de suas atividades, cursos, programas, projetos e setores, considerando as diferentes dimensões institucionais (art. 3º). E não consigo imaginar que um índice baseado no resultado de uma prova e nalguns dados frios identifica o “perfil e o significado de atuação” de uma Instituição de Ensino e considera, concretamente, as diferentes dimensões institucionais.

Em resumo, trata-se de uma aplicação equivocada da expressão “referência”, que inverte os termos do art. 2º, parágrafo único, da Lei do SINAES e vincula o complexo processo de avaliação a um indicador que não está previsto nesta lei.

Sobre o Conceito ENADE (art. 5º)

Por fim, reservei um tema não menos importante: A alteração do “conceito ENADE”.

No site do INEP, encontramos uma explicação sobre como se calculava o Conceito ENADE:

Calcula-se o conceito do curso pela média ponderada da nota padronizada dos concluintes no componente específico, da nota padronizada dos ingressantes no componente específico e da nota padronizada em formação geral (concluintes e ingressantes), possuindo estas, respectivamente, os seguintes pesos: 60%, 15% e 25%. Assim, a parte referente ao componente específico contribui com 75% da nota final do curso, enquanto que a parte de formação geral contribui com 25%. O conceito é apresentado em cinco categorias (1 a 5), sendo que 1 é o resultado mais baixo e 5 é o melhor resultado possível, na área (disponível em: http://www.inep.gov.br/superior/enade/perguntas_frequentes.htm. Acesso em 27 de agosto de 2009).

Na Portaria MEC nº 821/2009, essa definição tornou–se extremamente simplificada:

Art. 5º Para o cálculo do conceito do ENADE será considerado apenas o desempenho dos concluintes.

O Conceito ENADE deixa de ser um índice sofisticado e passa e ser algo equivalente ao Provão, uma tabulação do resultado de uma prova. E em decorrência desta simplificação parece estar reiterada reiterando a tendência manifestada no caso dos componentes da variável INSUMO. Ou seja, o Ministério da Educação mais uma vez dispensa os critérios estatísticos e procura usar uma informação fácil e direta.

Esta mudança talvez seja a mais emblemática, pois aparentemente representa um passo a trás. Trata–se do reconhecimento de que o complexo e bem elaborado sistema de avaliação criado em 2004 é inviável, diriam algumas pessoas. No entanto, ainda podemos interpretar esta alteração como uma tentativa de tornar viável o SINAES, com o Governo atuando de forma mais simples, mas não menos interessado numa avaliação multidimensional e democrática.

Um indicativo da manutenção dos preceitos da avaliação multidimensional é que o art. 6º, da Portaria em foco, trata do envio dos relatórios de autoavaliação institucional. Neste caso, a dimensão prática, ou seja, a utilidade que for atribuída a estes relatórios poderá propiciar uma avaliação condizente com a sistema concebido em 2003-2004. Por enquanto, resta esperar o que virá a seguir.

Conclusão

Como podemos constatar, a pequena norma de apenas oito artigos, pode causar grande repercussão nos processos de avaliação dos cursos e das instituições de ensino superior.

Haverá uma simplificação, ou uma “racionalização” como se diz em relação a processos, que pode ser de grande valia para a efetiva implementação de uma avaliação institucional no país. Mas esta simplificação também poderá gerar dados incorretos e, pior, poderá favorecer a criação de um “valor de mercado” baseado apenas em números absolutos e resultados de provas feitas por alunos.

Enfim, são estas as partes da nova Portaria sobre a avaliação que gostaria de destacar nesse momento inicial. Muitas de minhas constatações me despertam uma sincera preocupação, mas entendo que os sistemas regulatórios são sempre abertos e flexíveis permitindo experimentações e ajustes de rumo.