Edgar Gastón Jacobs Flores Filho. Consultor Jurídico. Professor da PUCMINAS

Rita de Cássia Ribeiro. Professora da UFMG.

Nesta segunda quinzena de outubro de 2012, o Ministério da Educação apresentou ao público, em geral, e às Instituições de Ensino Superior, em particular, o novo formato do Conceito Preliminar de Curso (CPC). A inovação não foi uma surpresa, pois, com a perspectiva de utilização das notas obtidas no Exame Nacional do Ensino Médio (ENEM) em substituição à nota do ingressante no Exame Nacional de Desempenho dos Estudantes (ENADE), tornou-se necessário mudar a fórmula de cálculo deste indicador de qualidade. Além disso, muitas críticas, grande parte delas construtivas e fundamentadas, vinham sendo feitas aos indicadores de qualidade de cursos e instituições usados desde 2009.

Desde dezembro de 2010, quando modificada a Portaria Normativa 40/2007 do MEC, estava prevista a possibilidade da utilização das notas obtidas no Enem em substituição à nota do ingressante, antes obtida por meio de prova realizada juntamente com os concluintes no âmbito do Enade. Tal modificação visa tornar mais simples a avaliação da Educação Superior, pois reduz bastante o universo de estudantes que devem fazer o Enade para cada curso.

A principal alteração introduzida em 2012 diz respeito à variável Nota dos Ingressantes (NI) e, consequentemente, ao Indicador de Diferença entre os Desempenhos Observado e Esperado (IDD). Este indicador, uma inovação do SINAES em relação ao PROVÃO, busca medir a diferença entre o desempenho esperado do estudante concluinte e seu desempenho real (observado no momento do Enade). De acordo com o manual de 2012, o desempenho médio dos estudantes concluinte dependeria de três fatores: “características de ingresso destes estudantes concluintes em termos de aprendizagem”, “qualidade da formação oferecida pelo curso” e um “termo de erro” relativo a “outros elementos que afetam o desempenho do estudante”. Assim, na prática, o resultado esperado do aluno dependeria não só da qualidade de seu curso – que é objeto de avaliação pelo Governo Federal ?, mas também de um fator de erro que diz respeito ao contexto no qual a avaliação é feita e da qualificação que o aluno, quando ingressante, já possuía ou não. Para medir este último fator, o IDD usava a nota dos ingressantes no Enade e a nova regra prevê o uso da nota do Enem. Assim, o desempenho do aluno será medido a partir do nível de aprendizagem que o grupo de ingressantes da instituição demonstrou ao submeter-se ao Enem.

Esta proposta tem despertado duas objeções: uma no sentido de que o conteúdo do Enem é muito diferente do conteúdo do Enade, que mede, também, conhecimentos específicos da área do curso; e outra que diz respeito ao fato de que o universo de pessoas que participam do Enem ainda é reduzido em relação ao número de alunos que iniciam seus estudos nas Instituições de Ensino Superior.

Com relação ao primeiro argumento, o Governo Federal defende a ideia de que o conceito ENADE dos ingressantes não é uma variável muito precisa, na medida em que alguns dos concluintes “[...] possivelmente, não participaram do Enade quando iniciaram o curso” e este exame não foi “elaborado com metodologia que possibilite comparações entre suas edições devido ao grande volume de áreas avaliadas”. Nesse contexto, seria aceitável calcular o IDD considerando “o desempenho médio dos ingressantes de cada curso no Enem”. Além disso, a adoção desse procedimento apoia-se no estudo denominado “Aumentando a eficácia e a eficiência da avaliação do ensino superior: a relação entre o Enem e o Enade”, cujos autores, Zoghbi, Oliva e Moricone (2010), obtiveram, por meio de simulação, uma correlação de 0,75 entre o IDD calculado com uso das notas do Enem e o IDD calculado anteriormente. Diante disso, concluíram que esse novo procedimento poderia ser viável. Ou seja, além da argumentação sobre a limitação do procedimento anteriormente adotado, testes estatísticos mostraram a viabilidade do uso do Enem para inferir a qualidade dos ingressantes.

Noutro sentido, a explicação parece ser mais frágil em relação ao reduzido número de pessoas que participam do Enem. Neste caso, o problema pode ter sido amenizado pelo uso de um recurso de agrupamento de alunos por meio da Unidade de Observação, que será descrita a seguir. Contudo, no mesmo estudo que serviu de referencia para o uso do ENEM havia uma advertência:

Caso se confirmem os resultados desta análise, da mesma forma que o Ministério da Educação determinou a obrigatoriedade da participação dos alunos no Enade, condicionada à obtenção do diploma, sugerimos que o MEC determine que a realização do Enem se torne obrigatória para qualquer aluno que deseje se matricular em uma instituição de ensino superior, independentemente se essa instituição utiliza o Enem em seu processo seletivo, ou não. Desse modo, a totalidade dos alunos do ensino superior realizaria o Enem, e essa nota serviria como substituta para a nota do Enade dos ingressantes. Assim, conseguiríamos, no longo prazo, utilizar no cálculo do IDD a nota do concluinte, juntamente com sua nota no Enem quando ingressou na IES3, em vez da nota de outros ingressantes (Zoghbi, Oliva e Moricone, 2010, grifamos).

Conforme transcrito em negrito, a sugestão de uso do Enem estava acompanhada da sugestão de tornar obrigatório este exame e de ser considerado no longo prazo. Assim, o estudo em referência parece indicar que a substituição não deveria ser feita maneira abrupta.

Ainda sobre este tema, é importante destacar que o Enade é um exame composto de duas partes: uma relativa à formação geral; e outra relativa à formação específica. Sabe-se, todavia, que o Enem mede o desempenho apenas em relação à formação geral. Esta situação é interessante, porque, em certo sentido, havia um problema de ordem objetiva no Enade, que “media” o desempenho específico de alunos que estavam iniciando seu curso e, a priori, sequer tinham conhecimentos específicos. Tal situação, provavelmente, deve ter sido um dos motivos por que o estudo incluído na tese de doutorado denominada “O uso do Enem e do Enade em um delineamento longitudinal para avaliação da qualidade dos cursos do ensino superior”, de autoria de Daniel Bartholomeu (2011) concluiu que:

[...] o emprego dos escores objetivos do ENEM, principalmente no lugar dos escores médios do ENADE ingressante no componente específico e formação geral, apesar de não alterar a ordenação das instituições, favorece uma melhor interpretação teórica dos resultados do ENADE, além de explicar mais a variabilidade de suas notas e reduzir as diferenças entre as instituições, o que produz uma informação mais aproximada da realidade e com uma compreensão mais depurada do significado dos dados finais do ENADE (Bartholomeu, 2011).

Como saldo dessa breve avaliação podemos dizer que, apesar de ter sido inadequadamente antecipada, a mudança que resultou no uso das notas do Enem pode ser considerada positiva.

Outra mudança decorrente do uso das notas do Enem consistiu no agrupamento de alunos de cursos diferentes de uma mesma instituição de um mesmo município. Isso significa que em alguns casos a avaliação de cada curso será substituída pelo agrupamento de cursos denominado “Unidade de Observação, ou Unidade (i)”, que representa o “conjunto de cursos que compõem uma área de avaliação específica do Enade de uma Instituição de Educação Superior em um município específico”. Para ilustrá-la, basta imaginar o conjunto de todos os cursos de Tecnologia em Alimentos vinculados a uma Instituição de Ensino Superior (mantida) no município de São Paulo.

A substituição dos cursos por Unidades de Observação aparentemente ocorreu para possibilitar o emprego das técnicas de estatística no cálculo do IDD e para padronizar as notas do CPC. Entretanto, terá consequências importantes para as instituições que possuem diversos campi no mesmo município.

No plano jurídico, é interessante observar que tanto a Lei 10.681/2004 (Lei do SINAES) quanto a Portaria Normativa 40/2007 referem-se à avaliação de cursos e, mais, que a concepção do Sinaes tem por princípio “o respeito à identidade e à diversidade de instituições e de cursos”. Na Portaria Normativa, há apenas uma previsão de unificação de resultados de cursos ? para as modalidades a distância e presencial, conforme art. 33-B, §6º ? e na Lei 10.861/2004 inexiste hipótese desta unificação. Na prática, a modificação deixará de lado a identidade dos cursos, pois um curso na periferia de São Paulo ou de Salvador, por exemplo, pode não ter o mesmo perfil de um curso da mesma Instituição em um bairro nobre. Os alunos são diferentes, então as metodologias devem ser diferentes e os resultados de avaliação não deverão ser homogêneos. De outro lado, só o fato de ser feita à margem da lei deixa a bem intencionada modificação técnica sob a mira do Judiciário. Infelizmente, essa forma de modificação, guiada pela técnica estatística e pouco preocupada com a segurança jurídica garantida pela legislação, está se tornando comum. Antes, contestava-se que os indicadores de qualidade não existiam na Lei do Sinaes e que a avaliação in loco não poderia deixar de ser usada. Agora, é difícil dizer que a avaliação de “Unidades de Observação” é exatamente o mesmo que a avaliação de cursos superiores.

Talvez este seja o momento de decidir se manteremos a Lei do Sinaes, aplicando-a de fato, ou se continuaremos a descumpri-la, usando portarias e argumentos matemáticos, sem nos preocuparmos com a segurança jurídica que pretendeu oferecer o legislador de 2004. A nosso ver, critérios que visam “facilitar” análises estatísticas ou, mesmo, reduzir o volume de trabalho dos órgãos públicos nem sempre deveriam prevalecer em face de normas claras e bem elaboradas.

Esses dois primeiros assuntos já demonstram a relevância das alterações promovidas em relação ao Conceito Preliminar de Curso. Com o uso do Enem e o agrupamento de cursos, deve ocorrer modificação no resultado esperado, em face da metodologia de cálculo anterior. A dúvida, agora, é se tais modificações contribuirão, de fato, para uma avaliação melhor dos cursos. Afinal, o Governo Federal parece cada vez mais decidido a deixar de lado as avaliações in loco para usar indicadores construídos, primordialmente, a partir de resultados e repostas de alunos em exames e questionários.

Referências

BARTHOLOMEU, D. O uso do Enem e Enade em um delineamento longitudinal para avaliação da qualidade dos cursos do ensino superior. Tese de Doutorado, Programa de Pós-Graduação Stricto Sensu em Psicologia, Universidade São Francisco, Itatiba. 2011.

ZOGHBI, A. C, P.; OLIVA, B. T.; MORICONI, G. M.. Aumentando a eficácia e a eficiência da avaliação do ensino superior: a relação entre o Enem e o Enade. Estudos em Avaliação Educacional, São Paulo, 2010; 21(45): 45-66, jan./abr. Disponível em: Acesso em: 20 out. 2012.