Roberta Muriel / Wille Muriel / Charles Leão.

Núcleo de Estudos sobre Avaliação Institucional (NEAI) do MBA – Administração Acadêmica e Universitária

Atualmente, discute-se a educação do futuro a partir da sociedade do conhecimento e da condição humana nesta sociedade. “A educação do futuro deverá ser o ensino primeiro e universal, centrado na condição humana”. (MORIN 2004, p. 47).

A educação é o principal meio de desenvolvimento do cidadão e da sociedade. Por razão, torna-se fundamental garantir o acesso ao ensino superior, a permanência daqueles que tiveram acesso e a oferta de uma educação de qualidade. A qualidade deve ser vista como um princípio.

Medir a qualidade em educação é, todavia, tarefa complexa, que exige grande esforço para que possa ser considerada válida, na medida em que a educação é um fenômeno social. Portanto, muitas de suas dimensões não são facilmente mensuráveis.

Averiguar qualidade é um dos objetivos do Sistema Nacional de Avaliação da Educação Superior (SINAES), proposto pelo Ministério da Educação (MEC), o qual busca integrar em um único sistema a avaliação de cursos, a avaliação das Instituições de Ensino Superior (IES) e a avaliação dos alunos, o que ocorre por meio do Exame Nacional de Desempenho do Estudante (ENADE).

Percebe-se, porém, nítido distanciamento entre a proposta do SINAES e aquilo que ocorre atualmente nos processos de regulação. Questiona-se: Em que medida os instrumentos de avaliação atualmente utilizados ajudam na implantação adequada dos processos avaliativos realizados nas Instituições de Ensino Superior no Brasil?

Esse distanciamento prejudica a eficácia e a eficiência do SINAES. Eficácia, na medida em que se faz a coisa certa, o que precisa ser feito, cuja busca, entendida como resultado positivo ou como problema solucionado, não deve seguir atalhos incertos ou procedimentos de emergência que mudam o foco da ação para atender às possibilidades, relegando as reais necessidades a segundo plano; e eficiência, na medida em que é o caminho mais inteligente, mais direto, mais econômico, e por isso o melhor caminho possível para alcançar os objetivos. Mas a eficiência não se justifica por si própria, e, assim, a eficácia torna-se um norte para a eficiência; ou seja, alcançar os resultados da melhor maneira possível (OLIVEIRA, 2004). Tomando-se o conceito de eficiência como a utilização dos recursos da melhor maneira possível, não é produtivo pensá-lo sem estabelecer uma conexão direta com a eficácia, pois o empenho dos recursos e sua lógica só se justificam se organizados para alcançar o objetivo - ser eficaz.

A avaliação de instituições e a avaliação de cursos da maneira como ocorrem utilizam-se de instrumentos de avaliação com dimensões, indicadores e critérios. Pela análise destes instrumentos, à luz do conceito de eficiência, é possível chegar a algumas conclusões.

Tomemos como exemplo a Dimensão 1 do Instrumento de Avaliação Institucional Externa: Missão e Plano de Desenvolvimento Institucional, na qual existem dois indicadores de avaliação com a definição de um referencial mínimo para cada um deles:

1. 1. Quando as propostas constantes do PDI estão sendo adequadamente implementadas, com as funções, os órgãos e os sistemas de administração/gestão adequados ao funcionamento dos cursos e das demais ações existentes e à efetiva implantação das ações e dos cursos previstos.

• A implantação das propostas do PDI gera grande eficiência na utilização dos recursos, pois direciona esforços de todos para o cumprimento de objetivos e metas. Trata-se de uma avaliação importante para o conceito de eficiência.

1. 2. Quando os resultados da autoavaliação e das avaliações externas são adequadamente utilizados como subsídios para a revisão permanente do PDI e constata-se a existência de ações acadêmicas e administrativas consequentes aos processos avaliativos.

• A utilização dos resultados da autoavaliação e das avaliações externas na gestão da IES é uma ação que provoca grande eficiência na utilização de dados, informações e recursos institucionais. Trata-se de uma avaliação importante para o conceito de eficiência.

Com base na dimensão do planejamento utilizada como exemplo para esta tem-se que dois indicadores apenas não são suficientes para avaliar com precisão se a IES planeja para atender à eficiência. Outros fatores são igualmente ou mais relevantes para esta análise. Por exemplo: se o planejamento é conhecido pelos colaboradores da IES ou se os objetivos são alcançados.

Da maneira como foi proposta, é possível perceber que dimensão avalia parcialmente o planejamento que ocorre na IES e apura como esta atividade contribui para melhorar a eficiência da gestão. Reconhece-se que há alguma contribuição, mas ainda há muito a se desenvolver em relação aos instrumentos para que possam contribuir de forma mais significativa para a gestão da IES.

Tomemos agora o Instrumento “Avaliação de Curso de Graduação” e a dimensão corpo docente. Utilizam-se para a análise alguns indicadores que apresentam critérios mais objetivos:

1. 1. Titulação do corpo docente do curso

a) Conceito 5: Quando o percentual dos docente do curso com titulação obtida em programas de pós-graduação stricto sensu é superior ou igual a 75%.

• Em que este critério se relaciona com a eficiência na gestão do curso? Essa prerrogativa, que representa um recurso institucional - ou seja, professores com stricto sensu - é importante, em tese, para a aprendizagem dos alunos. Logo, trata-se de um conceito mais aplicável à eficácia, dependendo do projeto pedagógico, mas não à eficiência. O recurso existe ou não, e ter 75%, ou mais, ou menos não implica a utilização deste recurso da melhor maneira.

1. 2. Regime de trabalho do corpo docente do curso

a)    Conceito 5: Quando o percentual do corpo docente previsto / efetivo com regime de trabalho de tempo parcial ou integral é superior ou igual a 80%.

• Partindo do pressuposto de que o curso é eficaz - ou seja, alcança os objetivos de aprendizagem -, tem-se que este indicador apresenta forte correlação com o conceito de eficiência, pois um quadro mais dedicado ao projeto indica um número menor de professores, um esforço institucional mais concentrado, mais focado, mais compartilhado, fatos que geram aumento da eficiência dos recursos.

1. 3. Produção científica, cultural, artística ou tecnológica

a)    Conceito 5: Quando pelo menos 50% dos docentes tem mais de 9 produções nos últimos três anos.

• Aparentemente, este indicador estabelece uma correlação direta apenas com o conceito de eficácia, pois indica objetivamente o número de produções nos últimos três anos. Todavia, há alguma correlação com o conceito de eficiência, na medida em que avaliar os recursos existentes - ou seja, o corpo docente da IES, qual é a sua produção, como estão produzindo e publicando e se são eficazes com os recursos que representam. Essa análise é importante para revelar como os conceitos de eficiência e eficácia surgem de forma integrada. A eficiência indica, de alguma forma, se os recursos são ou não são utilizados da melhor maneira.

Os indicadores analisados anteriormente não foram concebidos para avaliar objetivamente a gestão sob o prisma da eficiência. Somente alguns geram informações neste sentido, enquanto outros se voltam para aspectos não diretamente relacionados à eficiência.

Para compreender exatamente a contribuição da avaliação para a eficiência da gestão das IES de modo geral, torna-se necessário colocar em evidência cada instrumento, dimensão, indicador e critério, e analisá-los sob esta ótica.

Da maneira como foi proposta a avaliação de cursos, percebe-se alguma contribuição para uma gestão eficiente, mas a eficiência não é o foco de análise desta avaliação, e, assim, a contribuição é eventual, podendo ou não ocorrer com base na interpretação dos resultados dos indicadores.

Pode-se, ainda, verificar a relação dos Instrumentos de Avaliação com os princípios que caracterizam a proposta do SINAES:

a) Educação como um direito social e um dever do Estado - Há na dimensão terceira do Instrumento de Avaliação Externa um conjunto de indicadores de responsabilidade social, mas o peso desta dimensão no conceito geral da avaliação não é representativo. De outro lado, o Indicador de Qualidade de cursos, o Conceito Preliminar de Curso (CPC), provoca um ranking das instituições e promove um conceito geral do que é bom e do que não é bom, como uma prestação de contas do Estado regulador e supervisor para a sociedade. O problema ocorre quando os conceitos não apresentam fundamento técnico consolidado, mas são assumidos pela opinião pública como referenciais de qualidade da oferta educacional. Assim, a avaliação acaba não cumprindo bem esta intenção.

b) Valores sociais historicamente determinados - Não há um objetivo sistêmico nem uma concepção geral do papel da educação para o desenvolvimento do País, e isso também não é sugerido ou avaliado pelo sistema com base nos instrumentos que têm sido utilizados. O modelo, a partir do estabelecimento de rankings, incentiva o sentido da concorrência, e não o da colaboração. O que pauta essas ações é a ideia de economia de mercado, da oferta educacional como mercadoria.

c) Regulação e controle - Esta política foi estabelecida pelas diretrizes do SINAES, mas tem sido mal implantada, com pouca articulação com o setor privado, que responde por 75% das matrículas, e com o mercado de trabalho. Não há uma preocupação genuína com a articulação entre Estado, Mercado e Comunidade.

d) Prática social com objetivos educativos - Da forma como é realizada, a avaliação não leva a uma produção de sentidos, mas a restrições de oferta, punições e retaliações públicas. A avaliação fica na fotografia, na constatação de fatos, mas não indica parceria e nem ações de melhoria.

e) Respeito à identidade e à diversidade institucionais em um sistema diversificado - A padronização dos instrumentos de avaliação provoca a busca por padrões comuns na oferta educacional. Assim, a avaliação implantada, além de não considerar a diversidade contribui para que esta não se estabeleça, sem considerar todos os malefícios dessas práticas, em que o critério de determinação das políticas avaliativas se estabelece em função muito mais da capacidade de operação do MEC do que das necessidades de reconhecimento do sistema diverso.

f) Globalidade - Há globalidade, na medida em que os instrumentos de avaliação se articulam e as dimensões criam conceitos globais sobre todo o sistema. Mas o advento do CPC sobrepôs a opinião do aluno às demais posições sobre a qualidade da oferta educacional no ensino superior brasileiro. Assim, quebrou-se o caráter global da avaliação.

g) Legitimidade - Não se observa legitimidade nos atores da avaliação; as propostas de avaliação externa não se sustentam tecnicamente; a maneira como são executadas não promove a valorização da imparcialidade ou da transparência; há grande variabilidade na ação dos avaliadores; e o próprio Ministério da Educação não observa os princípios e os valores propostos pelo sistema. A valorização de momentos na avaliação por parte de seus agentes revela: ocorrência de revanchismos por parte dos alunos; falta de compromisso com o momento da avaliação; e, em alguns casos, até pelas circunstâncias, omissão de dados e informações por parte das IES. Tudo isso enfraquece o sistema quanto à sua legitimidade.

h) Continuidade -  Há clara intenção de continuidade na proposta do SINAES, e a maneira como a avaliação é implantada indica a ideia de continuidade, tanto externa quanto interna. Mas a continuidade não se estabelece completamente sem a consideração dos demais princípios do Sistema. E, assim, sem observá-los, a própria continuidade pode ser muito ruim; ou seja, continuar com aquilo que não tem funcionado bem e dentro dos princípios que foram propostos.

De alguma forma, embora os princípios apontados estejam presentes na proposta do SINAES, da maneira como ela se estabelece os penduricalhos criados para operacionalizá-la a burocratizam e atrapalham significativamente a observância destes princípios em nível razoável.

A implantação de uma avaliação educativa nas Instituições de Ensino Superior com o sentido colaborativo conforme propõe o SINAES poderia trazer para o setor respostas que impulsionariam seu desenvolvimento, aspecto determinante para o crescimento do País.

É importante investir no aprimoramento dos instrumentos de avaliação e da consciência tanto de avaliadores quanto de avaliados sobre a importância e o caráter formativo do processo de avaliação como uma ferramenta fundamental para a gestão das IES.