Concepções Gerais sobre Monitoramento e Avaliação

Educação e Pedagogia

16/04/2013

Os processos de monitoramento e avaliação são recentes na história dos planos, programas e projetos sociais. De acordo com Buvinich (1999), é a partir da década de [19]50 no contexto das Nações Unidas que esses processos se consolidam na conjuntura do desenvolvimento.

Desde então, tem havido uma evolução lenta e descontínua. Inicialmente, os esforços de avaliação no sistema das Nações Unidas eram limitados no conceito e escopo, restringindo-se mais à alocação e entrega de insumos e à obtenção de produtos do que com os possíveis efeitos e impactos dos projetos de desenvolvimento sobre a população beneficiada (BUVINICH, 1999, p. 5).

Assim, se desenvolveram algumas propostas para o monitoramento e a avaliação das intervenções governamentais, mas com o foco nos resultados quantitativos e o desprezo, em alguns momentos, dos aspectos mais subjetivos que influenciam na contextualização de resultados.

Ainda de acordo com Buvinich (1999, p. 5):

Frequentemente, o conceito e as funções da avaliação são confundidos com as de monitoramento e não existe um consenso quanto ao uso e significado de uma série de termos, tais como, impacto, efeito, produtos, atividades, resultados, metas, sustentabilidade, entre outros. Ao mesmo tempo, os termos monitoramento e avaliação (M&A) são usados numa variedade de contextos, o que confunde e dificulta o desenho de sistemas de informação para M&A de programas e projetos sociais (grifos do autor).

Por esses e outros motivos, a utilização desses processos no contexto das políticas públicas e do terceiro setor vem sendo disseminada com mais frequência na contemporaneidade, principalmente pelas exigências que são postas para a concessão de financiamento de planos, programas e projetos.

No caso particular do Brasil, a análise de indicadores para a definição de padrões de qualidade e parâmetros de custos, desempenho, coberturas e avaliação da qualidade de atendimento de serviços, eficiência, eficácia e efetividade das políticas sociais são uma prática incipiente. A maior parte da experiência de avaliação tem sido dirigida para projetos de investimento nos setores produtivos, onde os benefícios, na maioria das vezes tangíveis, podem ser mais facilmente quantificados, e onde o mercado atua como mecanismo penalizador de ineficiência na alocação dos recursos e ineficácia na obtenção dos resultados (BUVINICH, 1999, p. 5).

Nas políticas públicas (governamentais) essas propostas também se tornaram necessárias para que os resultados obtidos pudessem “ofertar respostas” mais completas sobre determinadas intervenções e seus impactos na sociedade.

Em termos gerais e, com raras exceções, pode-se assinalar que as políticas sociais e a maioria dos programas e projetos que fazem parte destas não recebem nenhuma avaliação. Quando, excepcionalmente, uma é realizada, trata-se, na sua maioria, de trabalhos descritivos com escassa análise avaliativa que permita julgar os méritos de uma determinada intervenção e tirar lições para ajustar e/ou reorientar os programas em andamento, ou melhorar o desenho de futuras iniciativas.

Em outros casos, as avaliações são desenvolvidas com metodologias sofisticadas e um enfoque eminentemente acadêmico, fazendo com que, além da demora na obtenção dos resultados, os mesmos sejam de pouca utilidade para orientar propostas operacionalizáveis na definição de estratégias e tomadas de decisão.
Geralmente, nas avaliações feitas em programas governamentais, não são enfatizados os aspectos relacionados com os efeitos (diretos e indiretos) e o impacto das intervenções sobre a população beneficiária, nem o grau de sustentabilidade das mesmas. Na maioria dos programas implementados pelo governo, não existe um mecanismo regulador que indique em que momento determinadas atividades, embora eficientes no uso de recursos, têm deixado de ser eficazes no alcance dos objetivos. [...] O monitoramento efetuado é do tipo mais financeiro, tradicionalmente orientado para as prestações de contas e auditoria, e não para gerenciamento.

Os relatórios financeiros que mostram as despesas programadas e realizadas por rubrica de despesa pouco ajudam para o gerenciamento, já que esse tipo de classificação esconde os custos das atividades e dos produtos e serviços que os programas e projetos sociais entregam para os beneficiários. Dessa forma, o gerente não tem uma ideia clara do custo dos processos, despesas per capita por tipo de tratamento ou procedimento, serviço, etc. Ou seja, não possuem as estimativas de custos dos processos e dos produtos e subprodutos que esses geram. (BUVINICH, 1999, p.6).

Todavia, com as transformações dos processos burocráticos das agências financiadoras, bem como da necessidade de demonstrar os resultados, ou melhor, os impactos sociais que as intervenções das políticas públicas ocasionariam na sociedade, o monitoramento e a avaliação foram se aprimorando no contexto do desenvolvimento social, oportunizando a disseminação de informações quantitativas e qualitativas sobre o desenvolvimento social por meio das políticas públicas implementadas por diferentes agentes sociais.

Esse processo de reorganização e disseminação das informações coletadas durante o monitoramento e avaliação favoreceu a constituição de sistemas de informação que possibilitam o acesso aos dados coletados por diferentes atores e em diferentes fases de desenvolvimento das intervenções.

No que se refere ao Brasil e aos países da América Latina e Caribe, de acordo com Buvinich (1999), houve um “renovado interesse pelas técnicas de planejamento estratégico e de monitoramento e avaliação das políticas públicas”, que obedece a uma combinação de fatores e circunstâncias relacionadas com:

(i) a aguda crise social vivida na região, que exerce uma intensa demanda por projetos e programas sociais para satisfação das necessidades dos grupos mais vulneráveis; (ii) a necessidade de conhecer e aprender sobre a complexidade e dinâmica dos programas e projetos de desenvolvimento social que, além de serem multidimensionais, são afetados por uma série de fatores fora do controle dos administradores e planejadores; (iii) o limitado sucesso ou o fracasso das estratégias de desenvolvimento social, muitas vezes gerando efeitos contrários aos esperados; (iv) a escassez de recursos disponíveis dos próprios governos, dos países doadores e das agências de ajuda externa, para satisfazer as necessidades urgentes do desenvolvimento social; (v) a necessidade de um planejamento e gerenciamento com maior e melhor informação em todos os níveis para superar o conhecimento incompleto que se possui dos efeitos e impacto das diferentes estratégias sobre os públicos-alvo; (vi) a necessidade de alocar os recursos disponíveis com maior eficiência e equidade, para assegurar um maior grau de efetividade e sustentabilidade no alcance dos objetivos das políticas sociais; (vii) a crescente cobrança, por parte da sociedade civil, tanto nos países doadores como nos próprios países em desenvolvimento, sobre o uso dos recursos e os resultados obtidos (BUVINICH, 1999, p. 6-7).
Relacionados a esses aspectos podemos ressaltar o crescente número de organizações não governamentais da sociedade civil que têm desenvolvido projetos sociais em diferentes segmentos e contribuído para o desenvolvimento social.

Essas organizações dependem de recursos externos para a manutenção de suas despesas e o fomento de novas práticas de intervenção social. Nesse sentido, há um esforço dessas organizações para a coleta de informações necessárias no processo de aquisição de recursos financeiros para execução das ações.

As agências financiadoras se apoiam nos conceitos do monitoramento e avaliação determinando uma nova postura das organizações não governamentais que se qualificam cada vez mais para atender às exigências impostas pelas agências financiadoras.

No que se refere especificamente às políticas públicas efetivadas por agentes governamentais (nas três esferas), pode-se inferir que a necessidade de apresentar resultados aos Organismos Internacionais e a necessidade de disseminar informações para a população beneficiária das intervenções foram motivadores para que sistemas de informação, monitoramento e avaliação fossem implantados em diferentes contextos sociais.

Monitoramento e Avaliação são, portanto, peças essenciais para a elaboração de planos, programas e projetos, e devem estar contemplados no momento da estruturação da proposta de intervenção, onde o gestor, e os envolvidos no planejamento, evidenciarão, dentre outros aspectos: o momento de cada processo, ou seja, em qual, ou em quais, etapas de desenvolvimento das ações serão realizadas as coletas de informações que fomentarão o monitoramento e a avaliação e quais serão os instrumentos e indicadores utilizados para a análise das informações coletadas.

Para cada tipo de intervenção, ou para cada modelo de projeto haverá uma determinada orientação para a execução do monitoramento e avaliação e esses processos estarão sempre relacionados à eficiência, eficácia e efetividade das intervenções.

É importante reconhecer que o monitoramento e a avaliação não são varinhas de condão que podem ser simplesmente usadas como um passe de mágica, solucionando problemas, ou remediando dificuldades, ou fazendo mudanças miraculosas, sem uma boa dose de trabalho duro sendo feito para a realização do projeto ou organização. Em si mesmos, eles não são soluções, mas são ferramentas valiosas (SHAPIRO, 2002, p. 5).

Nesse sentido, é necessário compreender que os processos de monitoramento e avaliação não emergem independentemente da intervenção realizada. Eles são planejados e seguem uma lógica racional para que as informações sejam retiradas das intervenções em momentos específicos. Para que isso seja possível é necessário o planejamento das ações, utilização de recursos para coleta, armazenamento e acesso a informações; utilização de indicadores e análise e interpretação dos dados coletados.

Se o Monitoramento e a Avaliação (M&A) são bem organizados e executados, podem:

-Ajudar a identificar problemas e suas causas

-Sugerir soluções possíveis para problemas;

-Levantar questões quanto à estratégia e às previsões realizadas;
-Levar você a refletir para onde está indo e como você está chegando lá;

-Providenciar informações e aspectos internos.

-Encorajá-lo a agir a respeito dessas informações e aspectos;

-Aumentar suas possibilidades de acerto que farão uma diferença de desenvolvimento positiva (SHAPIRO, 2002, p. 5).

É importante ressaltar um aspecto em especial no que se refere ao M&A, qual seja, a coleta e análise de informações. Esse aspecto é o que possibilitará o desenvolvimento das intervenções, principalmente porque essas informações estão relacionadas aos objetivos e metas a serem alcançados durante a execução das intervenções.

As informações coletadas durante os processos de monitoramento e avaliação podem ser qualitativas ou quantitativas e elas serão caracterizadas a partir da escolha dos instrumentais para coleta de informações, que você conhecerá mais adiante.
Com base na coleta e análise de informações, o responsável pela intervenção e sua equipe poderão analisar, em tempo real, os limites e as possibilidades de cada ação, podendo rever ações, alterar o planejamento, rever recursos e metas, entre outros aspectos.

O movimento cíclico que ocorre nas fases de monitoramento e avaliação é parecido com as etapas de construção dos projetos de intervenção. Não se esqueça de que essas etapas não são rígidas, sendo possível reordená-las e adequá-las às necessidades de cada processo de intervenção.

Assim como o projeto de intervenção pode ser alterado em seu desenvolvimento, os processos de monitoramento e avaliação possuem essa flexibilidade de reajustar condutas e procedimentos para a coleta de informações.

Planos são essenciais, mas não são feitos de concreto (fixados de forma totalmente inflexível). Se não estão funcionando, ou se as circunstâncias mudaram então os planos também devem sofrer mudanças. O monitoramento e avaliação são ferramentas que ajudarão um projeto ou organização a perceber quando seus planos não estão funcionando ou quando as circunstâncias sofreram mudanças.

Eles fornecem ao gerenciamento a informação necessária para tomadas de decisões a respeito do projeto e da organização das mudanças que se mostrem necessárias em relação aos planos ou à própria estratégia. Através disso, as constantes permanecem como pilares da rede estratégica: a análise de problemas, a visão e os valores da organização ou do projeto. Tudo o mais pode ser renegociável (...). (SHAPIRO, 2002, p. 4).

Nesses aspectos, o monitoramento e a avaliação são fontes essenciais de informação sobre o que está sendo feito e indica aos gestores e à própria organização onde estão as falhas do processo, contribuindo para que alterações sejam feitas para que as intervenções tenham o efeito desejado.


O monitoramento e a avaliação habilitam que se averigue o ‘ponto fundamental (...) de um desenvolvimento de trabalho: Não, ‘estamos tendo lucro?’, mas ‘estamos fazendo a diferença?’. Através de monitoramento e avaliação, pode-se:
-Revisar o progresso;

-Identificar os problemas em planejamento e/ou implementação;

-Promover ajustes para que se possa mais fortemente ‘fazer a diferença’ (SHAPIRO, 2002, p. 4).

Nessa perspectiva o monitoramento e a avaliação, apesar de serem processos distintos, se complementam e contribuem sobremaneira para a execução das ações, oportunizando aos envolvidos no processo de intervenção rever conceitos e metas e reorganizar as ações, mas, principalmente, M&A permitem que as informações sobre o desenvolvimento das intervenções sejam acessadas por todos os atores envolvidos e disseminados também à população público-alvo das intervenções.

Ao possibilitar o acesso e a divulgação das informações sobre o que está sendo feito, M&A permitem que haja participação de todos os atores sociais envolvidos no projeto, e contribuem para que a população público-alvo verifique os resultados e participe das alterações necessárias para que os objetivos e metas sejam alcançados.

O monitoramento e a avaliação atuam principalmente sobre a eficiência, eficácia e efetividade das intervenções realizadas. É o que alguns autores reconhecem como 3E (eficiência, eficácia e efetividade). Alguns autores utilizam o termo “impacto” para definir a efetividade, como ocorre com Shapiro:

A eficiência diz se os esforços de seu trabalho são satisfatórios em relação aos resultados alcançados. Eles podem ser esforços (ou insumos) em termos de dinheiro, tempo, pessoal, equipamento, e assim por diante. Eficácia é a medida da extensão do programa de desenvolvimento ou do projeto para atingir seus objetivos estabelecidos. O impacto mostra se você fez ou não uma diferença no problema ou na situação que estava tentando resolver. Em outras palavras, sua estratégia foi útil? (SHAPIRO, 2002, p.49)

Muitas vezes as intervenções alcançam um ou outro aspecto, ou seja, uma intervenção pode ser eficiente, mas não eficaz, ou eficaz e não apresentar efetividade.