12.1. Como e com quem?
A meta da avaliação deve ser clara para todas as pessoas envolvidas. Realiza-se a avaliação de uma intervenção a partir de duas perspectivas:
Verificar se os objetivos foram alcançados;
Determinar se os procedimentos foram realizados conforme o esperado.
Os agentes de desenvolvimento em educação nutricional não devem se colocar em posição defensiva em relação à avaliação. Qualquer membro da Comissão de Planejamento deverá estar em condições de responder às perguntas relacionadas com os dois pontos mencionados anteriormente.
Com quem?
As pessoas envolvidas com a avaliação podem ser divididas em quatro categorias:
A população-alvo da intervenção deve ser convidada a participar, já que as ações que serão avaliadas lhes atingem diretamente.
Os agentes de desenvolvimento jogam um importante papel na avaliação. E mais do que isso, a avaliação ajudará a melhorar seu desempenho.
Os especialistas em avaliação, internos ou externos à Comissão de Planejamento, os quais possuem a experiência técnica.
A participação dos patrocinadores e dos representantes governamentais permitirá que apreciem o impacto das atividades que promoveram e considerem a eventual expansão do programa.
12.2. Quando se deve realizar a avaliação?
O ideal é planejar a avaliação de uma intervenção em comunicação social desde a fase de concepção. A análise causal e o diagnóstico preliminar são partes da avaliação. Também se pode abordar a avaliação durante a fase de formulação de uma intervenção em comunicação. Nesse momento, ainda há tempo para refletir, não somente sobre a pertinência da intervenção, mas também sobre a ordem em que se deveria desenvolver as atividades, os resultados esperados e as ações que se deve realizar antes de qualquer atividade de comunicação.
Os conhecimentos, atitudes e práticas da população-alvo precisam ser medidos antes da intervenção, para proporcionar uma base de comparação posterior. Nunca é muito tarde para pensar na avaliação: ainda na fase de execução, pode-se aprender lições da experiência.
12.3. Como realizar uma avaliação dinâmica e participativa?
Lefevre e Beghin, entre outros, propõem um método que garanta a participação de todos na avaliação das intervenções nutricionais. Três tipos de instrumentos serão usados: a análise causal, a tabela de Hippopoc e o modelo dinâmico de intervenção.
A análise causal pode ajudar a determinar a pertinência da intervenção. Como se explicou no capítulo 4, ela consiste em criar uma base intersetorial, uma rede de fatores que afetam o estado nutricional de uma população. O resultado é um instrumento para a seleção da intervenção apropriada, para a comunicação entre os membros da Comissão de Planejamento e para avaliar a pertinência da intervenção. A análise causal também permite identificar fatores que podem influir sobre o sucesso ou fracasso da intervenção.
Na tabela de Hippopoc colocam-se nas células os insumos, os processos (atividades), os produtos e os resultados da intervenção.
Os insumos são os elementos que se transformarão em resultados com a intervenção. Exemplo: para a educação nutricional na escola, os insumos são os professores, alunos e o dinheiro investido na produção do programa.
Os processos são as atividades empreendidas para transformar os insumos em produtos ou resultados. Por exemplo: o programa de treinamento dos professores, o programa de ensino produzido conjuntamente com os alunos, o desenho e produção de manuais escolares, etc.
Os produtos são os resultados das atividades desenvolvidas na intervenção. Correspondem ao alcance dos objectivos específicos da mesma. Exemplos: professores capacitados; alunos educados, cuja conduta é diferente; manuais escolares de boa qualidade. Todos ele deveriam contribuir para os resultados de longo prazo de qualquer projeto nutricional, ou seja, a melhoria do estado nutricional da população-alvo.
Exemplo de Tabela HIPPOPOC
Insumos | Atividades | Produtos | Resultados |
---|---|---|---|
Oficina de capacitação em alimentação e nutrição para agentes de desenvolvimento da comunidade | • Preparação da oficina • Implementação da oficina • Atividades de aplicação prática •Avaliação da oficina | • 30 agentes de desenvolvimento capacitados: • 5 agentes de agricultura • 10 agentes de saúde • 5 líderes comunitários • 2 autoridades locais 8 agaentes de educação | • planejamento conjunto das atividades para melhorar a nutrição • inclusão de atividades de nutrição em todos os serviços da comunidade • melhor comunicação e coordenação entre os agentes de desenvolvimento |
O modelo dinâmico é a representação gráfica das interações entre os insumos, os processos, os produtos e os resultados de uma intervenção. De maneira similar aos outros dois instrumentos, o modelo dinâmico é elaborado pela equipe. Esta tabela apresenta os vínculos esperados entre os insumos e os processos, entre os processos e os produtos e entre os produtos e os resultados. Utiliza flechas para ilustrar os vínculos. Desta maneira, todos os participantes de uma intervenção (a população, os agentes de desenvolvimento, os especialistas) podem entender as relações internas e externas.
12.4. Como?
A análise causal
As pessoas encarregadas da avaliação: os “especialistas”, os participantes (população-alvo), os patrocinadores e/ou representantes governamentais e os agentes de comunicação, devem revisar a análise causal.
Se a análise causal não foi realizada, o grupo deve priorizar sua elaboração. Isto implicará em alguns dias de trabalho. No caso de que se tenha realizado a análise, o grupo deverá se ocupar em melhorá-la, necessitando de pouco tempo para completar esta atividade.
A Tabela de Hippopoc
Uma vez que se tenha completado a análise das causas, o grupo deve se reunir para desenvolver a tabela de Hippopoc, com os insumos, processos, produtos e resultados. Os avaliadores devem estar particularmente atentos a esta tabela. Eles deverão responder às seguintes perguntas:
O problema nutricional a resolver foi identificado claramente?
A análise causal foi elaborada?
Foi feita a pesquisa preliminar para entender as condutas e os sistemas de comunicação da população-alvo?
Os objetivos foram definidos claramente em termos de modificação de condutas inadequadas relacionadas com a nutrição e em termos de aquisição de conhencimentos, adoção de atitudes corretas e desenvolvimento de habilidades?
As mensagens foram desenvolvidas cuidadosamente?
O plano de multimeios considerou os resultados da pesquisa preliminar e a especificidade dos diversos meios com relação aos objetivos que se espera alcançar?
Os materiais de apoio para a comunicação foram provados previamente, antes de serem produzidos em larga escala?
Os participantes foram treinados adequadamente antes de iniciar as atividades de comunicação?
As atividades foram desenvolvidas conforme os planos originais?
Os resultados da análise serão comparados com os objetivos da intervenção. Esta comparação ajudará a determinar o sucesso do programa.
Quais são os produtos esperados de uma intervenção em comunicação social?
Acesso da população alvo à
mensagem
Exemplo: as mulheres de 15 a 45 anos
estão expostas à mensagem
por um dos canais de
comunicação (ou por vários)?
Retenção da mensagem
Exemplo: X por cento do grupo objetivo
reteve a mensagem: “a criança
de 6 a 12 meses deve receber,
pelo menos, quatro refeições
por dia, além do leite materno”.
Modificação de conhecimentos,
atitudes e valores da populaçãoalvo
Exemplo: X por cento do grupo objetivo foi
capaz de explicar as razões
pelas quais a criança deve
receber, pelo menos, quatro
refeições ao dia e tem
demonstrado intenção de
seguir esta orientação.
Prova da conduta proposta
Exemplo: o grupo objetivo tem tentado
oferecer pelo menos quatro
refeições ao dia a seus fihos
lactentes de 6 a 12 meses de
idade.
Adoção de hábitos
Exemplo: X por cento do grupo objetivo
adotou estes hábitos
alimentares e integrou-os a sua
vida diária.
Observar que os exemplos contêm medidas para a comparação dos resultados depois da intervenção.
Quais são os possíveis resultados da intervenção a longo prazo?
Melhora do estado nutricional
Exemplo: houve melhora do estado
nutricional de X por cento das
crianças (em comparação
com o grupo controle).
Melhora do estado de saúde
Exemplo: X por cento das crianças
menores de 5 anos teve
menor freqüência das
doenças clássicas deste
grupo de idade (em
comparação com uma
porcentagem mais alta do
grupo controle).
A longo prazo, estes resultados parecem ter um efeito combinado com a intervenção educativa e de outros fatores do ambiente social, econômico e familiar.
Nos resultados finais da intervenção, devem ser considerados também os produtos ou resultados intermediários. Em nosso exemplo, estes são o número de trabalhadores capacitados no programa e o número de materiais de apoio produzidos para assegurar a transmissão das mensagens.
O modelo dinâmico
É essencial ilustrar graficamente as relações entre os insumos, os processos e os resultados da intervenção.
Este gráfico poderia ser usado por todos os envolvidos na intervenção, para prover informações básicas sobre o projeto, determinar seus êxitos e fracassos, e para planejar seu melhoramento.
A avaliação é como uma fonte de energia essencial para o desenvolvimento das atividades de comunicação participativa. A avaliação não é simplesmente uma atividade externa sobre a intervenção. É um componente crucial da educação nutricional.
Nota. As pessoas interessadas em obter maiores informações sobre aspectos da avaliação podem ler o capítulo 12 do documento: “Manejo de proyectos de alimentación e nutrición en comunidades. Guía didáctica”, publicado pela FAO em 1995 (Ver referências).