“Ce sont les populations elles-mêmes qui sont au centre du processus de développement et qui doivent être les acteurs et non point l'objet d'un processus qu'ils doivent maîtriser.”
Chambers (1983)
Dans un projet de foresterie communautaire, l'acteur principal doit être la communauté. C'est en effet celle-ci qui en recueille les bénéfices et en supporte les coûts. Ce sont d'ailleurs les communautés, et leurs membres, qui, intuitivement et spontanément, évaluent les projets en regard de leurs propres objectifs, individuels ou collectifs.
L'évaluation est très couramment associée aux points de vue des intervenants extérieurs (organismes donateurs, personnel national de projet). Ceux-ci souhaitent en général savoir si le projet, tel qu'il se déroule, répond aux objectifs de l'organisme dont ils relèvent, et si l'argent est bien employé. Souci légitime, certes, mais auquel l'évaluation participative n'a pas pour vocation première de répondre. Pourtant celle-ci permet, à terme, de compléter et d'enrichir les évaluations extérieures, surtout si les intervenants extérieurs se préoccupent de durabilité.
Les séances d'évaluation participative sont des évaluations du projet dans lesquelles les communautés ou les bénéficiaires ont l'initiative. Ils sont encouragés et aidés à planifier, à exécuter l'évaluation, et à rendre compte de ses résultats. Les intervenants extérieurs (personnel de terrain, donateurs, etc.) appuient et facilitent leur travail. Selon la logique de cette démarche, c'est ce que la communauté estime être les coûts et les avantages “véritables” du projet qui compte en premier lieu.
Le schéma ci-dessus montre la place des séances d'évaluation participative dans le processus du DSEP. Les séances d'évaluation empruntent certains éléments au diagnostic (analyse des problèmes communautaires et données de base), et d'autres au processus de suivi et d'évaluation permanente. Elles s'intègrent dans la continuité du projet, les informations réunies étant analysées et s'ajoutant à la base de connaissances sur laquelle seront fondées les décisions ultérieures.
Une séance d'évaluation participative ne se traduit pas automatiquement par un jugement définitif. Au contraire, ces séances permettent de procéder à des ajustements progressifs et permanents pendant toute la durée du projet. Elles produisent en fait une information qui favorise l'ajustement des activités et des perspectives, ou qui vient préciser les objectifs et les ambitions.
L'un des aspects importants de l'évaluation participative est qu'elle permet de déterminer si les objectifs du projet sont ou ne sont pas en voie d'être atteints, et s'ils restent pertinents. Autrement dit elle indique s'il est nécessaire d'adapter, de réviser, ou de modifier complètement les objectifs antérieurs.
| Expérience vécue | L'évaluation libre |
| Si les bénéficiaires ont fixé eux-mêmes leurs propres objectifs et ont participé au diagnostic des problèmes, l'évaluation peut permettre à la communauté de vérifier si les objectifs ont été atteints. Mais si la communauté n'a pas été véritablement impliquée dans le processus tout entier, une évaluation libre est probablement tout indiquée. | |
| Dans l'évaluation libre, c'est-à-dire non dirigée, les données relatives aux effets du projet et à son efficacité sont recueillies directement. Le processus ne subit donc pas les contraintes qu'imposerait une perspective axée sur des buts explicites. L'évaluation libre se prête aux méthodes qualitatives parce qu'elle accorde une large place à une démarche descriptive et à l'expérience directe générée par le projet. Les évaluateurs doivent suspendre leur jugement en ce qui concerne l'intention du projet et sa spécificité, et chercher à découvrir ce qui s'est réellement produit au contact du projet. | |
| Cette évaluation peut se pratiquer parallèlement à l'évaluation dirigée à condition que chaque approche soit pratiquée par des évaluateurs distincts. | |
Source: Patton (1987)
L'objectif principal de ces séances d'évaluation est d'encourager à marquer une pause pour réfléchir sur ce qui s'est produit jusqu'ici, et pour prendre des décisions quant à l'avenir. En évaluant, les gens constatent ce qui a marché et ce qui n'a pas marché, et comprennent pourquoi. Au fil de la série d'évaluations, les chances que les mesures correctrices voulues soient prises augmenteront, car c'est la communauté qui aura découvert et compris leur nécessité.
La séance d'évaluation participative permet d'examiner et de clarifier les objectifs du projet ainsi que ses effets escomptés. Il est possible que les objectifs de la communauté aient évolué, ou que les résultats attendus soient peu réalistes. Il faudra donc peut-être procéder à des ajustements pour obtenir les résultats souhaités.
Les séances d'évaluation permettent dans certains cas d'éviter une crise qui menace, en donnant l'occasion de discuter des problèmes et de les résoudre. Si par exemple une partie de la communauté a clôturé et planté une zone jusque-là utilisée par des groupes que l'on a négligés, de graves problèmes peuvent se poser. Faire se rencontrer les différents groupes pour discuter et rechercher un compromis, voilà par exemple l'objet d'une séance d'évaluation participative.
Les constatations des séances d'évaluation peuvent être présentées aux décideurs extérieurs à la communauté, afin de leur soumettre les points de vue de la population locale, difficiles à apprécier autrement.
| Expérience vécue | Réorienter les donateurs |
| Un exposé donné à l'occasion d'une consultation FAO/ASDI sur le programme “Arbres, forêts et communautés rurales” mettait récemment en évidence les mérites de l'utilisation de la vidéo pour les évaluations, car elle permet de communiquer directement l'information aux intéressés. Cette méthode permet en effet de court-circuiter les “filtres” constitués par les intérêts personnel et de donner une représentation beaucoup plus fidèle des effets des projets. | |
 | |
Les raisons pour lesquelles la communauté décide de procéder à une évaluation sont multiples; il importe donc que chacun comprenne bien quel est l'objet de cette évaluation, et convienne de son principe.
Les séances d'évaluation participative peuvent présenter les avantages suivants:
| Expérience vécue | A toute chose malheur est bon |
| L'évaluation n'est pas toujours un processus simple, et ne mesure pas toujours la “réussite” avec le même étalon. Le jugement de la communauté et celui que portent les intervenants extérieurs sur une même activité diffèrent parfois grandement. | |
| Une route emportée par la pluie est un échec du point de vue des évaluateurs du projet, tandis que les membres de la communauté constatent que l'empierrement qui en reste leur permet, pour la première fois, de se rendre au marché même à la saison des pluies. Pour la population locale donc, le projet a eu un résultat positif. | |
| Tel projet au Soudan, qui comportait des pépinières communautaires, fut considéré un “échec sur toute la ligne” par un évaluateur, parce qu'il n'avait pas atteint les objectifs numériques de production de jeunes plants. En revanche la communauté avait décidé de poursuivre durablement la production, et assortissait le travail en pépinière d'une production horticole; jugeant de la situation à moyen et à long terme, elle estimait que le projet était “une belle réussite”. | |
Source: Hoskins (1986), Davis-Case (1987)
Les séances d'évaluation participative peuvent se tenir à tout moment au cours du projet, ou même une fois que le projet est parvenu à son terme. Dans certains cas, les séances d'évaluation sont prévues dès le début. Dans d'autres, elles sont rendues nécessaires par un problème particulier, ou une situation de crise survenant en cours de projet. Certains problèmes apparaissent à la lumière des informations recueillies lors du suivi participatif ou de l'évaluation permanente; d'autres sont évidents, par exemple un manque d'intérêt généralisé pour les activités. Si l'on ne peut traiter ces problèmes faute d'informations suffisantes, ou sans faire intervenir d'autres parties, une séance d'évaluation participative s'impose.
La ressource la plus précieuse pour assurer le succès d'une telle séance est le personnel de terrain. Si l'on pratique le DSEP depuis le début du projet, la confiance et une bonne communication entre les agents de terrain et la communauté seront déjà bien établies. Si en revanche la séance est un point d'accès au DSEP, il faudra le cas échéant prendre le temps de former et de sensibiliser le personnel afin de faciliter l'évaluation. Un intervenant extérieur bien familiarisé avec les méthodes de l'évaluation participative pourra alors être précieux. Il pourra à la fois former les agents de terrain et faciliter le processus d'évaluation.
Les séances d'évaluation participative ne prennent pas nécessairement plus de temps que d'autres types d'évaluation; tout est fonction de leur sujet et de l'intensité de la participation. De façon générale, il semble que plus les méthodes participatives ont été introduites de fraîche date, plus il faut y consacrer de temps. Donc plus on recherche la participation, plus il faut de temps. Mais une fois que la communauté est habituée à ces méthodes participatives, l'évaluation participative devient des plus efficaces et des plus rentables.
| Expérience vécue | L'un des mythes de l'évaluation |
| L'affirmation selon laquelle seul le “spécialiste de l'évaluation” serait compétent pour évaluer objectivement une situation est un mythe. L'esprit d'analyse, une bonne expérience du terrain et une vision large et objective des réalités sont souvent présents dans la plupart des communautés et chez le personnel de terrain. | |
| Non pas que les spécialistes expérimentés de l'évaluation ne soient d'aucun secours, notamment au stade de l'étude des projets, mais il faut se garder des experts bardés de méthodologie dont l'approche est si étroite et quantitative qu'ils donnent systématiquement une image incomplète, donc faussée, des réalités. | |
Tout sera plus facile pour tout le monde si la séance d'évaluation participative est soigneusement préparée et planifiée.
Pour la préparer, il faut d'abord décider qui participera à la conduite de l'évaluation, et qui voudra prendre connaissance de ses résultats. Ces décisions, si elles sont prises par les bénéficiaires, pourront tendre à faire intervenir la communauté toute entière, ou seulement les bénéficiaires, ou encore d'autres groupes (des pasteurs nomades par exemple) que le projet intéresse ou touche d'une manière ou d'une autre. Si ceux qui souhaitent participer à l'évaluation sont nombreux, il faut le cas échéant envisager de charger une équipe d'organiser la collecte de l'information. Le groupe étendu a bien entendu la faculté de décider de ses besoins d'information. Il peut aussi contribuer à l'analyse des données recueillies.
La séance proprement dite comporte plusieurs étapes importantes. Celles-ci ne suivront pas nécessairement l'ordre ci-après, mais chacune est importante.
Pour bien faire comprendre cette marche à suivre, nous illustrerons les différentes étapes à partir de l'exemple suivant, les phases successives étant toujours présentées en encadré.
| Le village de Kuada* se trouvait en bordure d'une grande forêt domaniale. Les habitants de Kuada étaient pauvres, et la forêt était l'une de leurs principales ressources. Autrefois ils exploitaient la forêt en commun avec quatre villages voisins, selon des règles dont avaient convenu les chefs. Mais depuis cinquante ans, l'Etat avait repris à son compte la gestion de toutes les terres forestières. Il y avait désormais des gardes forestiers pour empêcher les gens de Kuada de couper du bois et de faire paître leur bétail en forêt. Mais ces efforts semblaient vains pour la plupart, et la forêt se dégradait de plus en plus vite. |
| * Kuada est un village imaginaire |
| Le gouvernement a alors lancé un projet de foresterie communautaire. L'objectif était d'aménager la forêt en partenariat avec les villageois. Pour commencer, dix parcelles gravement dégradées furent allouées à dix des cent ménages que compte Kuada, étant entendu que si ces terres étaient aménagées avec succès, le village recevrait 25 autres parcelles tous les trois ans, jusqu'à ce que tous les ménages intéressés aient obtenu une concession. |
| Le projet a fourni des tracteurs pour préparer les dix parcelles, ainsi que des plants d'Acacia senegal. Les dix familles du village ont planté les jeunes arbres, intercalés avec du sorgho. |
| La troisième année du projet, les terres de la communauté firent l'objet d'une évaluation par le gouvernement. Celui-ci constata que les villageois n'avaient pas atteint le taux de peuplement exigé, à savoir 400 arbres à l'hectare, et n'avaient donc mérité que cinq parcelles supplémentaires de terre forestière. Si Kuada parvenait au taux de peuplement minimum sur ces quinze parcelles dans un délai de trois ans, le village recevrait, assurait-on, toutes les terres promises au départ. Dans le cas contraire, le village perdrait toutes ses parcelles nouvelles. |
| Alertés par les constatations décevantes des pouvoirs publics, les villageois furent anxieux de comparer leurs propres résultats à ceux des trois villages voisins qui participaient aussi au projet, afin d'améliorer leur technique de conduite des plantations et donc leurs propres taux de peuplement. Il fut donc décidé de procéder à une séance d'évaluation participative. |
A. Decider des raisons de l'evaluation (recueillir des declarations)
Pour établir les raisons pour lesquelles une évaluation est jugée utile ou nécessaire à un moment donné, une réunion de groupe incluant bénéficiaires, membres de la communauté ou autres personnes doit être tenue pour dresser la liste des raisons de cette évaluation. Il sera utile le cas échéant de faire l'inventaire des objectifs et des activités du projet à cette occasion. Le groupe peut alors dire ce qu'il cherche à savoir et pourquoi:
ou bien:
Dans certaines communautés, on obtiendra de meilleures réponses en demandant:
ou bien:
Si la liste qui en résulte est longue, il sera peut-être nécessaire de classer ces déclarations par ordre d'importance décroissante.
| Quand on demanda au groupe du village de Kuada les raisons précises pour lesquelles il voulait évaluer le projet, il répondit: |
|
| L'animateur (un agent de terrain du projet) fit alors des dessins représentant ces déclarations et transcrivit les paroles à côté, en légende, sur une grande pièce de tissu blanc. |
B. Choisir une equipe d'evaluation
Quand il est réuni, le groupe peut décider s'il a besoin d'une équipe d'évaluation. Dans l'affirmative, il lui faut alors arrêter la composition de cette équipe, choisie parmi ses membres. Si le groupe est peu nombreux, ce ne sera peut-être pas nécessaire. Dans le cas contraire, il pourra être judicieux de déléguer des responsabilités à ceux en qui le groupe a confiance pour le représenter.
| Les villageois de Kuada choisirent une équipe d'évaluation composée de cinq personnes: |
| - Une femme chef de famille qui avait une parcelle de terre forestière. - Un homme chef de famille qui avait une parcelle de terre forestière. - Un agriculteur qui ne prenait pas part au projet, mais envisageait de s'y joindre plus tard. - Un instituteur intéressé par le projet pour enseigner à ses élèves les rudiments de la gestion communautaire des terres. - Le chef du village qui avait négocié le projet avec ses promoteurs et avait désigné les dix ménages. |
| Ces personnes furent chargées de recueillir les informations en rapport avec les déclarations faites par le groupe, et de lui en donner un compte rendu un mois plus tard. |
C. Identifier les indicateurs-cles
L'équipe d'évaluation est chargée de réunir les informations répondant aux questions du type “nous voulons savoir” dont le groupe étendu a dressé la liste. L'équipe d'évaluation doit pour cela dresser sa propre liste de questions (indicateurs) se rapportant aux sujets définis par le groupe.
| L'équipe d'évaluation de Kuada allait isoler quatre indicateurs se rapportant à la première déclaration. | |||||
| DECLARATIONS | QUESTIONS SPECIFIQUES (INDICATEURS) | ||||
| A. | Nous voulons savoir pourquoi nos taux de peuplement sont inférieurs au minimum exigé. | a) | Quels sont les taux de peuplement effectifs? | ||
| b) | Dans quel état étaient les plants quand ils ont été livrés? | ||||
| c) | Quelles variations les taux de mortalité des jeunes arbres ont-ils accusé dans le temps? | ||||
| d) | Quelles sont les parcelles qui donnent les meilleurs résultats, et pourquoi? | ||||
| e) | Des facteurs extérieurs (météorologiques par exemple) ont-ils créé une situation inhabituelle? | ||||
Une fois que l'équipe d'évaluation a défini les questions spécifiques (correspondant aux indicateurs), elle doit les classer par ordre hiérarchique pour déterminer quels sont les INDICATEURS-CLES.
Pour chacune des questions spécifiques, il faut prendre deux décisions en vue d'établir les indicateurs-clés. L'une porte sur la valeur de l'information, ou sur l'importance relative de la question; l'autre sur le degré de précision qu'il faut rechercher, c'est-à-dire le soin qu'il faut apporter aux mesures pour obtenir une réponse fiable et acceptable.
La valeur des informations obtenues en réponse à une question peut être classée:
Le degré de précision sera classé de façon analogue:
A partir des nombreuses questions spécifiques (indicateurs) qui sont apparues, il convient de choisir celles auxquelles il semble le plus important de répondre. Il faut ensuite se préoccuper du degré de précision nécessaire.
| L'équipe d'évaluation du village de Kuada prit les décisions suivantes pour se fixer des INDICATEURS-CLES: | |||||
| Question spécifique | Valeur | Précision | |||
| a) | Quels sont les taux de peuplement actuels? | très important | très précis | ||
| b) | Dans quel état étaient les plants à la livraison? | important | précis | ||
| c) | Quelles variations les taux de mortalité ont-ils accusé dans le temps? | important | précis | ||
| d) | Quelles sont les parcelles qui donnent les meilleurs résultats, et pourquoi? | très important | pas très précis | ||
| e) | Des facteurs extérieurs (météo) ont-ils créé une situation anormale? | important | pas très précis | ||
| Après une longue discussion, l'équipe d'évaluation choisit a), c) et d) comme indicateurs-clés, ayant décidé que ces points étaient particulièrement significatifs pour l'évaluation. | |||||
D. Identifier les sources d'information disponibles et les taches
A ce stade, il est utile de savoir à quelles questions il est possible de répondre à partir des informations déjà disponibles, et quelles sont celles qui exigent que l'on recherche de nouvelles informations.
L'équipe d'évaluation peut donc analyser les indicateurs-clés, faire le point de ce qui est déjà connu à partir des SOURCES disponibles, et juger si ces éléments de réponse sont assez précis pour les besoins de l'évaluation, et ce qu'il convient de faire à ce propos.
| L'équipe d'évaluation de Kuada a déterminé les sources d'information disponibles et les tâches nécessaires pour répondre aux questions correspondant à l'indicateur-clé pour la première interrogation, “pourquoi nos taux de peuplement sont-ils inférieurs au taux minimum exigé?” | |||||
| Indicateurs-clés | Sources | Tâches | |||
| a) | Quels sont les taux actuels de peuplement? | Registres des agriculteurs (10) | Réunir les registres, faire la synthèse des données | ||
| c) | Quelles variations les taux de mortalité accusent-ils dans le temps? | Registres des agriculteurs (10) | Réunir les registres, faire la synthèse des données | ||
| d) | Quelles sont les parcelles qui donnent les meilleurs résultats, et pourquoi? | Aucune | |||
E. Choisir les outils appropries pour recueillir l'information
Le choix des outils appropriés à la collecte de l'information est très important, car ce sont souvent les outils qui déterminent “le ton” de l'évaluation et de la présentation des résultats.
Au début, le choix des outils peut revenir au personnel de terrain du projet, qui est familiarisé avec la gamme des possibilités. Certains de ces outils participatifs sont décrits à la section 8, mais beaucoup d'entre eux peuvent être combinés, modifiés, ou redéfinis pour s'adapter à la situation.
Si le projet est conduit de manière participative depuis le début, bien des outils de collecte de l'information seront déjà familiers. Dans ce cas, l'équipe d'évaluation peut participer très activement au choix des outils.
On trouvera à la section 8 la description de plusieurs outils utiles pour la collecte, l'analyse et la présentation d'une séance d'évaluation:
Le choix des outils aura une incidence sur l'analyse des informations: par exemple si l'on prévoit de présenter une pièce de théatre, l'identification et l'analyse des questions socio-économiques pourront avoir une importance primordiale.
L'équipe d'évaluation du village de Kuada a décidé de recueillir des informations sur le point d), “Quelles sont les parcelles qui donnent les meilleurs résultats, et pourquoi?”, au moyen d'entretiens semi-structurés. Elle interrogera les 10 agriculteurs participants et 10 autres ménages non participants. Le choix de ces derniers se fera par tirage au sort parmi les noms de tous les ménages non participants.
F. Identifier les ressources disponibles (temps, personnes)
Les séances d'évaluation participative peuvent requérir le concours ou le recrutement de personnes ayant des compétences particulières en matière de conduite d'entretiens, d'analyse, d'expression artistique ou dramatique.
Il est nécessaire de déterminer à quelles ressources il peut être fait appel, et il conviendra à ce propos de répondre aux questions suivantes:
Le choix de QUI sera chargé d'analyser les informations dépendra des compétences des bénéficiaires, de l'équipe d'évaluation ou du personnel de terrain. Mais lorsque des compétences particulières sont nécessaires, il est souvent possible de les développer au sein même de la communauté.
A Kuada, l'équipe d'évaluation a ensuite déterminé qui serait capable d'effectuer les tâches requises. Elle a donc dressé une liste de ces ressources pour les 3 INDICATEURS-CLES en correspondance avec les trois premières interrogations.
| INDICATEURS-CLES | TACHE | NIVEAU DE RESSOURCES | |||
| a) | Quels sont les taux actuels de peuplement? | Collecter les registres |
| ||
| b) | Quelles sont les variations des taux de mortalité des plants dans le temps? | Exploiter les registres |
| ||
| c) | Quelles sont les parcelles qui donnent les meilleurs résultats, et pourquoi? | 20 entretiens |
| ||
| L'équipe d'évaluation a décidé qu'elle se chargerait elle-même de ce travail, en répartissant les tâches entre ses membres. C'est i'instituteur qui a été chargé de conduire les entretiens semi-structurés, car il était considéré comme à la fois objectif et digne de confiance. | |||||
G. Decider du moment de la collecte et de l'analyse des informations
Il importe de bien répartir les opérations dans le temps, afin que les informations soient recueillies et analysées en temps voulu et que les résultats parviennent aux décideurs dans les délais nécessaires. Les contraintes saisonnières, fêtes religieuses, disponibilités des agents de terrain, et calendrier des travaux à l'extérieur de la communauté sont quelques-uns des facteurs à prendre en compte lorsqu'on décide du moment de la collecte des informations.
L'équipe d'évaluation décide de réaliser les entretiens la semaine suivante, car ce sera une période de vacances scolaires. Un membre de l'équipe du projet a été invité à venir un après-midi, dans deux semaines, pour aider à analyser les résultats.
H. Decider de la façon de communiquer les resultats
C'est à ce stade que l'on décide habituellement de la façon de présenter les résultats, mais des idées originales peuvent venir à n'importe quel stade du processus de collecte et d'analyse des informations. Les indications relatives à la communication des résultats sont données à la section 7.
Etant donné que les résultats de la séance d'évaluation intéressaient toute la communauté, l'équipe les a présentés à l'occasion d'une réunion. La communauté a dit son mot, enrichissant ainsi l'analyse des résultats, et il a été décidé que leur présentation aux trois autres communautés se ferait au moyen d'un enregistrement magnétique des constatations, illustré par une présentation sur affiches des données quantitatives.
Etant donné que l'agent de terrain du projet travaillait avec les quatre villages aux abords de la forêt
domaniale, il a été possible de coordonner les résultats fournis par ces villages et de les aider à structurer
la présentation (faite au moyen d'enregistrements magnétiques et d'affiches photographiées en
diapositives) à chacun des quatre villages participants, en vue de faciliter l'échange d'informations.
Le montage audio-visuel résultant a été utilisé les années suivantes par l'équipe du projet comme outil
de vulgarisation. D'autres communautés du pays ont ainsi bénéficié de l'expérience acquise par les
villageois de Kuada.
I. Faire des recommandations et les integrer dans le projet
La séance d'évaluation n'est pas achevée tant que les résultats ne sont pas parvenus à ceux-là mêmes qui doivent en bénéficier, que les décisions correspondantes ne sont pas prises, et que l'effet de rétroaction sur les activités du projet ne s'est pas produit.
L'expérience montre que l'évaluation participative est un processus dynamique, et qu'il peut donc être nécessaire de suivre l'évaluation et d'en modifier le plan en conséquence. Ce suivi peut être assuré par une personne, ou par l'équipe, qui se demanderont tout du long:
“Mieux vaut répondre approximativement à la bonne question que donner une réponse parfaite à la mauvaise”
Les informations que l'on a recueillies peuvent s'analyser de multiples façons. Nous verrons ici les diverses manières de présenter les résultats aux usagers. Les bénéficiaires jouent un rôle capital dans l'analyse et dans le choix de la méthode appropriée pour répercuter les résultats et en discuter avec d'autres.
Certains des outils DSEP de collecte de l'information prévoient au départ une fonction d'analyse et de restitution de l'information, tandis que d'autres méthodes devront être complétées par un processus d'analyse.
L'orientation de l'analyse des données sera essentiellement dictée par les questions qui auront été formulées au tout début du processus d'évaluation. D'aucuns s'efforcent parfois de conceptualiser avec un soin excessif le suivi et l'évaluation, et définissent les questions avant que n'ait commencé la collecte des données. Puis, une fois ces dernières réunies et l'analyse engagée, ils ne regardent jamais en arrière pour s'assurer d'avoir bien compris les questions capitales et les points-clés auxquels on cherche à répondre. Or il importe de faire le point des objectifs et de l'objet de l'évaluation pour s'assurer que la perspective reste la bonne.
Cela ne signifie pas que certains résultats importants que l'on n'escomptait pas doivent être ignorés. Mieux vaut rechercher un juste milieu entre perspective ouverte et ciblage étroit. En effet l'analyse peut faire apparaître des questions importantes, imprévues et pourtant pertinentes. On en prendra bonne note pour l'avenir, et on les signalera lors de la communication des résultats.
Les outils que l'on utilise pour recueillir les informations ont un effet déterminant sur la façon dont les données sont analysées et présentées. L'analyse de l'accroissement de la production végétale conduit notamment à quantifier les résultats (ajouter des quantités les unes aux autres), tandis qu'une étude de cas, le script d'une saynète, ou une présentation médiatisée supposent un processus continu de présentation et de vérification des résultats par la communauté.
La mécanique de l'organisation des données en vue de l'analyse varie en fonction du processus de réflexion des intéressés. Les données peuvent être aussi bien quantitatives que qualitatives, et l'analyse pourra consister à intégrer les différents éléments de manière à relier CONTEXTE (d'une manière générale, les aspects qualitatifs) et GRANDEUR (les aspects quantitatifs).
Poser les questions auxquelles il faut répondre; réunir toutes les données pertinentes recueillies au fil du projet - certaines ont déjà été analysées, totalement ou en partie, et une partie des informations est peut-être “floue”, mais pertinente quand même.
Il est utile de tenir compte des variables suivantes au cours de l'analyse:
| Contexte: | examiner les événements qui ont eu une incidence positive ou négative sur le projet ou sur ses objectifs. |
| Apports: | mesurer avec exactitude les ressources en temps et en matériel investies dans le projet. |
| Processus: | récapituler ce qui a été fait, et avec quel succès. |
| Produit: | établir quels ont été les résultats du projet, escomptés ou pas. |
Décider quels éléments d'information permettront de répondre aux questions initiales, puis commencer l'analyse. L'analyse peut consister en l'une ou l'autre des opérations suivantes:
Les données quantitatives s'analysent au moyen de techniques très directes. Il est probable qu'en situation communautaire, on travaillera à la main, faute de disposer du matériel et du savoir-faire nécessaires pour utiliser l'ordinateur. Il importe que la communauté soit capable de procéder elle-même à l'analyse, en pratiquant l'une ou l'autre des méthodes qu'offrent les fiches de pointage et les fiches récapitulatives.
Les fiches de pointage proposent toutes les réponses possibles, et sont pratiques pour résumer et analyser des données comme les chiffres de production, les taux de survie ou les opérations de pépinière.
Il sera particulièrement important de bien penser aux questions qui produiront les meilleures informations une fois mises en rapport. Par exemple ce qui touche aux essences et à la survie, ainsi qu'aux types de terrain peut être combiné, si les membres de la communauté estiment qu'il est intéressant de connaître les rapports entre ces paramètres. Ces informations peuvent faire apparaître qu'il est utile de choisir de telle ou telle manière les essences et les sites de plantation. La mise en relation d'ensembles de données doit être mûrement réfléchie, car elle déterminera les possibilités d'analyse.
Ne pas oublier que la phase d'analyse est le moment où faire preuve d'imagination: on peut mettre en évidence beaucoup d'informations sans perdre de vue l'objet principal de l'évaluation.
Les fiches de pointage sont particulièrement commodes pour résumer les données quand le taux d'analphabétisme de la population est élevé. On peut noter les variables par écrit, ou les représenter par des dessins convenus. Quand la fiche de pointage est établie à l'occasion d'une réunion ou en séance de groupe, les tendances indiquées par les résultats sont visibles par tous.
Sur ces fiches de pointage, une barre indiquera par exemple un sujet d'une essence, ou une valeur de survie, ou un type de terre.
Mais la fiche de pointage n'indique pas les réponses données individuellement; pour bien montrer ce que chaque personne interrogée a répondu, il faut par exemple établir une fiche récapitulative.
Les fiches récapitulatives offrent un autre moyen simple d'enregistrer les réponses, surtout celles qui sont données à un questionnaire. On trouvera ci-après un exemple de fiche récapitulative permettant d'enregistrer les réponses à une enquête informelle. Les lettres de A à H en tête des colonnes représentent les personnes qui ont répondu.
L'analyse des données qualitatives est un travail à la fois d'imagination et de critique. L'approche est souvent dictée par les outils que l'on a utilisés pour recueillir les informations: si par exemple on a fait réaliser par la communauté des dessins représentant la situation en début, milieu et fin de projet, on peut en faire l'analyse en demandant à un certain nombre de personnes, à titre individuel, de:
Il est parfois plus rapide de réunir un groupe pour présenter les dessins et discuter de leur validité et de leur classement.
Il faut mûrement réfléchir avant de procéder à l'analyse des données avec un ordinateur, car on risque de dessaisir la communauté de la maîtrise des informations. Il faut donc se demander si la communauté, voire le pays, disposera après l'achèvement du projet du matériel et des compétences voulues pour continuer à procéder de cette façon.
On connaît des cas où l'usage d'ordinateurs a été introduit dans des projets, mais où les données informatiques n'étaient même plus accessibles au personnel du projet. Al'échelon des bénéficiaires et des agents de terrain, il est préférable que les informations et leur analyse conservent la forme la plus simple et la plus compréhensible possible.
Mais l'utilisation de l'ordinateur se justifie si la quantité d'informations dont il faut faire la synthèse est grande. Les données produites par les bénéficiaires dans le cadre d'un système participatif d'évaluation et de suivi peuvent fort bien être résumées à l'échelon communautaire et transcrites sur support informatique pour les banques de données nationales.
Il est parfois préférable de ne pas analyser complètement les données, afin que les bénéficiaires ou la communauté dans son ensemble aient leur pierre à apporter au travail d'interprétation des résultats, car une participation plus active devient possible si les informations sont présentées non pas comme des faits acquis, mais comme des éléments dont la signification reste à trouver. Les résultats de l'analyse auront ainsi plus de chances d'être représentatifs du projet et d'être plus largement acceptés.
Une fois les résultats obtenus, qu'en faire? Quelles décisions influenceront-ils? A qui les communiquer? Trop souvent des résultats valables, fiables et d'un intérêt vital restent en fin de compte inexploités. Il importe donc que les résultats soient portés à la connaissance de qui de droit au moment opportun. Il importe également qu'ils soient exprimés de façon compréhensible.
La première utilité de l'information est d'aider à prendre les décisions. C'est pourquoi la communication des résultats est dans une grande mesure gouvernée par les destinataires et par l'identité de ceux à qui il appartient de prendre telle ou telle décision.
La communication en retour des résultats peut donc se faire à l'intention de certains ou de tous les usagers potentiels de l'information.
| Bénéficiaires du projet: Personnel de projet: Autres: (ordre non hiérarchique) |
|
Après avoir déterminé qui est intéressé par les résultats, la méthode de restitution de l'information peut être adaptée sur mesure. On s'assurera que la restitution est:
| Utile: | appliquer une méthode de communication qui éveille l'attention de ceux à qui on s'adresse. |
| Compréhensible: | communiquer dans la langue des destinataires. Il s'agit autant de choisir entre français, arabe ou créole que d'éviter tout jargon incompréhensible pour les membres des communautés. |
| Convaincante: | les résultats ne doivent pas se contenter de traduire l'opinion de quelques-uns. Il importe de présenter des faits circonstanciés et des informations vérifiées par les membres de la communauté qui n'ont pas participé à la collecte et à l'analyse des données. |
| Opportune: | informer les décideurs à temps pour qu'ils puissent prendre en compte ce qu'ils apprennent. |
| Simple: | présenter les faits essentiels, exprimés clairement. Il est difficile mais indispensable d'opérer le tri de ce qui est agréable à entendre et de ce dont il faut bien convenir, pour que le bilan soit clair. |
| Participative: | il appartient à la communauté de décider ce qu'il faut communiquer aux parties concernées, et comment. C'est son histoire, et elle sera d'autant plus efficacement contée qu'elle le sera à sa manière. |
La façon de communiquer les résultats peut être étroitement liée aux outils de collecte de l'information dont on s'est servi. Si par exemple on a réalisé une étude communautaire sur l'évolution des modes d'aménagement de la forêt naturelle voisine, on peut en dériver une pièce de théâtre, enregistrée en vidéo et montée avec la participation de la communauté pour être diffusée auprès d'un auditoire plus large, ou simplement jouée à l'intention des villages voisins.
Quoique cela demande un peu d'imagination, on peut combiner dans une même présentation des résultats qualitatifs et quantitatifs. Il suffit de penser à un bulletin d'informations télévisées. Les statistiques s'y juxtaposent aux citations ou aux commentaires de personnes concernées par le sujet. L'auditoire reçoit ainsi un message complexe mais intelligible et complet.
Communication écrite
Si l'on choisit l'écrit, voici quelques suggestions qui donnent au rapport un impact plus fort.
Communication graphique des résultats
Tableaux et graphiques sont un moyen commode de présenter des informations avec clarté et concision. Ils peuvent s'intégrer dans les rapports, les bulletins, les feuilles d'information distribuées aux réunions, ou s'employer en affiches, diapositives, panneaux muraux et autres moyens d'information visuelle.
A. Tableaux et graphiques
Les principaux avantages des tableaux et graphiques sont de permettre:
Lorsqu'on présente des tableaux et graphiques, toujours veiller à:
Un tableau peut contenir des mots et des chiffres. On peut par exemple dresser la liste des plans et des activités de projet, et indiquer l'état d'avancement des différents éléments. Les chiffres se rapportant aux finances du projet, au taux de survie des jeunes plants ou à la production de différentes essences peuvent être présentés en tableaux. Certains tableaux peuvent ne donner qu'un petit nombre d'informations, par exemple:
Quand le taux d'analphabétisme est élevé, les mots et les chiffres simples peuvent être remplacés par des symboles ou des dessins; on voit, on comprend et on retient mieux ainsi les résultats de l'évaluation:
Les graphiques permettent d'indiquer des résultats de façon claire et concise, dans un espace restreint. Ils servent en général à présenter simultanément plusieurs résultats différents ou une série d'informations. Ils indiquent aussi si des changements se sont produits, et quand, ce qui permet de mettre en évidence les tendances:
Si l'on trace des courbes, veiller à:
L'histogramme est un type de graphique qui montre la fréquence d'un événement, et qui est utile pour représenter des informations limitées mais précises. On porte sur l'axe horizontal les caractéristiques particulières que l'on prend en considération, et sur l'axe vertical la fréquence des dites caractéristiques. Voici un exemple d'histogramme:
B. Diagrammes
Les résultats que l'on peut présenter sous forme de diagramme pourraient l'être aussi sous forme de graphique. Le diagramme à barres sert à comparer différents éléments d'information simultanément. La hauteur (ou la longueur) de chaque barre indique la quantité qu'elle représente. Contrairement aux histogrammes, les barres sont séparées les unes des autres par un espace:
Quelques conseils à observer pour réaliser les diagrammes à barres:
Pour montrer les différentes parties d'un ensemble les unes par rapport aux autres, les diagrammes circulaires sont commodes, et sont d'autant plus compréhensibles qu'on les compare à un objet familier que l'on peut découper en parts (pièce de monnaie, orange, gâteau).
Les cartes-diagrammes permettent de donner visuellement des informations facilement compréhensibles. En s'aidant de dessins et de couleurs, on représente les différences entre certaines variables de façon immédiatement visible.
 |  |
 |
C. Illustrations et pictogrammes
Le pictogramme est une sorte de diagramme qui utilise des dessins ou des symboles pour représenter les données et les grandeurs. Chaque symbole représente une seule personne, ou une unité particulière.
Les dessins humoristiques permettent de bien faire passer le message, mais il faut un certain talent et une bonne pratique pour obtenir de bons résultats. Certains résultats d'évaluation se prêtent à ce mode d'expression: on se souvient en effet mieux de ce qui a frappé ou fait rire. Les dessins ci-après ont servi à communiquer à des vulgarisateurs les résultats d'une évaluation des pratiques de suivi-évaluation de leur projet.
D. Autres methodes
Les saynètes, le théâtre de marionnettes, les contes, les chansons, etc., permettent de communiquer des informations qualitatives de façon vivante, et peuvent faire l'objet de montages audio-visuels ou d'enregistrements vidéo pour toucher un public plus étendu.
Les enregistrements sonores fournissent des informations que l'on exploitera par la suite; ils peuvent être diffusés devant un auditoire nombreux ou en petit comité, stimulent le débat, et pourront être utilisés sur les radios locales.
Quelle que soit la façon de communiquer les résultats, il faut toujours le faire en temps opportun, de façon compréhensible et utile pour les utilisateurs, et veiller à la fiabilité des informations.
