Guide d'évaluation de projet : Une démarche participative

6. Collecte des données d'évaluation

L'évaluation participative s'appuie sur la collecte systématique et rigoureuse de données par le personnel de projet et autres intervenants. Elle fait appel à des données tant quantitatives que qualitatives pour mesurer la réussite du projet, pour clarifier la problématique et décider des caractéristiques, des activités et des effets escomptés grâce aux projets.

6.1 Détermination des besoins en matière de collecte de données

On détermine les besoins en données d'évaluation en répondant aux trois questions suivantes :

1. De quelle information a-t-on besoin?
2. Qui peut fournir cette information?
3. Comment aller chercher cette information?

1. De quelle information a-t-on besoin?

Les responsables de projet doivent recueillir les données d'évaluation qui permettent de répondre aux cinq questions fondamentales. On détermine le type spécifique de données à recueillir pendant l'exécution des premières étapes du projet, autrement dit en même temps qu'on définit les buts, les objectifs et les indicateurs de réussite.

2. Qui peut fournir cette information?

Les personnes qui sont en position de fournir l'information utile à l'évaluation du projet ne sont pas les mêmes d'un projet à l'autre. Les gens auprès de qui il est en général important de recueillir l'information sont les suivants :

• les groupes responsables du projet, le personnel de projet et les bénévoles
• les consultants en programme
• la population visée
• les consommateurs du service en question
• le grand public
• les membres du comité consultatif
• les autres prestateurs du service en question
• les partenaires associés au projet.

Caractéristiques d'un bon processus de collecte d'information :

• utile
• pratique
• collaboratif
• systématique
• continu
• précis
• éthique

3. Comment aller chercher cette information?

• Cet outil s'apparente à l'entrevue individuelle par le procédé et la fonction, mais il se fait par téléphone
• Ce genre d'entrevue coûte moins cher à administrer que l'entrevue en tête-à-tête.

Conseils et mises en garde :

• Pour augmenter les chances de discussion approfondie, envoyez au préalable à la personne que vous allez questionner un exemplaire du guide d'entrevue.
• L'entrevue, tant en personne que par téléphone, est la solution de rechange aux groupes de discussion quand on tient à éviter que les réponses de chaque participant soient influencées par la présence des autres.

Groupe de discussion

• Cet outil consiste à inviter une dizaine ou une douzaine de personnes, une fois, pendant environ une heure, à échanger leurs points de vue et leurs suggestions de stratégies;
• La discussion peut être guidée par un ordre du jour précis, semblable au guide d'entrevue, de sorte qu'elle ne s'écarte pas du sujet;
• On a recours à cet outil quand on veut comprendre en détail les attitudes, les comportements, les sentiments et les connaissances (données qualitatives) d'un groupe de personnes, par ex. le personnel de projet ou un comité consultatif de projet, sur un éventail de questions.

Conseils et mises en garde :

• L'animateur doit rester neutre et ne pas porter de jugement; il doit savoir empêcher les participants de s'écarter du sujet.
• C'est une méthode particulièrement utile quand il s'agit de réfléchir aux conclusions de l'évaluation et d'en tirer les leçons essentielles. Elle peut également servir à élaborer les grandes lignes préliminaires d'un nouveau programme ou à tester des messages que l'on envisage d'utiliser dans des trousses éducatives ou de faire diffuser par les médias.
• Ce n'est pas une bonne méthode s'il s'agit de parvenir à un consensus ou de prendre des décisions finales.

Observation des participants

• Repose davantage sur l'observation comme telle que sur des questions;
• Sert à mieux comprendre les comportements, le contexte social dans lequel ceux-ci se produisent et les significations que les personnes y attachent;
• Les observateurs notent ce qu'ils observent; ils analysent ce qui s'est passé et pourquoi.

Conseils et mises en garde :

• Cette méthode est parfois la seule qui permette de recueillir des données auprès de certaines populations avec lesquelles il est difficile d'entrer en communication (par ex. les personnes qui fréquentent des lieux propices au commerce du sexe ou de la drogue).
• Comme c'est le cas avec toutes les techniques qualitatives, les résultats ne sont pas toujours généralisables à l'ensemble de la population étudiée.

Journal de projet

• Les responsables de projet, le personnel et les participants sont invités à tenir un journal pendant toute la durée du projet;
• Le journal fournit des données qualitatives.

Conseils et mises en garde :

• Il est important de donner aux participants des indications claires quant à la façon de tenir le journal : le type de renseignements recherchés, la façon dont les renseignements seront utilisés, la confidentialité, etc.
• Cette méthode permet entre autres de découvrir les impacts non prévus d'un projet.
• Certaines personnes boudent cette méthode parce que la façon de tenir le journal n'obéit pas à des règles structurées.

Dossiers du programme

• Analyse des documents écrits (comptes rendus de réunions, registre où l'on consigne les appels téléphoniques, formulaires d'admission, directives, dossiers financiers, feuilles de présence);
• À partir de ces dossiers, on peut apprendre à quoi les personnes s'intéressent, ce qu'elles préfèrent, quelles sont leurs habitudes quant à l'utilisation des services et l'endroit où elles trouvent ces services;
• Un dépouillement systématique des dossiers peut souvent livrer des données d'évaluation importantes, tant quantitatives que qualitatives;
• C'est une source peu coûteuse d'information.

Conseils et mises en garde :

• Cet outil est d'un intérêt limité du fait que les dossiers ne portent que sur les modes de comportement existants et qu'ils ne montrent pas les autres besoins, attentes ou préférences.
• Il est important de déterminer, dès le début d'un projet, les données d'évaluation dont on aura besoin de façon à être sûr que les dossiers nécessaires seront tenus tout au long du projet.

Outils de collecte d'information

Méthodes non traditionnelles de documentation

• Les outils d'évaluation non verbaux ou non écrits permettent de mieux tenir compte des questions de diversité et d'accessibilité;
• Exemples de ce type d'outils : dessins, croquis et caricatures, conception d'affiches, photographie, réalisation de bandes audios ou vidéos, cahiers ou albums, etc.

Conseils et mises en garde :

• Les données qualitatives ainsi recueillies sont souvent plus difficiles à analyser et à généraliser;
• Par contre, on obtient plus facilement des réponses de la part des personnes qui ne sont pas à l'aise avec l'écrit.

Aucun de ces outils d'évaluation, à lui seul, ne peut livrer toutes les données nécessaires à l'évaluation. Vous devez mettre au point la panoplie d'outils qui correspond le mieux aux besoins de votre projet particulier et des ressources dont vous disposez. Mais, quels que soient les outils choisis, rappelez-vous qu'ils doivent réfléter les conseils suivants pour être efficaces.

Conseils sur la façon de concevoir des outils d'évaluation efficaces

• Recherchez la brièveté et la simplicité.
• Utilisez un langage simple et éviter le jargon.
• Dans les outils exigeant des réponses écrites
  • employez des gros caractères
  • évitez de surencombrer le questionnaire
• laissez beaucoup de zones blanches
  • laissez beaucoup de place pour les réponses.
• Demandez aux personnes interrogées de répondre de préférence par des mots clés et d'indiquer les principales leçons qu'elles ont tirées du projet.
• Élaborez les outils d'évaluation en consultant les personnes qui vont les utiliser.
• Demandez seulement l'information qui servira.

6.3 Exemples d'outils d'évaluation

Les annexes du présent guide donnent, à titre d'exemple, un certain nombre d'outils d'évaluation qui ont été créés dans le cadre de projets administrés dans les communautés. Nous espérons que les responsables de projet y puiseront des idées qu'ils pourront adapter et compléter pour élaborer les outils correspondant à leur projet. Les questions de chacun des formulaires ont été formulées spécifiquement dans le but de recueillir des données répondant aux cinq questions fondamentales de l'évaluation.

Exemples de formulaires d'évaluation joints en annexe :

Annexe 6.	Questionnaires sur les réactions des participants à un atelier sur l'évaluation
Annexe 7.	Entrevue téléphonique guidée - Manuel sur les ressources communautaires pour les femmes atteintes du cancer du sein
Annexe 8.	Guide d'entrevue pour les groupes de discussion - Programme de sensibilisation à la sécurité des enfants
Annexe 9.	Directives concernant la tenue d'un journal de projet - Programme de sensibilisation à la sécurité des enfants
Annexe 10.	Questionnaire administré par la poste - Conseil consultatif - Projet sur la santé et les femmes handicapées
Annexe 11.	Questionnaire administré par la poste - Prestateurs de services de santé - Projet sur la santé et les femmes handicapées

Table des matières