Guide d'évaluation de projet : Une démarche participative

5. Élaboration des indicateurs de réussite

Décider, dès la phase de conception d'un projet, des formes concrètes que devra prendre la réussite peut sembler vouloir mettre la charrue avant les boeufs. Souvent les responsables de projet passent beaucoup de temps à élaborer les buts et les objectifs, à planifier les activités et à se préoccuper des budgets. Pourtant, leur tâche la plus ardue, c'est de se projeter en pensée à la fin du projet et d'imaginer les modifications et changements mesurables qui devront s'être produits grâce aux activités menées dans le cadre du projet. Ces changements mesurables, c'est ce que nous appelons ici les indicateurs de réussite; ils doivent être élaborés dès que les buts et les objectifs du projet sont définis. C'est donc la deuxième étape à franchir lorsqu'on planifie une évaluation de projet de grande qualité. Les responsables de projet doivent identifier les indicateurs de réussite qui sont les plus appropriés à leurs projets et qui en traduisent le mieux la réalité.

5.1 L'objet des indicateurs de réussite et de leurs mesures

Les indicateurs de réussite représentent les changements ou modifications que le groupe compte engendrer en réalisant le projet. Ces indicateurs sont déterminés par des mesures spécifiques, comme par exemple, un nombre, un pourcentage ou un degré de satisfaction.

Les indicateurs de réussite et leurs mesures doivent se rattacher directement aux buts et aux objectifs du projet puisqu'ils constituent les critères objectifs et mesurables par rapport auxquels le groupe évalue jusqu'à quel point il est parvenu à atteindre ses buts et ses objectifs.

À travers les activités menées dans le cadre de leur projet, les responsables essaient de modifier ou de changer les connaissances, les attitudes, les comportements ou les compétences d'un certain groupe de personnes - appelé le groupe cible. Pour mesurer ou évaluer l'importance du changement, il est utile de connaître, au début du projet, l'état des connaissances, des attitudes, des comportements et des compétences du groupe cible. On appelle détermination des points de référence (des points de comparaison) le travail qui consiste à mesurer cet état initial ou point de départ. Une fois qu'il connaît les points de référence, le personnel de projet peut mieux estimer l'importance du changement qu'il entend produire. L'exemple ci-dessous illustre ce processus. D'autres exemples figurent à l'annexe 4 (Exemples concernant la façon de déterminer les indicateurs par type d'activités) et à l'annexe 5 (exemples d'indicateurs de réussite relatifs à l'accroissement de la participation du public et au renforcement des groupes communautaires).

Exemple : Projet de réseau pour les femmes atteintes du cancer du sein

• Un des buts du projet est de favoriser la formation de groupes d'entraide, placés sous la tutelle d'une rescapée, pour les femmes atteintes du cancer du sein.
• L'objectif du projet qui se rattache à ce but est le suivant : expliquer aux professionnels de la santé, ainsi qu'aux sociétés ou associations du cancer, que les groupes d'entraide de ce genre sont indispensables et qu'ils donnent de très bons résultats.
• Le groupe cible du projet est constitué des 200 professionnels et professionnelles de la santé exerçant dans la zone urbaine considérée.
• Le point de référence a été établi à l'aide du questionnaire donné à remplir pour l'évaluation initiale des besoins du projet. D'après les résultats du questionnaire, on s'est aperçu que 15 p. 100 des 200 professionnels de la santé exerçant dans la communauté connaissaient les groupes d'entraide et leur utilité et qu'ils en parlaient à leurs patientes atteintes du cancer du sein.
• L'indicateur de réussite du projet est ainsi défini : faire en sorte que 60 % des professionnels de la santé apprennent l'existence des groupes d'entraide et qu'ils y envoient leurs patientes atteintes de cancer du sein.

Les responsables de projet peuvent s'inspirer des indicateurs de réussite pour formuler certaines des questions précises qu'ils poseront pendant le projet. Les groupes peuvent s'appuyer sur l'information qui est recueillie et résumée en rapport avec ces indicateurs pour commencer à répondre aux trois premières questions du plan d'évaluation : Avons-nous accompli ce que nous avions prévu de faire? Qu'avons-nous appris sur ce qui marche et sur ce qui ne marche pas? Avons-nous fait ouvre utile?

5.2 Le processus d'élaboration des indicateurs de réussite et de leurs mesures

Le choix des indicateurs de réussite qui sont les « meilleurs » ne procède pas d'une science exacte. Le cheminement suivi par les responsables de projet pour déterminer les indicateurs est aussi important que la liste finale des indicateurs auquel il aboutit. Fait dans les règles de l'art, ce cheminement est susceptible de stimuler l'engagement et l'enthousiasme à l'égard de l'évaluation. Il permet aussi aux groupes de se forger des idées raisonnables quant à ce qu'il peut accomplir.

Quelques directives concernant l'élaboration des indicateurs de réussite

Les indicateurs de réussite doivent :

1. Être axés sur les résultats, c'est-à-dire se rapporter aux résultats ou aux effets engendrés par l'activité bénéficiant d'un financement et non à l'activité elle-même.
2. Poser un certain défi, mais rester dans les limites du faisable.
3. Impliquer une comparaison significative - une comparaison dans le temps, une comparaison avec d'autres activités du même genre ou (de préférence) une comparaison par rapport à une norme crédible.
4. Être mesurables, en quantité ou en qualité. Pendant l'élaboration des indicateurs, il faut penser à la facilité ou à la difficulté de trouver et de colliger les données, compte tenu des ressources existantes.
5. Renvoyer à un résultat ou un effet qui peut être imputé avec assez de certitude au projet.
6. Être aussi pertinents que possible (directement reliés à une activité menée dans le cadre du projet et non attribuable à d'autres facteurs) et aussi fiables (susceptibles d'être répétés) que possible.
7. Répondre aux critères suivants :
   • la sélectivité : le nombre d'indicateurs doit se limiter aux sujets de préoccupation clés et ne porter que sur eux.
   • l'équilibre : les indicateurs doivent renvoyer à une gamme d'activités et de résultats qui, collectivement, fournissent une évaluation équilibrée de la réussite du projet.

l'utilité : pendant l'élaboration des indicateurs, il faut penser à l'utilisation éventuelle des données d'évaluation et faire en sorte qu'ils saisissent l'information voulue.

Le fait d'élaborer de bons indicateurs de réussite présente les avantages suivants :

• Cela permet de définir des buts et des objectifs de projet plus clairs et donc plus facilement mesurables.

• Cela permet de trouver des indicateurs de réussite novateurs qui tiennent compte des caractéristiques et des besoins particuliers de la communauté.

• Cela permet de renforcer les stratégies et les plans de travail pour surmonter certaines des difficultés qui pourraient faire échouer le projet.

• Cela permet d'attirer l'attention des évaluateurs sur les questions concernant l'impact du projet.

L'activité de la page suivante a été mise en pratique avec un certain nombre de groupes communautaires dans le but de les aider à déterminer les indicateurs de réussite de leurs projets. C'est grâce à la collaboration avec les membres du groupe cible et les responsables de projet que certains des indicateurs les plus utiles ont pu être élaborés.

5.3 Activité: Définition des indicateurs de réussite

Élaborer les indicateurs de rÉussite d'un projet

Objet :	Donner aux responsables de projet la possibilité de définir les indicateurs de réussite de leur projet.
Durée :	2 - 3 heures
Matériel :	tableau à feuilles documentation : description sommaire des objectifs du projet et liste des activités et stratégies que l'on compte entreprendre pour atteindre l'objectif. documentation : liste des Indicateurs de réussite relatifs à l'accroissement de la participation du public et au renforcement des groupes communautaires (annexe 5). Note : L'annexe 5 n'a qu'une valeur d'exemple. Les responsables de projet doivent élaborer les indicateurs de réussite qui correspondent spécifiquement à leur projet.
Activité :	Divisez les participants en sous-groupes de deux ou plus, et assignez à chaque sous-groupe un des objectifs du projet ainsi que les activités associées à cet objectif. Demandez aux différents sous-groupes de nommer, pour chaque activité, cinq choses qui selon eux montreraient le succès des activités. (Exemples d'activités possibles : campagne dans les médias, mise sur pied d'un groupe de mères de famille, production de brochures, programme d'échange de seringues, création d'un numéro 1-800). Demandez aux participants de faire appel à tous leurs sens pour élaborer les indicateurs : par ex : Quels changements s'attendent-ils à voir? à entendre? à sentir? Faites-leur exprimer les critères par une quantité chaque fois que possible. Les participants doivent être réalistes au sujet de ce qu'ils espèrent pouvoir accomplir. Rappelez-leur que, pour être utiles, les indicateurs doivent être mesurables, précis, se prêter facilement à la collecte d'information et qu'en bout de ligne, ils peuvent fournir de l'information utile. Débattre des indicateurs de réussite avec l'ensemble du groupe et ajoutez-en de nouveau. Vous pouvez consulter la liste des indicateurs relatifs à l'accroissement de la participation du public et au renforcement des groupes communautaires pour voir si l'un de ces indicateurs conviendrait au projet. Avec l'ensemble du groupe, passez les indicateurs en revue et rangez-les par ordre de priorité de manière à ne retenir que les plus utiles et les plus importants. Veillez à ce que le nombre d'indicateurs de réussite ne soit pas trop élevé compte tenu des ressources du projet. Une fois qu'il s'est entendu sur les indicateurs, le groupe peut commencer à réfléchir à la nature des données à recueillir pour étayer le degré de réussite.

5.4 Indicateurs de réussite adaptés à des types d'activités

Bien que les projets financés en vertu des programmes de Agence de la santé publique du Canada soient de nature extrêmement diverse, certains types d'activités reviennent plus fréquemment que d'autres. Ces types sont les suivants :

• évaluation des besoins
• éducation et sensibilisation
• création de ressources
• développement des compétences
• élaboration de modèles novateurs
• élimination des obstacles à la santé

L'annexe 4 donne des exemples de projets par type d'activités, ainsi que les indicateurs correspondants et les mesures de réussite qui peuvent être utilisés. Ils sont donnés uniquement à titre indicatif et illustratif.

L'annexe 5 fournit des exemples d'indicateurs de réussite relatifs aux deux impacts principaux des programmes/projets de promotion de la santé - l'accroissement de la participation du public et le renforcement des groupes communautaires.

Ces exemples sont donnés dans le but de stimuler la réflexion et d'enclencher le processus d'élaboration des indicateurs de réussite qui sont propres à un projet.

Table des matières