Annexe 3 : Guide d'évaluation des programmes de prévention des chutes

[Précédente] [Table des matières]

Évaluation des programmes de prévention des chutes

I. Qu'est-ce qu'une évaluation?

Une évaluation est le processus qui permet de déterminer si un programme ou un volet particulier d'un programme est bien efficace, approprié ou significatif et, dans le cas contraire, de les modifier pour qu'ils le deviennent. De plus, l'évaluation produira les renseignements voulus pour démontrer si un programme présente des avantages ou des problèmes. L'évaluation doit être considérée comme un élément essentiel et intégral de tout programme1 et elle en fait partie depuis le tout début. Elle peut comprendre diverses méthodes pour évaluer les nombreux aspects du programme. Quantité de livres, de guides, de pages web et d'autres genres de documents offrent de l'information sur la manière de faire une évaluation. Toutefois, nul besoin d'être expert pour procéder à une évaluation utile. Les programmes dont l'évaluation démontre une forte probabilité de réussite ont bien plus de chances de bénéficier de l'appui communautaire, régional, financier et législatif.

II. Objet de l'évaluation

De nombreuses personnes croient que l'évaluation sert à faire ressortir le succès ou l'échec d'un programme. Tel n'est pas nécessairement le cas. L'évaluation vous permet d'offrir les meilleurs programmes qui soient dans votre milieu communautaire. Elle vous aide à tirer profit de vos erreurs, à modifier les étapes de la programmation à mesure que vous progressez et finalement à déterminer si vous avez atteint votre objectif. Sans évaluation, vous ne pouvez dire si votre programme aide vraiment les gens que vous voulez aider. L'évaluation permet à tous les intervenants, qu'ils soient participants ou programmeurs, d'avoir leur mot à dire dans le processus de programmation.

L'expérience des participants constitue une importante source d'information. En leur demandant ce qui a fonctionné ou non et ce qu'ils recommanderaient pour un futur programme, vous éviterez des pièges et gagnerez une vision utile. Elle transmet également un message important aux participants - leur opinion et leur expérience comptent! De même, en faisant participer le personnel chargé de la programmation au processus d'évaluation, vous leur donnez la chance de savoir que leur travail compte pour beaucoup!

III. Pourquoi évaluer les programmes de prévention des chutes et des blessures?

L'évaluation est perçue par plusieurs comme une activité qui avale les quelques dollars disponibles et des ressources qui pourraient être consacrées au service et ne lui apporte pas d'avantage réel. Bien menée, l'évaluation peut toutefois accomplir de nombreuses fonctions utiles qui à la longue amélioreront le programme. En voici quelques exemples :

• rendre compte de ce qui a été accompli tout au long du financement du projet.
• promouvoir la connaissance des stratégies de promotion de la santé qui fonctionnent en milieu communautaire et celles qui ne fonctionnent pas.
• contribuer au volume de connaissances sur la prévention des blessures.
• apprendre si la documentation proposée convient à votre public cible.
• découvrir si les programmes atteignent les résultats souhaités.
• découvrir si les programmes présentent des avantages ou des problèmes.
• permettre aux planificateurs et aux dispensateurs du programme d'améliorer et de recourir à des services existants.
• produire des données utiles pour de futurs programmes ou politiques.
• connaître si certains aspects du programme doivent être changés alors que d'autres devraient rester.
• démontrer l'efficacité du programme aux yeux de la population concernée, aux commanditaires actuels ou éventuels ou aux personnes intéressées à mettre de semblables programmes en ouvre.
• contribuer au développement des politiques.

Un processus d'évaluation bien conçu donnera des renseignements auxquels on ne pensait même pas. L'information englobera des aspects de ce qui ne marche pas aussi efficacement que ce qui avait été prévu et ceux qui dépassent les attentes. En comprenant bien pourquoi certaines choses vont bien et d'autres pas, on peut améliorer et adapter les programmes.

IV. Éléments d'une évaluation

A. Étapes de base :

Tout programme d'évaluation doit inclure les éléments suivants :

1. Un énoncé clair et précis définissant les objectifs de l'évaluation. Cet énoncé inclut les buts mesurables du projet qui soulignent ce que le projet doit accomplir. Même si ce n'est pas évident, certains évaluations font fausse route parce que ce travail initial n'a pas été fait. Plus vous êtes précis à propos de ce que vous voulez examiner, plus efficace vous serez dans votre évaluation, moins de temps vous y consacrerez et finalement elle vous coûtera moins cher.
2. Une population cible bien définie et un groupe de référence ou groupe témoin (qui peut être un groupe utilisé au début et à la fin pour trouver la différence). Soyez aussi précis que possible.
3. Un aperçu écrit du genre de renseignements à recueillir et de quelle façon cette information a trait aux objectifs que votre programme veut atteindre. Cet aperçu peut inclure l'information à recueillir, qui possède cette information et la façon dont elle sera recueillie.
4. Une méthode de cueillette de l'information qui réponde aux objectifs de l'évaluation et produise le type de renseignements recherchés.
5. Un plan désignant et mettant à l'essai les instruments qui serviront à recueillir l'information (par exemple, ces outils sont-ils rédigés dans une langue que vos participants vont comprendre facilement, est-il possible de les utiliser en fonction du temps prévu, permettront-ils de saisir l'information souhaitée?).
6. Recueillir l'information auprès des membres de la population visée.
7. Structurer l'information dans un format qui en permet l'analyse.
8. Analyse de l'information recueillie.
9. Rapport écrit de l'évaluation décrivant les résultats de l'évaluation.

B. Planifier l'évaluation de votre programme

Idéalement, l'évaluation fait partie intégrale du cycle de programmation qui débute dès que l'idée du programme de prévention des chutes ou des blessures a germé, est présente dans toutes les activités tout au long du programme et prend fin avec le programme ou se poursuit par après pour déterminer si le programme a donné des effets pendant une bonne période.

Voici un bref aperçu de cinq questions clés susceptibles de vous aider à préparer votre évaluation, à en présenter le processus à vos collègues et à orienter votre rapport :

1. Avons-nous fait ce que nous avons dit que nous ferions?
2. Qu'avons-nous appris sur ce qui a fonctionné ou non?
3. Quels résultats concrets notre travail a-t-il donné?
4. Que pourrions-nous faire de différent?
5. Comment allons-nous utiliser les résultats de l'information pour continuer à apprendre?

Le coût dépendra du type d'évaluation requise, mais un bon critère serait de consacrer 10 % du budget total de votre programme à l'évaluation. De plus, vous voudrez peut-être engager un consultant en évaluation de programmes pour vous aider à mettre au point, à mettre en ouvre et à résumer votre évaluation.

C. Genres d'évaluation

Il existe plusieurs approches différentes à une évaluation : l'évaluation des besoins, l'accréditation, l'analyse coûts-avantages, l'efficacité, l'efficience, l'évaluation réflexe, l'évaluation sommative, les objectifs visés, le procédé, les résultats, etc. Certains types d'évaluation sont plus courants :

1. L'évaluation réflexe - Ce genre d'évaluation aide à répondre à la question : « Le programme que nous proposons sera-t-il efficace auprès de la population que nous voulons atteindre? »
   
   • Quand l'utiliser : au moment de la préparation d'un nouveau programme ou lorsqu'un programme existant est changé, connaît des ratés ou est utilisé auprès d'une nouvelle population.
   • Ce qu'elle démontre : si les stratégies proposées sont susceptibles d'atteindre le public visé, et si ce public les comprend et les accepte.
   • Pourquoi elle est utile : elle maximise la possibilité que le programme réussisse et permet aux programmeurs d'apporter des révisions avant que tous les efforts soient déployés.
2. L'évaluation basée sur le processus - Elle aide à répondre à la question : « Le programme fonctionne-t-il réellement bien et quelles en sont les forces et les faiblesses? »
   
   • Quand l'utiliser : dès le début du programme.
   • Ce qu'elle démontre : si le programme fonctionne bien selon le plan initial.
   • Pourquoi elle est utile : détermine rapidement les problèmes et aide à évaluer comment les stratégies et les divers éléments fonctionnent.
3. L'évaluation des effets - Elle aide à répondre à la question : « À quel point notre programme atteint-il ses objectifs (intermédiaires)? »
   
   • Quand l'utiliser : quand le programme a terminé un cycle au contact des membres du groupe cible.
   • Ce qu'elle démontre : jusqu'à quel point le programme atteint ses objectifs intermédiaires (par exemple, combien de personnes ont modifié leur comportement ou leur environnement).
   • Pourquoi elle est utile : elle permet des données utiles de planification aux programmeurs à des fins de planification future et de financement.
4. L'évaluation basée sur les résultats - Elle aide à répondre à la question : « Quels avantages les participants devraient-ils tirer de mon programme? »
   
   • Quand l'utiliser : quand le programme est terminé.
   • Ce qu'elle démontre : jusqu'à quel point le programme a un effet sur les résultats de santé des participants.
   • Pourquoi elle est utile : elle offre des données probantes de succès pour de futurs programmes, le financement et la promotion de la santé.

D. Liste de vérification du plan d'action pour la planification et l'évaluation des programmes

Voici une liste de vérification à utiliser à des fins de planification et d'évaluation des programmes :

1. Tentez d'abord de découvrir s'il n'existe pas déjà dans votre communauté ou ailleurs un programme efficace du genre de celui que vous avez en tête. Une bonne source d'information peut bien être le document qui accompagne le présent rapport, soit le Répertoire national des programmes canadiens de prévention des chutes (2001);
2. S'il existe un programme semblable, discutez-en avec le coordonnateur et prenez connaissance de son rapport d'évaluation. Adaptez au besoin le programme pour répondre à vos besoins;
3. Décidez si vous avez besoin d'aide financière;
   
   • trouvez les organismes communautaires, régionaux, provinciaux ou fédéraux qui versent des subventions pour le genre de programme que vous envisagez; et
   • il arrive souvent que des clubs de service (Rotary, Lions, etc.) ou des entreprises (banques ou caisses populaires) appuient ce genre de programme.
4. Décidez où vous allez puiser votre soutien non monétaire :
   
   • trouvez les organismes régionaux ou provinciaux qui offrent de l'aide technique pour le genre de programme que vous voulez lancer (par exemple les organismes régionaux de santé, les services de prévention et de recherche sur les blessures, les centres du vieillissement, les services de prévention des blessures, les services de santé); et,
   • trouvez les groupes communautaires et d'affaires susceptibles d'appuyer votre programme et vous apporter de l'aide (par exemple les services d'incendie, les centres locaux de santé).
5. Tracez un plan pour votre programme de prévention des chutes ou des blessures. N'oubliez pas de prévoir votre évaluation dès le début. Évaluez l'aperçu. Parlez avec de petits groupes de personnes que vous voulez rejoindre avec votre programme. Consultez des gens qui ont de l'expérience avec des programmes du genre de celui que vous voulez mettre en ouvre. Demandez-leur de revoir vos plans et modifiez-les au besoin en tenant compte de leurs commentaires.
6. Élaborez un plan déterminant l'aide financière, technique et autre dont vous aurez besoin auprès des organismes, des commerces ou des groupes communautaires que vous avez identifiés. Utilisez l'aperçu de votre programme pour faire état de votre planification, de votre engagement et de votre expertise.
7. Utilisez votre plan pour obtenir de l'aide et passer à l'action. Notez les contacts que vous faites, leurs commentaires et leurs engagements.
8. S'il survient des problèmes imprévus dans votre recherche d'aide, faites une nouvelle évaluation. Découvrez pourquoi l'aide ne vient pas et demandez des recommandations ou des modifications pour assurer le financement ou des recommandations auprès d'autres organismes plus appropriés.
9. Développez vos instruments, procédures et documents, et mettez-les à l'essai. Demandez à quelques personnes de votre groupe cible et à des organisations qui se sont engagées à vous offrir de l'aide technique de revoir votre matériel et modifiez-le en tenant compte de leurs réactions.
10. Commencez la mise en ouvre de votre programme.
11. Gardez en note les contacts, les participants, les défenseurs et les critiques de votre programme. Gardez tous les articles distribués ou recueillis par les participants pendant toute la durée de votre programme.
12. S'il se présente des problèmes imprévus pendant que votre programme est en marche, réévaluez pour en découvrir les causes et les solutions.
13. Utilisez les données recueillies pour évaluer jusqu'à quel point votre programme atteint ses objectifs.
14. Utilisez les résultats de cette évaluation pour justifier la poursuite du financement et du soutien à votre programme.
15. Partagez les résultats de votre programme et de votre évaluation avec d'autres intervenants au moyen de bulletins, de téléconférences, de conférences provinciales ou d'autres publications.

E. Autres facteurs à considérer

Outre les aspects déjà mentionnés, il vous faut considérer d'autres facteurs quand vous élaborez un nouveau programme de réduction des chutes et des blessures qu'elles provoquent. Trois facteurs importants à considérer sont l'acceptabilité du programme, sa faisabilité et sa viabilité.

1. Acceptabilité
   Pour contribuer à réduire les chutes et les blessures qui y sont associées, vous devez changer le comportement des gens et l'environnement. Il est souvent difficile d'y parvenir et les aînés vont résister aux changements aussi fort que n'importe qui. Un des obstacles quand on travaille avec des personnes âgées est qu'elles doivent d'abord accepter le changement et de nombreux aînés vont associer les changements en vue de réduire les chutes au fait qu'ils se font vieux et fragiles. Un tel stigmate crée une résistance au changement. Le changement requiert souvent un nouveau comportement, comme l'exercice, auquel il faut s'habituer ou qui nécessite des mesures " intrusives " comme des modifications au domicile. Ces obstacles à l'adoption de stratégies de réduction des facteurs de risque sont compliqués par le fait que les aînés voient ces changements comme une preuve du processus de vieillissement. Il faut donc que les stratégies du programme rendent ces changements aussi acceptables que possible pour les aînés. Le genre d'intervention, le degré d'engagement du public visé dans la formation et la mise en application du programme, ainsi que la façon dont l'information et le programme sont présentés aux aînés ont tous un effet sur l'acceptation du programme par les intéressés.
2. Faisabilité
   Quand vous planifiez un nouveau programme, une des considérations devrait être de savoir si le programme peut être appliqué avec succès. Des questions comme la faisabilité ont été abordées tout au long de ce document, principalement en ce qui a trait au coût des efforts de réduction des facteurs de risque et d'avoir les ressources humaines, les connaissances et les aptitudes nécessaires pour mener le programme à bien. D'autres facteurs propres à la faisabilité d'un projet peuvent porter sur l'infrastructure voulue pour livrer et administrer le programme et faire en sorte que tous les éléments sont en place pour réduire effectivement les facteurs choisis. La faisabilité représente aussi un important élément de la mise en ouvre d'une nouvelle politique, puisqu'il faut s'assurer que les organismes et les personnes intéressées ont la capacité et les ressources pour mettre en ouvre et suivre cette politique. Autrement, la politique peut très bien être inefficace, quelles que soient les bonnes intentions qui l'accompagnent.
3. Viabilité
   La viabilité se dit pour la capacité d'un programme de survivre après une inauguration initiale. Plusieurs aspects de la faisabilité ont aussi trait à la viabilité, mais il y en a d'autres. Le premier enthousiasme d'élaboration et de mise en place d'un nouveau programme passé, il faut assurer une bonne gestion et une bonne infrastructure pour poursuivre le programme. De plus, le financement d'un nouveau programme est souvent de courte durée et il importe de trouver des sources fiables et durables pour en assurer l'avenir. L'évaluation du programme est particulièrement importante à l'obtention de nouveaux fonds puisque les programmes qui peuvent démontrer qu'ils sont bien acceptés par le public visé et ont des effets positifs ont plus de chance de susciter de l'intérêt, de la considération et de l'appui que ceux qui ne peuvent en faire la preuve.

IV. Réferences d'évaluation

Minister of Health & Welfare Canada. (1996). Guide to project evaluation: a participatory approach. Ottawa, Ontario.

McNamara, C. (2001). Basic Guide to Program Evaluation.
http://www.mapnp.org/library/evaluatn/fnl_eval.htm (Lien externe)

Thompson, N. & McClintock, H. (1998). Demonstrating Your Program's Worth. Report for the National Center for Injury Prevention and Control. Atlanta, Georgia.

 

[Précédente] [Table des matières]