PROGRAMME D’ACTION COMMUNAUTAIRE POUR LES ENFANTS (PACE)

CONÇU SUR MESURE : DONNÉES QUALITATIVES ET ÉTUDE D’ÉVALUATION AXÉE SUR LE POUVOIR D’ACTION

5e Conférence internationale sur les recherches médicales qualitatives
Université de Newcastle (Australie)
Séance 10.4 - Services de santé et évaluation des politiques
Le vendredi 9 avril 1999 (11 h - 11 h 20)

Format PDF (22 KB)

Veuillez prendre note que le présent document a été publié par Santé Canada avant l'annonce de la création de l'Agence de la santé publique du Canada le 24 septembre 2004. Toute référence à Santé Canada devrait être considérée comme étant une référence à l'Agence de la santé publique du Canada.

 

Auteures:		Nicole Bernard, Pauline Raven, Michelle Rivard, Yolande Samson, Madine VanderPlaat, Lynn Vivian Book
Présentatrice:		Yolande Samson Consultante en évaluation, Santé Canada 1557, rue Hollis, bureau 709 Halifax (Nouvelle-Écosse), Canada B3J 3V4 Yolande_Samson@hc-sc.gc.ca

Au cours de la dernière décennie, la terminologie relative au pouvoir d’action s’est répandue dans les écrits sur la promotion de la santé, l’éducation et le bien-être social. Le présent document, qui reflète les opinions des gestionnaires du gouvernement, des travailleurs communautaires et de la chercheuse principale, analyse les obstacles surgis au cours des différents stades de l’évaluation d’un programme communautaire de promotion de la santé. Il explique comment, en modifiant notre conception du pouvoir d’action, nous avons surmonté ces obstacles. Ce document décrit en particulier certaines des leçons que l’équipe de recherche a apprises lorsque nous avons tenté de réconcilier les principes et les politiques d’une approche participative et qualitative d’une part et les exigences traditionnelles d’une évaluation de programme d’autre part. Il analyse aussi nos efforts de mettre en pratique les leçons que nous avons apprises.

Je vais tout d’abord décrire brièvement le programme soumis à l’évaluation. Le Programme d’action communautaire pour les enfants, souvent désigné sous l’acronyme PACE, est une initiative d’envergure nationale qui vise à améliorer la santé et le bien-être des enfants canadiens (âgés de zéro à 6 ans) et de leurs familles, surtout celles qui requièrent du soutien additionnel parce qu’elles vivent des situations difficiles comme la pauvreté ou l’isolement social, ou parce qu’elles font partie de ce qu’on appelle traditionnellement les familles « à risque ». Le PACE, qui fait appel à une stratégie de promotion de la santé axée sur le pouvoir d’action, est dirigé par les participants eux-mêmes; en effet, ce sont les participants qui décident comment le projet sera réalisé, quels programmes seront offerts et comment les ressources disponibles seront réparties. Les projets du PACE peuvent prendre diverses formes, mais au Canada atlantique, où cette évaluation a eu lieu, un projet typique est normalement associé à un centre de ressources familiales situé dans une localité centrale avec des sites satellites dans des communautés rurales ou éloignées. Les projets du PACE offrent divers programmes destinés aux parents, aux enfants et aux familles (parents et enfants), tels que des haltes-garderies, des cours d’habilités parentales, des joujouthèques, des cuisines communautaires, etc.

Puisque le PACE est financé par Santé Canada, il doit subir périodiquement une évaluation formelle. L’évaluation à l’échelle nationale, effectué à l’aide d’outils normalisés afin de recueillir des données quantitatives comparables, a permis de mesurer le progrès et l’impact de tous les projets du PACE à travers le Canada. L’évaluation portant sur la région de l’Atlantique était essentiellement qualitative et elle a contribué à enrichir et à approfondir les données quantitatives obtenues au niveau national. Cette évaluation régionale, qui a pris deux ans et coûté un million de dollars, a impliqué cinq ministères gouvernementaux au niveau fédéral et provincial et les responsables de plus de 40 projets communautaires du PACE. Il s’agit d’une des plus grandes évaluations portant sur le pouvoir d’action jamais réalisées au Canada.

En faisant l’évaluation, il était essentiel de tenir compte des principes fondamentaux du PACE, c’est-à-dire il fallait que l’approche de l’évaluation soit axée sur le pouvoir d’action. Par conséquent, la stratégie d’évaluation que nous avons employée était basée sur un modèle de recherche-action participative qui exigeait un travail d’équipe de la part des gens de la communauté, des gestionnaires du gouvernement et des évaluateurs universitaires.

L’évaluation du PACE au Canada atlantique a commencé comme un projet de recherche assez traditionnel axé sur le pouvoir d’action. Nos idées quant aux facteurs de pouvoir d’action et quant à la façon dont tout le monde s’intégrait dans le processus s’inspiraient en grande partie des modes de participation traditionnels exposés dans les ouvrages de recherche ainsi que de notre propre expérience dans le domaine de la planification, de la mise en oeuvre et de l’évaluation de programmes communautaires gouvernementaux. En plus de disposer d’une équipe de gestion comprenant des représentants de toutes les parties intéressées, nous avons formé des gens de la communauté pour qu’ils puissent procéder à des recherches et nous avons mis sur pied des équipes regroupant des chercheurs, des travailleurs communautaires et des parents afin de coder, analyser et interpréter les données. Assez naïvement, nous croyions qu’il suffisait d’impliquer les participants du PACE à toutes les étapes de l’évaluation pour que l’évaluation soit responsabilisante et pour qu’elle respecte une éthique d’émancipation. Les fonctionnaires et les universitaires parmi nous ne se sont guère donné la peine de réexaminer leur propre rôle, à part l’objectif de ne pas s’imposer. Autrement dit, la notion de « participation » ne s’appliquait en général qu’aux gens inscrits comme participants du PACE.

Mais cette démarche s’est vite révélée inappropriée. Donc, nous étions obligés de réexaminer attentivement notre conception du pouvoir d’action et les implications pratiques de cette conception. Après avoir mis au point l’analyse préliminaire, nous nous sommes rendu compte que nous n’avions pas prêté suffisamment d’attention aux divers objectifs politiques. Dans notre volonté de permettre aux participants du PACE de s’exprimer librement, nous avions omis d’offrir un cadre de référence utile à cette fin. Nous avons récolté des témoignages merveilleusement détaillés qui décrivaient les expériences des participants du PACE et ce que le programme signifiait pour eux. Par contre, nous n’avions aucune analyse qui répondait aux objectifs politiques des évaluateurs et des gestionnaires gouvernementaux. Les fonctionnaires membres de l’équipe d’évaluation voulaient prouver l’efficacité d’un programme de promotion de la santé axé sur le pouvoir d’action, afin que le gouvernement continue à assurer son financement. Les évaluateurs universitaires se souciaient principalement de la rigueur méthodologique et de la capacité de fournir des preuves solides pour appuyer les conclusions. Les travailleurs communautaires associés au PACE appréciaient ces préoccupations, mais ils ne voulaient pas que les expériences du PACE soient déformées par les critères des fonctionnaires, des universitaires et de l’efficacité. Beaucoup de parents qui avaient participé au PACE pensaient que cette évaluation ne serait rien de plus qu’un exercice bureaucratique typique visant à donner du travail. Ils craignaient qu’un rapport inutile ne mette en péril le financement des projets du PACE.

Au milieu de l’évaluation, nous avons élaboré, au moyen de négociations et parfois de querelles, un processus qui permettait à toutes les parties intéressées de comprendre les implications d’une philosophie axée sur le pouvoir d’action, le rôle de tout le monde dans l’évaluation et comment le pouvoir d’action se réaliserait en pratique.

Tout d’abord, il fallait examiner attentivement les divers objectifs politiques des intéressés afin de savoir s’il y avait suffisamment de points communs et de détermination pour aller de l’avant. Heureusement, malgré les divergences de nos points de vue, nous étions tous favorables à une éthique d’émancipation et nous étions tous disposés à chercher comment la concrétiser. L’un des résultats les plus marquants à ce stade de notre réflexion était de comprendre que tout changement social significatif dépend d’une interaction entre l’action humaine et les structures sociales. En nous concentrant uniquement sur le pouvoir d’action des gens associés au PACE, nous avions limité la notion de changement social à quelques individus ou, au mieux, à quelques groupes. Nous avions oublié qu’en tant qu’universitaires et fonctionnaires, nous faisions partie d’un système ayant un pouvoir décisionnel. Nous étions donc dans une position de profiter de l’évaluation du PACE pour faire des changements à l’intérieur de nos propres disciplines ou de nos propres organisations. En nous positionnant en marge du processus de pouvoir d’action, nous en avons ôté le pouvoir.

Ironiquement, ce sont les évaluateurs et les professionnels gouvernementaux eux-mêmes qui avaient le plus d’efforts à faire en ce qui concerne l’apprentissage du pouvoir d’action – comment se responsabiliser et comment responsabiliser les autres. Nous nous sommes aussi rendu compte que l’évaluation ne devait pas se concentrer sur les participants du PACE, mais qu’elle devait porter sur toutes les personnes concernées; autrement dit, pour mesurer l’efficacité du programme, il ne suffisait pas d’examiner les changements de comportement chez les participants. Si nous voulions responsabiliser les parents ou les responsables des soins aux enfants, il fallait aussi s’attendre à des changements dans la communauté en général.

Les politiques et pratiques systémiques liées au PACE en particulier et aux interventions sociales en général, constituaient aussi une dimension importante. Notre conception du changement a évolué du changement de comportement individuel à un changement social traduit en termes d’expérience collective s’exerçant à tous les niveaux. Il fallait donc juger la réussite ou l’efficacité du programme d’après les résultats observés non seulement dans un contexte plus vaste mais aussi chez toutes des personnes et organisations associées au PACE. Fait intéressant, une fois que nous nous sommes positionnés au coeur même du processus de pouvoir d’action et que nous avons appris à voir les participants au programme comme des agents de changement plutôt que des objets de changement, le cadre de référence analytique qui manquait au départ s’est imposé de lui-même.

Du point de vue méthodologique, cela nous a rendu plus conscients de la nécessité de concevoir et de mettre à l’essai de meilleurs indicateurs et résultats, afin de pouvoir mesurer correctement l’impact des initiatives communautaires. Nous devions être capables de répondre à la question « Qu’est-ce que c’est dans le PACE qui crée un environnement favorable au changement – au niveau personnel, professionnel et social? ». À cette fin, il fallait choisir de meilleurs indicateurs d’efficacité, non seulement au niveau de l’intervention, mais aussi en dehors du lieu précis où se déroule le projet. Autrement dit, « Qu’est-ce que c’est dans l’impact des projets du PACE sur la communauté et sur les systèmes gouvernementaux qui mène à un changement des systèmes sociaux globaux? »

Vu de cette perspective, le pouvoir d’action devient bidirectionnel. Nous avons donc reformulé le cadre d’évaluation pour tenir compte des deux directions. L’évaluation du PACE, réalisée dans la région de l’Atlantique, a mené à une conclusion importante, à savoir qu’une évaluation axée sur le pouvoir d’action qui se sert d’une approche d’émancipation déborde les limites du projet individuel et implique la mesure de l’interaction entre des structures et des systèmes sociaux et politiques multidimensionnels. L’évaluation axée sur le pouvoir d’action s’ouvre sur le champ de la politique.

L’application de la théorie du pouvoir d’action a entraîné d’autres défis. Par exemple, comment traiter une vaste somme de données qualitatives de manière à comprendre et interpréter correctement les opinions exprimées? Nous avons constaté que l’utilisation d’un programme informatique d’ethnographie pour analyser les données (plus de 8 000 pages d’information qualitative) laissait à désirer. Nous nous sommes servi de ce programme pour repérer des mots clés aux fins de comptage. Il a été assez utile, mais nous nous sommes rendu compte qu’il fallait lire le texte des entrevues en entier pour en extraire les détails importants. Lorsque nous avons essayé d’orienter l’analyse dans un sens plus quantitatif, il y a eu des distorsions. En analysant le contenu des entrevues avec le personnel, si on se contentait de calculer le nombre de fois que certains commentaires revenaient, c’était la somme de temps consacré aux tâches administratives qui apparaissait le plus souvent. Cependant, quand on regardait l’ensemble de l’entrevue, le contenu portait beaucoup moins sur le travail administratif que sur les défis de la mise en oeuvre du PACE. En outre, le codage initial était basé sur les thèmes que nous avons définis à l’avance comme étant importants. Par conséquent, nous avons manqué les thèmes qui se sont présentés en cours de route. Cela a eu pour effet de limiter notre capacité d’interpréter les données.

Nous avons également vu l’utilité d’une équipe multidisciplinaire pour analyser les résultats. Les meilleures données disponibles ne donnent pas grand-chose si on ne sait pas comment les interpréter et les représenter. Parce qu’il faut interpréter les résultats dans un contexte global, l’équipe chargée de l’interprétation des données doit inclure des participants du programme, des spécialistes en évaluation, des experts du développement dans la petite enfance et des experts du développement communautaire. Cependant, nous avons constaté que, dans le cadre d’un modèle de recherche-action participative, l’interprétation des données comporte aussi une dimension politique qui risque de ralentir ou paralyser le processus d’interprétation. Autrement dit, les perspectives multiples mènent parfois à des désaccords quant au « portrait juste » de la réalité.

À titre d’exemple, en rédigeant la première ébauche de notre rapport, les expressions utilisées pour évoquer et pour décrire les parents ont fait l’objet de débats animés. Lors de ces discussions, nous sommes devenus de plus en plus conscients des valeurs que le langage de nos différentes disciplines reflétait. Nous nous sommes rendu compte à quel point ce langage pouvait souvent être offensant et désarmant pour les parents. Il nous fallait faire un effort réfléchi pour ne pas parler des parents comme des objets ou comme des personnes pour lesquelles on fait certaines choses. Par exemple, au lieu de dire « le PACE donne aux parents », nous avons utilisé une expression qui reflétait le rôle proactif des parents : « les parents profitent du PACE pour... ». Au lieu de dire que « les parents obtiennent une aide pour... », nous disions plutôt « les parents utilisent les ressources liées au... », et au lieu de la phrase « les parents acquièrent des compétences... », nous disions « les parents renforcent leurs compétences... », reconnaissant ainsi qu’ils viennent au projet avec de l’expérience et des compétences. Les parents et leurs motivations devenaient le « portrait réel », et cela reflétait mieux la réalité que lorsqu’on les décrivait comme des personnes passives, dans le besoin, incapables d’agir et manquant toujours de quelque chose.

Nous avons aussi découvert que le rapport final ne représentait que la première étape dans la documentation de ce qui s’est passé au cours du processus d’évaluation. Il nous a fallu beaucoup d’énergie pour rédiger le rapport d’une manière participative qui permettait aux différentes perspectives politiques une réflexion critique. Au départ, toutes les implications de ce travail ne seront peut-être pas évidentes. Toutefois, à force de réfléchir, les liens avec le corpus de connaissances générales deviennent plus clairs. Il faut planifier le processus et le poursuivre de façon systématique afin de comprendre l’information recueillie, de la transformer en connaissances applicables dans le cadre des projets, des communautés, des gouvernements et des universités, puis de la partager avec les autres parties intéressées. Il faut du temps pour mettre au point des mécanismes ou des outils destinés à promouvoir et à exploiter les résultats et pour donner suite aux recommandations.

Malgré tous ces défis, nous croyons que le modèle de pouvoir d’action utilisé pour l’évaluation du PACE a fourni des résultats très positifs et significatifs.

Premièrement, nous avons pu découvrir les aspects les plus importants du programme parce que l’équipe d’analyse et d’interprétation incluait les participants du programme. Dans certains cas, les éléments que les participants considéraient comme importants ne coïncidaient pas toujours avec nos idées initiales à cet égard ou avec les éléments considérés importants d’après la documentation sur le sujet. Ces divergences nous ont permis de découvrir les thèmes naissants du programme qui ont évolué avec le temps dans le cadre des structures sociales et politiques multidimensionnelles. Ces thèmes naissants sont souvent essentiels à la compréhension, à l’amélioration et à la réussite des projets. Nous n’aurions pas repéré ces thèmes si nous avions utilisé un autre processus.

Deuxièmement, nous avons constaté que les participants définissent les mêmes activités de différentes manières, ce qui affecte l’interprétation des données. Mentionnons à ce chapitre la participation. Normalement, on définit la participation selon le nombre de parents inscrits au programme. Cependant, les gens associés au PACE au niveau communautaire voyaient la participation comme étant plus que des chiffres parce qu’ils savaient que beaucoup de parents, dans cette couche de la population souvent marginalisée, s’inscrivent aux activités et les abandonnent en fonction des circonstances et des besoins. Notre notion initiale de participation (définie d’après le nombre de participants inscrits à une activité particulière) s’est élargie pour tenir compte d’une définition moins stricte et plus générale qui correspond au contexte du programme et au mode de vie des gens. Cet exemple montre que la signification d’un mot varie selon les gens. Et ces différences influencent la façon dont l’information est utilisée, interprétée et comprise. Cet exemple souligne également la nécessité d’inclure les participants dans le processus d’interprétation des données, au lieu de confier le travail aux évaluateurs seulement.

Enfin, le modèle d’évaluation axé sur le pouvoir d’action tient compte du fait que les besoins des participants changent et évoluent avec le temps. Grâce au processus d’évaluation, nous avons découvert qu’il ne faut pas définir à l’avance les besoins d’une population donnée, et qu’il ne faut pas structurer le programme ou le cadre de référence de l’évaluation d’après des besoins préétablis. Il faut prévoir suffisamment de souplesse dans le cadre de référence pour tenir compte des besoins imprévus. Cela influe sur les indicateurs et les résultats établis au préalable et remet en question l’approche plus traditionnelle du pré-test et du post-test. Des besoins se présentent à mesure que les participants gagnent la confiance et l’appui des gens du programme. Du moment où cela se produit, ils se sentent non seulement en mesure d’exprimer leurs besoins mais aussi en droit d’exiger que leurs besoins soient rencontrés.

Globalement, cette étude sur une grande échelle nous a appris beaucoup en ce qui concerne les principes et les politiques associés à une évaluation axée sur le pouvoir d’action, en ce qui concerne les défis et les possibilités qu’implique leur mise en application et en ce qui concerne l’élaboration d’un modèle de pouvoir d’action qui permet à l’ensemble des intéressés de mieux s’émanciper.