Introduction : Évaluation du système de la réserve nationale d'urgence (SRNU)

1. Introduction

1.1 But et portée de l’évaluation

L’évaluation du programme du SRNU donne suite à la recommandation voulant que la pertinence de ce programme soit évaluée. Cette recommandation était contenue dans le Rapport de vérification – Mesures et interventions d’urgence, publié par l’Agence de la santé publique du Canada en 2010.

Elle porte sur la pertinence contextuelle du programme, notamment sur les besoins, les rôles les priorités et les considérations, relativement au SRNU actuel, dans le cadre d’interventions à l’échelle nationale ou internationale. Elle s’intéresse à la mesure dans laquelle le programme cadre avec les rôles et les responsabilités de l’administration fédérale et de l’Agence de la santé publique du Canada, ainsi qu’avec leurs priorités. Elle a également permis d’examiner les défis auxquels le programme fait face et d’étudier comment d’autres administrations gèrent les réserves de matériel de santé publique.

Éléments examinés

• Quels besoins le SRNU est-il destiné à combler? Ces besoins existent-ils toujours?
• Les besoins ont-ils changé avec le temps? Le programme s’est-il adapté à cette évolution des besoins? Y aurait-il d’autres changements à apporter?
• L’administration fédérale devrait-elle assurer la prestation des services fournis par le SRNU, pour l’ensemble de ses actifs ou par type d’actif?
• Le programme du SRNU cadre-t-il avec les mandats et les priorités stratégiques actuels de l’administration fédérale et de l’Agence de la santé publique du Canada?
• Quels sont les types d’actifs encore utiles pour l’accomplissement du mandat de l’Agence de la santé publique?
• Y a-t-il chevauchement ou dédoublement, ou complémentarité, dans la prestation de services?

Bien qu’il y ait eu une occasion d’examiner les modèles de déploiement nationaux et internationaux pour les biens du programme du SRNU, peu de données supplémentaires sur le rendement du programme étaient disponibles pour l’analyse. Par conséquent, le présent rapport porte principalement sur les questions de pertinence plutôt que de rendement.

Le présent rapport décrit le programme du SRNU, en fait l’historique et le situe dans son contexte actuel. Il évalue les liens, présente brièvement les défis et les possibilités et aboutit à quatre recommandations. Les annexes fournissent d’autres renseignements sur les fournitures du SRNU, le contexte et les rapports établis ainsi que des considérations relatives à une meilleure gestion du cycle de vie. Elles présentent aussi deux études de cas canadiennes et trois études de cas d’autres pays.

Les gestionnaires et le personnel devraient utiliser les constatations et les recommandations de l’évaluation pour faire leur planification et prendre des décisions dans le cadre de leur préparation à des incidents sanitaires survenant au pays, et, peut-être, ailleurs dans le monde.

La Réserve nationale d’antiviraux (RNA) est un instrument fédéral-provincial-territorial distinct du SRNU et n’était pas à ce titre visée par l’évaluation^{[Lien vers la note B]}.

1.2 Méthodologie

L’évaluation a été effectuée par la Direction des services d’évaluation, organisme de l’Agence de la santé publique n’intervenant pas dans le secteur de programme responsable de l’administration du programme du SRNU. L’information analysée dans le cadre de ce travail provenait de plusieurs sources :

• documents internes importants :
  • vérifications et examens antérieurs du programme
  • comptes rendus de décisions de réunions de divers comités internes
  • correspondance et communications en lien avec le programme
  • documents sur le déploiement des fournitures du SRNU
• questionnaire autoadministré fondé sur des questions ouvertes et commentaires de groupes de discussion composés de représentants provinciaux et territoriaux, par l’entremise du Conseil des directeurs responsables de la gestion des urgences sanitaires (CDGUS) ou du Conseil des directeurs des services sociaux d’urgence (CDSSU) du Réseau de santé publique
• questionnaire autoadministré fondé principalement sur des questions ouvertes de représentants choisis d’autres ministères fédéraux
• entretiens avec des cadres et du personnel de l’Agence de la santé publique et d’autres ministères fédéraux et organisations non gouvernementales, ainsi qu’avec des experts externes en matière de gestion des urgences
• entretiens avec des spécialistes d’autres pays (Australie, Norvège et États-Unis) qui interviennent dans la gestion des réserves nationales de matériel de santé publique de leur pays.

L’utilisation de plusieurs éléments de preuves et de mesures qualitatives et quantitatives a permis d’analyser objectivement la pertinence et le rendement du programme du SRNU. Ce rapport d’évaluation a été rédigé de manière à ce que les cadres supérieurs et les lecteurs externes puissent cibler et comprendre rapidement les enjeux dont il est question. Pour présenter le contexte approprié au lecteur, il est essentiel de clairement exposer les limites de l’évaluation en matière de portée, de méthodes et de conclusions. (Pour obtenir une description détaillée de la méthodologie, voir l’annexe G).

Limitations

La plupart des évaluations sont confrontées à des contraintes qui peuvent avoir des conséquences sur la validité et la fiabilité des constatations, des conclusions et des recommandations d’une évaluation. La présente section aborde les limitations liées à la conception et aux méthodes de l’évaluation en question. Les stratégies d’atténuation mises en œuvre par l’équipe d’évaluation sont également abordées pour faire en sorte que les constatations de l’évaluation puissent être utilisées en toute confiance pour orienter la planification des programmes et la prise de décisions.

Partialité des personnes interrogées

Étant donné le grand nombre de personnes (internes ou externes) qui auraient pu intervenir, les évaluateurs devaient en partie se fier aux recommandations des membres du personnel du programme de l’ASPC. Or certaines des personnes interrogées travaillent avec ceux-ci et pourraient avoir un intérêt personnel à l’égard du programme. Des entrevues auprès de divers intervenants internes et externes au programme ont été réalisées pour tenter de remédier à cette situation.

Délai d’exécution

Le délai d’exécution était trop court pour permettre l’analyse approfondie de certaines données, comme celles sur les finances ou sur la composition et les contextes relatifs à d’autres réserves fédérales ou provinciales au Canada. Toutefois, grâce à des études et à des sondages, les évaluateurs ont été en mesure d’avoir une compréhension globale des finances du programme et de la composition d’autres réserves, tant à l’échelle nationale qu’internationale. L’échéancier limitait également le nombre d’études de cas du Canada et de l’étranger utilisables pour établir des comparaisons. Deux importantes organisations de remplacement du Canada qui fournissent des fournitures d’urgence à l’échelle nationale sont comprises dans les deux études de cas nationales. Les études de cas d’autres pays n’ont pas été choisies de manière à disposer d’un échantillon représentatif d’administrations ayant des réserves de matériel de santé publique. Elles l’ont été sur la base de considérations pratiques et des pratiques exemplaires qu’elles pourraient révéler.

Validité des sources de données qualitatives

Il y avait plusieurs problèmes quant à la validité des sources de données.

Les questionnaires remplis par les représentants des provinces et des territoires devaient fournir des données pouvant remonter à cinq ans. La validité de telles données pourrait être remise en question en raison, entre autres, du roulement de personnel et des aléas de la mémoire ou du rappel. Les données obtenues dans le cadre d’entretiens et de groupes de discussion sont également rétrospectives, de sorte que leur exactitude peut aussi être remise en cause.

Bien que des notes détaillées aient été prises pendant les entretiens et les groupes de discussion, en raison de contraintes financières et de temps, leur contenu n’a pas toujours été transcrit textuellement.

Puisque l’équipe d’évaluation n’a pas pu communiquer avec tous les membres du Conseil des directeurs responsables de la gestion des urgences sanitaires (CDRGUS) et du Conseil des directeurs des services sociaux d’urgence (CDSSU) par l’entremise du sondage et des groupes de discussions, cette source de données est assujettie à un certain degré de biais de non-réponse. Cela dit, le taux de participation a été de 92 % parce que ces deux méthodes ont été utilisées (seulement une administration n’était pas représentée par le truchement du sondage ou des groupes de discussion.

Il y a eu un certain nombre d’examens du SRNU depuis dix ans, ce qui a créé une saturation pouvant faire en sorte que l’utilité des commentaires pour l’évaluation ne soit pas perçue à sa juste valeur. Dans certains cas, le roulement de personnel au programme se traduisait par une mauvaise connaissance de l’histoire du programme du SRNU et de l’emplacement de certains documents, comme des ententes intergouvernementales remontant aux années 1960.

Données restreintes sur le rendement

Les données quantitatives sur le rendement étaient limitées. L’équipe d’évaluation a tenté d’atténuer le déséquilbre entre les données qualitatives et quantitatives en intégrant de multiples sources de données (c.-à-d. analyse documentaire, examen de documents, sondages, groupes de discussion, entrevues des principaux intervenants, études de cas) à son approche méthodologique. Toutefois, bon nombre de ces sources – y compris le sondage, qui ont permis une certaine quantification des résultats – reposaient sur la mesure des perceptions individuelles.

En raison de l’absence d’un inventaire électronique fiable, les données sur le déploiement des fournitures du SRNU n’ont pas été recueillies uniformément. Les limitations des données qualitatives sur le rendement liées au déploiement du SRNU et les stratégies d’atténuation sont traitées dans la section 2.3 du présent rapport.

Malgré ses limitations méthodologiques possibles, l’équipe d’évaluation a mis en œuvre un certain nombre de stratégies d’atténuation dans le but d’accroître la validité des constatations. Puisque de multiples sources de données ont été examinées au cours de l’évaluation, les Services d’évaluation sont confiants que les cadres supérieurs peuvent se fier sur le présent rapport aux fins de planification et de prise de décisions.