Agence de la santé publique du Canada
Symbole du gouvernement du Canada
Passer au contenu | Passer aux liens institutionnels

Liens de la barre de menu commune

Accueil > Santé d'enfant > Surveillance de la santé et de l'épidémiologie > Santé maternelle et infantile > Publications > Développement précoce de l'audition > Chapitre IX

Liens institutionnels

Boîte de recherche

Partagez cette page

Pour partager cette page, veuillez cliquez sur le réseau sociale de votre choix.

 
Fermez

Développement précoce de l'audition et de la communication

Chapitre IX : Évaluation de programme

Évaluation de programme et amélioration de la qualité

Auteurs : David Brown (Ph.D.) et Martyn Hyde (Ph.D.)

L'évaluation de programme et l'amélioration de la qualité (EPAQ) sont des éléments essentiels de tout programme de qualité axé sur le développement précoce de l'audition et de la communication (DPAC). Ces deux éléments doivent exister à titre de sous-programme inhérent au programme global de DPAC. Le sous-programme d'EPAQ portera sur les éléments de structure, de processus et de résultats de l'ensemble du programme de DPAC. Il nécessitera une définition préalable explicite et posera des objectifs quantitatifs réalisables pour l'ensemble du programme de DPAC ainsi que pour ses principaux volets. En outre, tout sous-programme d'EPAQ devrait avoir des leviers clairs dont l'efficacité est mesurable, afin de pouvoir modifier le programme de DPAC en cas de problème.

L'évaluation de programme est une méthode formelle par laquelle la haute direction du programme de DPAC peut déterminer si le programme est véritablement en voie d'atteindre ses buts globaux et ses objectifs particuliers. Pour être utile, cette évaluation doit mener à des changements réels dans chacun des éléments du programme perçus comme des entraves indirectes à la réalisation des objectifs. L'amélioration de la qualité est une démarche conceptuelle connexe, où un réexamen permanent et constant des éléments du programme permet de déterminer, de façon proactive, s'il fonctionne aussi bien et de façon aussi rentable que possible, et de constater où et quand apparaissent les problèmes et autres préoccupations. L'objectif ici est de conserver, de redresser et, si possible, d'améliorer les composantes (p. ex., voir Donabedian1).

Selon un cadre conceptuel largement reconnu d'évaluation des services de santé, on peut établir un bon programme d'EPAQ en se fondant sur les éléments relatifs à la structure, au processus et aux résultats qui définissent le programme global de DPAC2. Les éléments de structure d'un programme de DPAC comprennent, entre autres, le financement, le personnel, l'établissement physique, les systèmes d'information, les instruments cliniques et les moyens d'exploitation. Les éléments relatifs au processus du programme de DPAC sont, entre autres :

  • l'administration
  • la formation du personnel, la gestion du rendement et l'éducation permanente
  • la gestion de l'information, y compris le repérage et les rapports
  • l'acquisition des instruments, leur étalonnage, leur entretien et les rapports avec les fabricants
  • l'élaboration des protocoles cliniques, leur diffusion et leur mise à jour
  • l'obtention du consentement des parents et l'évaluation des risques chez les nouveau-nés, la marche à suivre établie pour les contacts, le dépistage et le suivi;
  • les procédés d'évaluation audiologique
  • la présentation des options de développement de la communication
  • le soutien à la famille, la marche à suivre quant à la surveillance et à l'acheminent des patients, les procédés de mesure des résultats et des résultats de remplacement
  • la gestion de la qualité
  • la sensibilisation des professionnels et de la population
  • les technologies courantes
  • l'évaluation des résultats obtenus

Évaluation de programme

Pour procéder à l'évaluation de programme, il faut que celui-ci et ses sous-programmes soient dotés de mesures des résultats non seulement définissables explicitement mais quantifiables. L'étape suivante consiste à élaborer des indicateurs et des jalons fiables pour mesurer chacun des résultats, que le programme peut alors utiliser pour déterminer s'il atteint ses objectifs de rendement. Les jalons sont essentiellement des niveaux à atteindre dans le but de savoir si le rendement correspond aux normes établies pour les soins. L'importance de ces outils dans les programmes de DPAC tient à ce qu'ils permettent de prouver aux professionnels de la santé et aux décideurs que le DPAC est non seulement avantageux, mais aussi économique3. Il faut pouvoir montrer clairement qu'avec le temps, les programmes s'améliorent et qu'il peut être difficile d'atteindre les jalons, surtout s'ils ont été posés en début de programme. L'atteinte de jalons de rendement asymptomatiques, au cours de la deuxième ou de la troisième année du programme, serait néanmoins possible. Les administrateurs du programme devraient encourager et aider individuellement chaque établissement à atteindre des jalons de rendement raisonnablement uniformes et cohérents alignés sur les grands jalons du programme. Le processus d'évaluation de programme devra permettre d'établir clairement, preuves à l'appui, pourquoi les jalons de rendement n'ont pas été respectés afin de s'appliquer ensuite à cerner et documenter les améliorations nécessaires.

Mesures des résultats

L'énumération suivante établit les mesures des résultats qu'un programme de DPAC de qualité devrait régulièrement quantifier et relever. Les mesures peuvent inclure non seulement des résultats réels mais aussi les activités relatives au processus qui peuvent servir d'indicateurs pour représenter les résultats réels. Ce dernier genre de mesures est courant dans des situations où il est difficile, onéreux ou impossible d'obtenir les résultats réels. À titre d'exemple, on aura recours à une activité de service habilitant pour illustrer l'effet recherché du service sur le développement du langage.

  • Le nombre et la proportion de bébés d'un ensemble démographique cible dépistés avec succès avant l'âge d'un mois ou, au plus tard, dans le mois suivant le congé de l'hôpital.
  • Le nombre et la proportion globale de bébés dont le dépistage a donné lieu à un acheminement, et aussi répartis selon le lieu de dépistage, le personnel qui l'a effectué et l'état du risque encourru.
  • Le nombre et la proportion de bébés acheminés après le dépistage, pour lesquels l'évaluation audiologique a été faite avant l'âge de trois mois, et moins de deux mois après le premier résultat de dépistage.
  • Le nombre et la proportion des bébés acheminés après le dépistage et dont l'évaluation audiologique a été achevée avant l'âge de quatre mois, et moins d'un mois après le début de l'évaluation.
  • Le nombre et le pourcentage, dans chaque cohorte (cohorte cible à la naissance, cohorte dépistée et cohorte acheminée) de bébés dont on confirme la déficience auditive permanente (DAPE) à six mois, et également répartis selon le nombre de cas par oreille, la catégorie de gravité de la déficience, l'état du risque et l'évaluation du personnel et des installations.
  • Le nombre et le pourcentage des enfants atteints de DAPE pour qui l'on a recommandé une aide auditive avant l'âge de six mois, neuf mois et un an, respectivement. Le nombre et le pourcentage des enfants atteints de DAPE qui ont bénéficié d'une intervention médicale pour otite moyenne avant l'âge de six mois.
  • Les raisons de non administration des aides auditives avant l'âge de six mois, de neuf mois et d'un an respectivement, selon les facteurs de risque pour chaque période.
  • Le nombre des bébés dont la DAPE est confirmée, à 12 mois et à 24 mois, ayant fait l'objet d'un dépistage satisfaisant du nouveau-né et dont la DAPE a été détectée par des activités internes de surveillance et d'acheminement.
  • La satisfaction des familles quant aux procédés du programme de DPAC.
  • Les résultats du développement de la communication, répartis en fonction du genre et du degré de DAPE.

Jalons de rendement

En utilisant les mesures des résultats ci-dessus, les programmes peuvent déterminer si les jalons ont été respectés. Voici quelques exemples de jalons réalistes (le lecteur trouvera une description exhaustive des jalons possibles dans le document américain du JCIH4).

  • Dans un délai de six mois du début du programme, les hôpitaux ou centres de naissance effectuent un dépistage d'au moins 95 % des nouveau-nés et des nourrissons de moins d'un mois.
  • Le taux d'acheminent pour évaluation médicale et audiologique par suite du processus de dépistage devrait être de 4 % ou moins dans un délai d'un an du début du programme.
  • L'organisme qui, au sein du programme de DPAC, est clairement responsable du suivi documente les efforts déployés pour obtenir un suivi sur au moins 95 % des bébés qui n'obtiennent pas la cote « satisfaisant » au dépistage des troubles auditifs.
  • Chez les bébés acheminés à la suite d'un dépistage universel des troubles de l'audition chez les nouveau-nés (DUTAN), on commence les évaluations audiologiques et médicales avant l'âge de trois mois, ou trois mois après le congé de l'unité de soins intensifs néonatals (USIN), selon le cas.
  • Les bébés atteints de déficience auditive sont inclus dans un programme d'intervention précoce centré sur la famille, avant l'âge de six mois.

Résultats à long terme

Les mesures qui semblent correspondre à des mesures représentantes des résultats à long terme peuvent constituer des résultats réels au niveau du sous-programme. Par exemple, l'élément DUTAN d'un programme de DPAC n'existe que pour permettre d'acheminer vers les services de suivi concernés tous les bébés dont la DAPE est clairement identifiée, avec un taux minime de faux positifs.

Il ne faut toutefois pas perdre de vue que les programmes de DPAC ont pour but l'intervention et la prestation de services pour établir une bonne communication, et non le dépistage ou le diagnostic des troubles de l'audition. Par conséquent, en dernière analyse, les vraies mesures de réussite d'un programme de DPAC reposent sur les résultats, comme la satisfaction des familles quant aux services reçus, l'amélioration de la capacité auditive dès le bas âge et, à long terme, un développement accru de la communication. Le besoin se fait pressant d'élaborer et d'appliquer des mesures valables et précises pouvant refléter ces divers genres de résultats. Les études cliniques aléatoires de programmes de DPAC étant clairement impraticables, la validation finale des avantages de ces programmes repose sur des comparaisons d'un ensemble de résultats avec leurs contrôles historiques. Plusieurs évaluations critiques des projets de DPAC et de DUTAN recommandent fortement cette démarche, à laquelle ils ajoutent des examens formels et systématiques fondés sur les données probantes.

Évaluations économiques

Hormis les mesures des résultats susmentionnés qui fournissent des procédés de services d'information et autres résultats afférents, les organismes subventionnaires exigent d'habitude des évaluations budgétaires mais aussi d'autres évaluations, exhaustives, touchant le caractère économique des programmes de DPAC. Ces dernières servent à déterminer la responsabilité et la durabilité des projets, tout particulièrement quant à la limitation des coûts et aux coûts de substitution aux autres programmes de santé. Pour fonctionner, le programme de DPAC doit pouvoir s'appuyer sur un financement continu. Il faut donc que les données économiques englobent, sans s'y limiter, les coûts directs des immobilisations et de l'exploitation relatifs à tous les procédés et structures de programme, y compris les éléments d'infrastructure comme les systèmes d'information. Un problème qui se pose couramment dans ce genre d'analyse consiste à différencier les coûts réels du programme de DPAC des autres coûts liés au milieu des soins de santé dans lequel se déroule le programme de DPAC. Ces analyses doivent aussi tenir compte des coûts actuels qu'en l'absence du programme de DPAC l'établissement assumerait seul; c'est un domaine difficile à départager, parce que les données quantitatives en sont souvent absentes. Un exemple de cette difficulté illustre le cas : la pondération des coûts directs du programme de DPAC en regard des coûts réels et historiques des services d'évaluation et d'intervention, ponctuels et souvent inadéquats, mais qui sont la norme s'il n'existe pas de programmes de DPAC.

Les mesures de base communément employées dans l'évaluation des coûts directs des programmes de DPAC sont le coût global par enfant dépisté et le coût par enfant chez qui l'on a dépisté une DAPE5. De telles analyses sont fondamentales et représentent un volet utile des activités d'EPAQ, tout particulièrement en ce qui touche les analyses coûts-efficacité (ACE) en regard des coûts des diverses options de processus. Les ACE reviendront plus tard dans la discussion. Par exemple, le coût par enfant identifié peut s'avérer très sensible aux taux d'acheminement pour évaluation audiologique obtenus par des procédés particuliers de dépistage : cela peut dépasser le simple recours à des indicateurs représentants de procédés, comme les taux d'acheminement brut. Cependant, il faut une analyse beaucoup plus complète pour cerner les enjeux relatifs aux coûts-avantages réels, parce que les analyses coûts-avantages (ACA) nécessitent l'attribution de données quantitatives et de coûts monétaires aux résultats à long terme, comme la réalisation des objectifs d'éducation, l'apprentissage de compétences et la jouissance d'un niveau de vie supérieur. Ce domaine, encore à un stade rudimentaire de son évolution, nécessite un examen beaucoup plus approfondi.

Acheminement de faux positifs

Certains coûts liés au rendement du programme sont très difficiles à quantifier, comme en témoignent éloquemment les coûts relatifs à l'acheminement par suite de dépistage de faux positifs. Les journaux professionnels ont abondamment parlé des retombées des faux positifs sur l'anxiété parentale et de la formation de liens affectifs entre la mère et l'enfant, ainsi que des coûts plus facilement cernables, comme ceux des évaluations audiologiques superflues, des erreurs d'évaluation et des interventions inappropriées. Pour l'instant, l'un des principaux objectifs de la qualité des programmes est de réduire au minimum le taux des faux positifs comme mesure substitut de coût. Un autre objectif connexe important est de réduire le plus possible les erreurs d'évaluation audiologique.

Principales références

  1. Donabedian, A. Explorations in quality assessment and monitoring. Volume 1: The definition of quality and approaches to its assessment, Ann Arbor, MI, Health Administration Press, 1980.
  2. Hyde, M.L. et K. Riko. « Design and evaluation issues in universal newborn hearing screening programs », J Speech Lang Pathol Audiol, vol. 24 (2000), no 3, p. 102-118.
  3. Finitzo, T. et W. Crumley. « A model universal newborn hearing screening program for hospitals and birthing facilities », J Speech Lang Pathol Audiol, vol. 24 (2000), no 3, p. 130-138.
  4. Joint Committee on Infant Hearing. « Year 2000 Position Statement: Principles and Guidelines for Early Hearing Detection and Intervention Programs », Am J Audiol, vol. 9 (2000), no 1, p. 9-29.
  5. Keren, R., M. Helfand, C. Homer et coll. « Projected cost-effectiveness of statewide universal newborn hearing screening », Pediatrics, vol. 110 (nov. 2002), no 5, p. 855-864.

Début

Analyse de la rentabilité (coûts-efficacité)

Auteurs : Martyn Hyde (Ph.D.) et Dr Brian Westerberg

La décision de mettre en place un programme systématique de développement précoce de l'audition et de la communication (DPAC) doit tenir compte des coûts nets pour la famille concernée, mais aussi pour la société dans son ensemble. Cette dimension est particulièrement pertinente dans le présent contexte du portefeuille limité des soins de santé, alors que les dépenses dans un genre de services suppose la réduction de certains autres services de santé. L'analyse des coûts prend davantage d'importance si le programme proposé ne reflète pas clairement un impératif éthique ou une valeur sociétale fondamentale, établissant par exemple que « tous les enfants et leur famille ont un droit fondamental à une communication précoce et efficace ». Les débats publics sur de tels énoncés de valeur en rapport avec le DPAC ne sont pas encore arrivés à maturité.

L'analyse coûts-efficacité (ACE) vise à évaluer, en les comparant, divers modèles de services, d'habitude en fonction de résultats valorisés en coût par unité, comme ceux de cas identifiés avec succès, diagnostiqués, ou l'atteinte de critères de succès à long terme. On peut estimer que l'analyse coûts-avantages (ACA) est un prolongement de l'ACE au sein duquel tout (activité, résultat et effet secondaire d'un programme), est exprimé en fonction d'une unité monétaire commune.

Quand les coûts nets d'un programme, une fois évalués exhaustivement, sont négatifs (quand ils représentent un gain monétaire net), la question des coûts demeure théorique, sauf en ce qui concerne la question de politique commune touchant les coûts des investissements à court terme pour obtenir des avantages à long terme. En présence de coûts nets positifs clairement établis, par contre, la société doit poser des jugements de valeur en comparant le programme proposé à d'autres activités de même nature déjà en place (comme les autres activités de dépistage universel chez les nouveau-nés). La société doit aussi considérer les coûts liés à la conservation du statu quo (si le programme n'existait pas) et comment ces coûts seraient appelés à évoluer, notamment face au niveau de vie des personnes et des familles touchées. Il est souvent difficile et litigieux de conférer des valeurs monétaires à de tels domaines, même s'il existe diverses méthodes savantes à cet égard (comme pour l'analyse de l'utilité). La documentation sur les programmes de DPAC renferme plusieurs analyses portant notamment sur les coûts. Les démarches et les modèles utilisés varient quant à leur précision et leur caractère exhaustif; le domaine se distingue par la diversité des méthodes, des suppositions et des résultats ainsi que des limites des données ayant mené à un choix rationnel des principaux paramètres. L'analyse de loin la plus satisfaisante à ce jour demeure le rapport de Keren et coll.1 qui comprend une bibliographie complète des documents publiés dans le passé à ce sujet. Les auteurs1 cherchent à cerner les meilleures données courantes pour les nombreux paramètres clés, au sein d'un modèle complet. En plus des données habituelles sur les coûts d'immobilisations et de fonctionnement, ils arrivent à une estimation des économies réalisables à long terme grâce à la réduction des coûts éducationnels spéciaux et à l'accroissement de la productivité de la main-d'oeuvre. Nous présentons ici les principales méthodes, constatations et limites de cette étude.

On y définit le trouble cible, en matière d'ACE, comme une déficience auditive bilatérale de >= 40 dB HL. C'est un choix typique, mais c'est aussi le critère raisonnable le plus conservateur. De nombreux programmes de DPAC - particulièrement aux États-Unis - obéissent à des critères beaucoup plus libéraux, où en général les niveaux de perte auditive sont plus faibles et incluent aussi les déficiences unilatérales. Une modification dans la définition des critères peut avoir des effets profonds sur la prévalence du trouble en question; en outre, elle augmente alors le rendement progressif des dépistages systématiques, aussi bien ciblés qu'universels. Cela limite les possibilités d'application directe des résultats d'analyse de nombreux programmes courants de dépistage, bien que la méthode demeure généralement appropriée.

Un grand nombre de situations probables utilisées dans le modèle ont été tirées des données de programmes actuels de dépistage auditif. Nous avons pu établir des estimations raisonnables quant à la prévalence des troubles de l'audition chez les enfants dont les risques vont de faible à élevé; quant au pourcentage des enfants qui subissent le test à chaque étape du protocole; et quant au pourcentage des enfants à audition déficiente dépistés avant l'âge de six mois et qui ont bénéficié d'une intervention avant l'âge de 12 mois. Nous avons dressé une estimation de certaines probabilités, touchant notamment la sensibilité et la spécificité des tests de dépistage. Même s'il existe d'excellentes données sur la spécificité, les données courantes sur la sensibilité demeurent limitées, ce qui fait que la sensibilité d'un programme concret peut s'éloigner beaucoup des valeurs supposées de 0,95. La supposition que l'on ait affaire à des taux de sensibilité identiques pour les émissions oto-accoustiques (EOA) et le potentiel évoqué auditif du tronc cérébral (PEATC) est également douteuse, étant donné que le PEATC est sensible à la neuropathie auditive (NA) alors que les EOA ne le sont pas, et que le taux de NA chez les bébés peut atteindre dix pour cent de la cohorte affectée par une DAPE bilatérale.2

Les coûts de dépistage comprenaient les coûts d'immobilisations relatifs au matériel ainsi que les coûts de main-d'oeuvre. L'enveloppe des coûts sociétaux à long terme a permis de tenir compte des coûts relatifs à la perte de productivité, aux services éducatifs spécialisés, à la réadaptation professionnelle, aux coûts médicaux et aux dispositifs de soutien.

Avec les valeurs nominales de tous les paramètres de base incluses dans le modèle, les trois situations ont permis de dépister, sur une cohorte de128 bébés, respectivement 30 cas (aucun dépistage), 66 cas (dépistage ciblant les bébés fortement à risque) et 99 cas de DAPE. Les coûts, par enfant diagnostiqué, ont été respectivement de 2 300 $, de 10 000 $ et de 21 400 $. Le coût différentiel (marginal) pour chaque cas additionnel diagnostiqué s'élevait à 16 400 $ (dépistage ciblé) et à 44 300 $ dans le cas du dépistage universel (en dollars américains). Ces valeurs sont considérées comparables à celles qui portent sur le dépistage de l'hypothyroïdie et de la phénylcétonurie.

En tenant compte du coût global tout au long de la vie, on a constaté qu'aussi bien les programmes de dépistage ciblé que ceux de dépistage universel permettaient une réduction des coûts globaux, supposant que les interventions avant l'âge de 12 mois permettaient l'amélioration de la parole et du langage. Dans le cas du dépistage universel, pour qu'il y ait une réduction nette des coûts, on a constaté que cela exigeait que la majorité des cas dépistés puisse déboucher sur des résultats normaux en matière de langage.

Le modèle présente une particularité intéressante : le nombre d'enfants atteints de troubles auditifs avec des résultats normaux concernant le langage s'élevait, pour les trois situations relevées précédemment, à 53, 59 et 65 respectivement. De toute évidence, les suppositions de départ ont été choisies de façon à donner lieu à de très subtiles différences, dans le contexte de cet important résultat.

Keren et coll.1 ont eu recours à l'analyse de sensibilité pour déterminer dans quelle mesure leur résultat variait par rapport aux diverses valeurs des principaux paramètres du modèle. Ce genre d'analyse doit absolument compter sur une telle composante; elle en tire la pertinence, la validité et le caractère de généralisation. Les auteurs constatent que lors des tests universels de dépistage, le coût différentiel par cas diagnostiqué dépend fortement des pourcentages supposés de réussite à long terme des objectifs de langage et des retombées quant à la productivité tout au long de la vie du sujet. Cette dépendance est moyenne dans le cas des taux estimés de succès lors de tests de groupes cibles, et dans le cas des pertes qui s'ensuivront dans un programme universel.

Le modèle de Keren et coll.1 souligne la nécessité d'avoir des données plus précises sur les retombées à long terme des programmes de DPAC sur les niveaux de langage et sur la productivité tout au long de la vie du sujet. Il souligne aussi l'importance de taux élevés d'évaluation diagnostique de suivi chez les enfants qui n'ont pas de résultats satisfaisants lors du dépistage. À ce jour, c'est une lacune commune des rapports sur les programmes de DPAC. Ainsi, il importe de voir qu'un abandon de 20 % des suivis aux acheminements du dépistage initial se traduit, par exemple, par une réduction de 20 % de la sensibilité réelle du processus de dépistage, peu importe la sensibilité estimée ou réelle du test.

Enfin, mentionnons que le rendement global d'un programme de dépistage relève de nombreux paramètres d'exécution, en plus des variables contextuelles du système de soins de santé au sein duquel se déroule le programme. De plus, une simple analyse de sensibilité axée sur la modification d'un ou même de deux paramètres peut ne pas révéler les effets véritables de l'amélioration du programme dans plusieurs aspects en même temps. À cause de ces limites, entre autres, on pourra considérer que le rapport Keren et coll.1 illustre bien une démarche méthodologique appropriée d'ACE en relation au dépistage précoce des troubles auditifs. Cependant, il faudra approfondir les travaux dans ce domaine pour en garantir l'application généralisée face aux structures de programme particulières aux systèmes de soins de santé dans lesquels ils s'inscrivent.

Conclusions

  • Le dépistage universel des troubles de l'audition chez les nouveau-nés (DUTAN) doit s'accompagner des services adéquats et accessibles pour permettre la confirmation de la déficience, le diagnostic audiologique et étiologique et de présenter les réelles options qui s'offrent, en matière de développement de l'audition et de la communication, à chacun des enfants acheminés vers ces services grâce aux programmes de dépistage.
  • Les programmes de développement précoce de l'audition et de la communication (DPAC) doivent refléter les réalités démographiques et culturelles aussi bien que les systèmes existants, l'infrastructure en place et les liens de collaboration déjà bien établis avec les autres systèmes de soins de santé, d'aide sociale et d'éducation.
  • Un programme solidement conçu comprendra un volet d'évaluation permanente et un processus continu d'amélioration de la qualité; les analyses coûts-efficacité (ACE) et les analyses coûts-avantages (ACA) sont aussi essentielles.

Principales références

  1. Keren, R., M. Helfand, C. Homer et coll. « Projected cost-effectiveness of statewide universal newborn hearing screening », Pediatrics, vol. 110 (nov. 2002), no 5, p. 855-864.
  2. Sininger, Y. « Auditory neuropathy in infants and children: implications for early hearing detection and intervention programs », Audiology Today, octobre 2002, p. 16-21.

Page précédente | Table des matières | Prochaine page

 

Date de modification : 2005-05-09

Haut de la page
Avis importants