Dans ce document de travail, Marie-Claire Richer, directrice du bureau de Soutien à la transition, et Patricia Lefebvre, directrice, Qualité, risque et performance au CUSM, décrivent les défis posés par l’évaluation des projets de TI en santé. Carole Lapierre, Alain Biron, Claude Lemieux et Monique Périé ont aussi participé à la rédaction de l'article. —Produit dans le cadre du programme 2010 de l'IASI-CUSM

Les technologies de l’information en santé sont très prometteuses pour l’amélioration des soins et des résultats pour la santé. Cependant, l’évaluation de ces améliorations n’est pas chose facile, et on s’interroge beaucoup sur la manière dont on devrait mesurer les retombées des projets de TI en santé.

L’amélioration de la sécurité et de la qualité des soins constituent les principales raisons qui justifient les investissements à l’égard des systèmes de technologie de l’information (TI) dans le secteur de la santé. Les études liminaires du Institute of Medicine de 1999 à 2001 soulignaient que les systèmes de TI constituaient un outil essentiel pour empêcher les événements néfastes sur la santé et améliorer les pratiques fondées sur l’expérience clinique. Il demeure cependant extraordinairement difficile de démontrer des améliorations sur le plan de la qualité et de la sécurité et la question de savoir comment ces systèmes devraient être traités du point de vue de l’évaluation suscite de nombreux débats. Devraient-ils être étudiés comme les technologies et les médicaments du domaine de la santé, l’objectif étant de produire de « solides preuves scientifiques », en vue de leur adoption?(1) S’il semble que tel soit ce que les organismes assurant le financement de tels systèmes souhaitent obtenir pour poursuivre leurs investissements, est-ce pour autant réalisable? D’autres approches sont-elles nécessaires?

On se penche aujourd’hui sur ces questions au Centre universitaire de santé McGill (CUSM) de Montréal, alors que l’établissement entreprend un important projet de redéploiement qui coïncide avec une vaste expansion de ses systèmes informatiques (SI) de santé. Le présent document a été élaboré à la suite de discussions parmi certains des principaux intervenants appuyant l’évaluation des SI/TI au CUSM : le groupe Qualité, risque et performance, responsable du soutien des améliorations sur le plan de la qualité et des performances, les Services informatiques et le Bureau de soutien de la transition. Créé en 2008, ce bureau de gestion doit appuyer l’harmonisation et l’optimisation des pratiques cliniques et administratives, assurer le soutien des projets du redéploiement et en soutenir l’évaluation, y compris au niveau de la mise en œuvre des systèmes de SI/TI.

Cadre d’évaluation

En matière d’évaluation des projets de TI, le cadre préconisé par DeLone et Maclean’s (1992)(2) prévoit trois groupes de facteurs pour déterminer si un système offre les résultats escomptés. Le premier vise la qualité du système et de son information clinique, le deuxième la mesure dans laquelle le système est adopté par les utilisateurs et appuie les pratiques cliniques, et le troisième, les répercussions sur les résultats pour les patients.

Les discussions entourant le présent document ont porté sur les défis que pose l’évaluation des projets de TI, sous chacun de ces aspects. L’interrelation entre la conception des systèmes, leur adoption par les utilisateurs et les résultats nécessite une meilleure collaboration entre les groupes présents en milieu hospitalier afin de définir des objectifs qui soient pertinents pour toutes les parties, de sélectionner les méthodes d’évaluation et les paramètres de mesure pertinents et de veiller au suivi des conclusions.

Harmonisation des objectifs technologiques et cliniques

Le CUSM a terminé la phase de l’affichage de son système d’information clinique (SIC) et a entrepris les phases de saisie des données. Si les paramètres mesurés jusqu’à présent visent principalement la convivialité et les processus, des paramètres cliniques sont également mesurés. Par exemple, dans le module Allergie du SIC du CUSM, on mesure la proportion de patients soufrant d’allergies et le taux d’incidents par patient-jour, en même temps que le niveau de satisfaction de l’utilisateur.

On souhaite de plus en plus établir un lien entre les données de différents systèmes d’information afin de produire des mesures qui appuieraient la prise de décisions aux plans clinique et organisationnel. Puisque les systèmes de TI permettent d’accéder rapidement aux données cliniques au point de service, on peut aussi s’attendre à ce qu’ils améliorent la qualité et la sécurité des soins. Ainsi, une fois que l’on pourra déterminer sur-le-champ que les résultats des analyses concernant le virus C. difficile montrent qu’un patient en est porteur et intervenir rapidement, la situation sur le plan des infections nosocomiales devrait s’améliorer. Le délai entre la fin des analyses de laboratoire et l’ordonnance pourra permettre de suivre, de mesurer et d’améliorer les pratiques.

Enchaînement des projets d’évaluation

Lorsque l’on optimise des processus cliniques et que l’on implante des systèmes de TI, il est difficile d’établir l’ordre dans lequel les changements doivent être apportés et les évaluations menées. Doit-on optimiser les processus avant que l’outil de TI ne soit mis en œuvre? Dans le cas d’un projet qui consisterait, par exemple, à optimiser les processus des salles d’opération, il pourrait être préférable de travailler simultanément sur ces deux plans, puisque le système de TI est un outil qui permet de mesurer l’effet des changements des processus.

Méthodes d’évaluation

Les évaluations sont menées selon diverses méthodes, de l’extraction des données aux études des temps et mouvements, aux vérifications et aux examens des dossiers. La meilleure méthode, qui est aussi la moins onéreuse, consiste à extraire de l’information des bases de données afin de saisir les événements cliniques dès qu’ils surviennent et à établir un lien entre celle-ci et les bases de données administratives. À défaut d’information provenant des bases de données, s’imposent d’autres méthodes de collecte plus contraignantes, comme celle de l’observation.

Le CUSM génère et stocke d’énormes quantités d’information et a entrepris d’élaborer un système d’interfonctionnement de ces bases de données. Une meilleure collaboration entre les groupes cliniques, les administrateurs et les départements, comme ceux des services informatiques, des finances, de la qualité et des performances, permettra de se doter de la capacité nécessaire pour réaliser les évaluations décisionnelles. Il est à cet égard plus utile de faire appel à de l’expertise interne qu’à des consultants externes, pour les évaluations.

Le CUSM a entrepris d’établir des pratiques et des outils d’évaluation communs qui seront utilisés par le Bureau du soutien de la transition ainsi que par les responsables de la qualité et des performances. Les évaluations visant un indicateur en particulier auront toujours recours aux mêmes paramètres et à la même source d’information. S’agissant de choisir les différents paramètres de mesure des performances, on retiendra ceux pour lesquels des normes et des seuils reconnus auront été établis, de sorte que l’établissement puisse fixer des objectifs raisonnables.

Établissement des objectifs

Dans l’évaluation de l’implantation d’un nouveau système d’information, il importe de se fixer un objectif clair, de trouver les paramètres de mesure des progrès réalisés judicieux, en plus de situer le bon moment pour prendre des mesures antérieures et postérieures. Cependant, les personnes intéressées estiment qu’il est très difficile, notamment dans le cas des systèmes de TI, d’énoncer leurs objectifs concernant la mise en œuvre d’un système. On s’attarde naturellement plus au « comment » qu’au « pourquoi ». Du fait de l’intervention des spécialistes des SI/TI et du processus ardu qui consiste à obtenir l’appui des cliniciens, il se peut que l’évaluation s’attarde plus au volet technique que clinique de l’adoption. Il est impérieux d’aider les intervenants à définir le « pourquoi » et à reformuler, voire à revoir celui-ci au fil de l’évaluation et de la mise en œuvre.

Évaluation continuelle

Les systèmes de TI sont conçus avec les personnes qui connaissent les besoins organisationnels, l’objectif étant de s’assurer que l’information requise pour contrôler les performances d’un indicateur donné soit valide et récupérable. Le CUSM a entrepris de définir des règles pour veiller à ce que les responsables de la qualité et des performances interviennent dès le début de la conception de la TI et de la mise en œuvre des projets.

La mise en œuvre de nouveaux systèmes de TI permet d’harmoniser les définitions et la saisie des données. Une fois cette opération terminée et les utilisateurs formés, ces systèmes permettent d’analyser en temps réel les processus relatifs aux soins et d’in?former le personnel lorsqu’une étape est sautée ou qu’un délai est trop long, si le traitement est conforme aux pratiques exemplaires ou s’il y a des effets secondaires évitables. À titre d’exemple, dans le cas de l’infarctus du myocarde, on inscrit l’heure de l’arrivée aux urgences et celle à laquelle l’angioplastie est réalisée, en plus de noter si le patient a été réadmis dans les 30 jours suivants. Facilement récupérable, cette information peut aider l’organisation à relever les possibilités d’amélioration dans la façon dont les victimes d’un infarctus du myocarde sont traitées, en plus d’évaluer l’efficacité de ces initiatives d’amélioration.

Indicateurs fonctionnels

Les résultats des évaluations des systèmes de TI intéressent diverses parties, soit le ministère de la Santé, les administrateurs des hôpitaux, les chefs et les gestionnaires de projet ainsi que les cliniciens. Chaque niveau peut agir à l’égard d’un indicateur différent afin de contribuer à un même objectif général et il est important d’adapter les résultats d’une évaluation à chacun d’entre eux.

Les résultats doivent être présentés différemment à des auditoires différents. Le comité responsable des opérations s’intéressera sans doute au nombre d’utilisateurs d’un système. Peut-être aimerait-il savoir quels cliniciens sont en cause et pour combien de patients on a pu consigner des données précises et complètes? Pour leur part, les cliniciens voudront en apprendre plus sur les améliorations au plan des résultats liés à la documentation. Enfin, les administrateurs, qui fournissent les fonds nécessaires, voudront des preuves de l’efficacité et de l’amélioration de la rentabilité. Des résultats doivent être présentés aux personnes concernées de manière à ce que des améliorations puissent être apportées.

Une équipe responsable de l’évaluation des systèmes de TI pourrait examiner cinq indicateurs différents pour des raisons distinctes. Cependant, il importe d’en inclure suffisamment pour convaincre les cliniciens du fait qu’un usage approprié du système permettra de modifier les soins et d’améliorer les résultats. À titre d’exemple, si les cliniciens constatent qu’un système d’ordonnance électronique permet à leurs patients de se voir prescrire des antibiotiques quatre heures plus tôt, ils seront incités à s’en servir.

Quand l’évaluation se termine-t-elle?

Les travaux qui ont été publiés montrent clairement qu’à défaut de rétroaction, les changements ne durent pas.(3) Pour que les changements se perpétuent, il faut assurer un contrôle constant. L’intervalle de mesure varie selon la nature du projet. Les volets de formation et d’éducation initiaux seront sans doute maintenus afin de veiller à ce que les nouveaux employés disposent des connaissances appropriées pour utiliser le système.

Du fait de sa structure de gestion complexe, le secteur de la santé est un milieu particulièrement réfractaire au changement.(4) Les professionnels de la santé peuvent faire obstacle au changement s’ils ne participent pas au processus. Le processus de changement englobe les actions, les réactions et les interactions de divers éléments de l’organisation qui lui permettent de passer d’un état à l’autre.(5-7) L’évaluation, la communication des résultats et une structure de responsabilité claire en matière d’intervention favorisent l’établissement d’une culture d’amélioration continuelle, en matière de TI.

Références

1. Greenlagh, Trisha and Russell, Jill. (2010). « Why do Evaluations of eHealth Programs Fail? And alternative set of guiding principles », PLoS Medicine, 7(11).

2. DeLone, W.H. et McLean, E.R. 1992. « Information Systems Success: The Quest for the Dependent Variable », Information Systems Research (3:1), 60-95.

3. Ferlie, E. et Shortell, S. M. (2001). « Improving the quality of health care in the United Kingdom and United States: A framework for change », The Milbank Quarterly, 79, 281-315.

4. Sholom Glouberman et Brenda Zimmerman, Systèmes compliqués et complexes : En quoi consisterait une réforme des soins de santé réussie? Étude no 8, 2002, Commission sur l’avenir des soins de santé au Canada. Ottawa : Gouvernement du Canada.

5. McNulty, T. et Ferlie, E. (2002). « Reengineering health care: the complexities of organizational transformation » Oxford, England: Oxford University Press.

6. Pettigrew (1987). « Context and action in the transformation of a firm », Journal of Management Studies, 24(6), 649-70.

7. Pettigrew , A.M., Ferlie, E. et McKee, L. (1992). « Shaping Strategic Change in Large Organizations: The case of the National Health Service », New-bury Park: Sage Publications.