Outil d'évaluation de la préparation organisationnelle au changement (ORCA)

Description

L’outil d’évaluation de la préparation organisationnelle au changement (ORCA) mesure la préparation organisationnelle à la mise en place de pratiques fondées sur des données probantes en milieu clinique. Il se compose de trois échelles qui mesurent :

• la solidité des données probantes à l’appui de l’innovation ou du changement proposé;
• la qualité du contexte organisationnel pour soutenir le changement de pratique;
• la capacité organisationnelle à favoriser le changement.

L’outil ORCA a été mis au point d’après le cadre Promoting Action on Research Implementation in Health Services (PARIHS), un modèle théorique servant à orienter la mise en œuvre d’interventions fondées sur des données probantes. Il opérationnalise les notions définies dans le cadre PARIHS.

L’outil se compose de 77 éléments, et de sous-échelles, regroupées selon les principaux domaines du cadre PARIHS :

• données probantes : la nature et la solidité des données probantes et la possibilité de les appliquer (quatre sous-échelles)
• contexte : le milieu ou le cadre où le changement proposé doit être apporté (six sous-échelles)
• facilitation : capacité ou genres de soutien requis pour aider les gens à changer leurs attitudes, leurs comportements, leurs aptitudes et leurs manières de penser et de travailler (neuf sous-échelles)

Étapes de l’utilisation de la méthode/de l’outil

L’outil d’évaluation de la préparation organisationnelle au changement (ORCA) se compose de 77 éléments répartis dans les échelles suivantes :

1. évaluation des données probantes :

• ampleur du désaccord au sein de l’équipe de professionnels quant aux données probantes (mesure dans laquelle un répondant voit ses collègues conclure à une base de données probantes plus faible ou plus forte que lui)
• données probantes issues de la recherche
• expérience clinique
• préférences des patients

2. évaluation du contexte :

• culture des hauts dirigeants
• culture du personnel
• comportement des dirigeants
• mesure (réaction des dirigeants)
• leaders d’opinion
• ressources générales

3. évaluation de la facilitation (pour évaluer la capacité organisationnelle à favoriser à l’interne le changement) :

• pratiques des hauts dirigeants
• caractéristiques des champions
• rôles des dirigeants en matière de mise en œuvre
• rôles de l’équipe en matière de mise en œuvre
• plan de mise en œuvre
• communication sur les projets
• suivi des progrès réalisés dans le cadre des projets
• ressources et contexte relatifs aux projets
• évaluation des projets

Évaluation

Les auteurs ont effectué deux séries d’analyses psychométriques sur les données provenant de trois projets d’amélioration de la qualité réalisés au sein de la Veterans Health Administration (VA) de 2002 à 2006. Dans chaque projet, l’outil ORCA a été appliqué au personnel. Deux séries d’analyses psychométriques ont été effectuées :

1) l’analyse d’éléments pour déterminer si ceux des échelles sont en corrélation comme prévu (fiabilité)

2) l’analyse exploratoire des facteurs concernant les sous-échelles regroupées pour déterminer le nombre de facteurs sous-jacents possibles, et leur lien entre eux (validité)

De plus, Hagedorn et Heideman (2010) ont vérifié l’utilité de l’outil ORCA dans un cadre clinique, où il a été utilisé au départ, puis après la mise en place de services de prévention des hépatites dans des cliniques de traitement des troubles liés à la consommation d’alcool et de drogues. Cette étude apporte un soutien préliminaire à ORCA comme mesure de la préparation organisationnelle au changement.

Validité

L’analyse exploratoire des facteurs appliquée aux notes des sous-échelles regroupées appuie trois facteurs sous-jacents, la plupart des notes étant groupées selon les éléments centraux du cadre PARIHS. Cependant, les sous-échelles mesurant les caractéristiques des champions et l’existence de ressources n’ont pas permis de donner nettement du poids à l’un ou l’autre des facteurs, et la sous-échelle des pratiques des dirigeants portait sur le contexte plutôt que sur la facilitation.

Fiabilité

Selon les essais de fiabilité, la plupart des sous-échelles de l’outil ORCA répondent aux exigences standard de 0,80. Le coefficient alpha de Cronbach pour la fiabilité était de 0,74, 0,85 et 0,95 dans le cas des échelles pour les données probantes, le contexte et la facilitation. Cependant, la fiabilité de trois échelles de données probantes était faible.