Outils de planification, d'instauration et d'évaluation des programmes

Un résumé de

Chinman, M., Imm, P. et Wandersman, A. (2004). Getting to outcomesTM: Promoting accountability through methods and tools for planning, implementation, and evaluation, Pittsburgh PA : RAND Corporation, récupéré à la page http://www.rand.org/pubs/technical_reports/TR101.html


Pertinence pour la santé publique

Cet outil pourra être utile aux planificateurs et aux gestionnaires de programmes, mais aussi aux spécialistes en évaluation des programmes. Il peut aider aux étapes de planification, d'instauration et d'évaluation des programmes afin d'influencer les stratégies d'amélioration continue de la qualité. Par exemple, les outils que contient la ressource pourraient permettre aux utilisateurs de perfectionner et de modifier les programmes existants pour répondre aux besoins d'une population à démographie changeante en matière de prévention du diabète.

Description

L'approche Getting to Outcomes (GTO) permet aux professionnels d'augmenter leur responsabilité par rapport à leurs programmes et d'améliorer la qualité de ceux-ci. Elle a été mise au point pour combler l'écart entre la recherche et la pratique en renforçant la capacité au niveau des professionnels et des programmes (p. ex., choisir des pratiques fondées sur des données probantes et planifier, instaurer, évaluer et maintenir des pratiques efficaces). Le rapport GTO 2004: Promoting Accountability through Methods and Tools for Planning, Implementation, and Evaluation renferme à la fois des méthodes et des outils. Le présent exposé sommaire contient les outils découlant du rapport (reportez-vous à l'exposé sommaire Méthodes pour planifier, instaurer, évaluer les programmes afin de connaître les méthodes).

L'approche repose sur des méthodes d'évaluation traditionnelles, une évaluation de l'autonomisation, une responsabilité fondée sur des résultats et une amélioration continue de la qualité. Bien que les méthodes d'évaluation traditionnelles se fondent généralement sur des évaluateurs externes, travaillant indépendamment des professionnels, l'évaluation de l'autonomisation favorise des relations de collaboration entre les évaluateurs et les professionnels. Cette évaluation repose sur l'idée selon laquelle les programmes sont plus susceptibles de réussir quand les évaluateurs collaborent avec les professionnels et leur fournissent les outils et les occasions pour planifier, instaurer, évaluer et mettre au point eux-mêmes un système d'amélioration continue de la qualité.

La responsabilité fondée sur des résultats est axée sur ceux des programmes et sur les leçons qui peuvent être tirées des effets et de l'efficacité de ces derniers, plutôt que sur le processus ou l'issue. L'amélioration continue de la qualité (ACQ) est une technique qui fait partie de la gestion de la qualité totale. Elle repose sur des principes d'amélioration de la qualité, de réduction des erreurs et des coûts et d'augmentation de la satisfaction des clients.

L'approche GTO se compose de 10 questions sur la responsabilité : six de planification (étapes 1 à 6), deux d'évaluation (étapes 7 et 8) et deux qui touchent l'utilisation de données pour améliorer et maintenir les programmes (étapes 9 et 10). Les questions sur la responsabilité sont les suivantes :

  1. Besoins et ressources : Quels sont les conditions et les besoins sous-jacents au sein de la population?
  2. Buts : Quels sont les buts, les populations cibles et les objectifs (résultats souhaités) qui permettront de répondre aux besoins et de changer les conditions sous-jacentes?
  3. Pratique exemplaire : Quels modèles fondés sur des données probantes et quels programmes de pratiques exemplaires pouvez-vous utiliser pour atteindre vos buts?
  4. Adaptation : Quelles mesures devez-vous prendre pour que le programme choisi s'adapte au contexte communautaire?
  5. Capacités : Quelles capacités organisationnelles faut-il pour instaurer le programme?
  6. Plan : Quel est le plan pour ce programme?
  7. Processus : Comment allez-vous évaluer la qualité d'instauration du programme?
  8. Résultats : Dans quelle mesure le programme a-t-il fonctionné?
  9. Amélioration continue de la qualité : Comment allez-vous intégrer des stratégies d'amélioration continue de la qualité?
  10. Durabilité : Comment des programmes efficaces seront-ils maintenus?

Voici les trois principales caractéristiques du système GTO :

  1. L'approche GTO peut être utilisée à tout stade de la planification, de l'instauration et de l'évaluation des programmes. Les professionnels peuvent choisir les questions sur la responsabilité qui sont utiles à un moment donné, selon le stade d'élaboration de leurs programmes.
  2. L'approche GTO n'est pas linéaire. Bien que présenté de manière linéaire, le système GTO peut être utilisé de manière itérative, où l'apprentissage pourra s'appliquer aux étapes antérieures.
  3. L'approche GTO favorise la compétence culturelle en programmation. Les professionnels peuvent intégrer les caractéristiques ethniques ou culturelles, les expériences, les normes et les valeurs des populations visées à chaque stade d'élaboration des programmes.

Accès à la méthode/à l’outil


Langue(s)

Non précisé

Format(s)

Non précisé

Coût

Not Specified

Mise en œuvre de la méthode/de l’outil


Temps requis pour la participation ou l’exécution

Information non disponible

Étant donné que les activités d'évaluation et d'amélioration continue de la qualité sont des processus continus et à long terme, utiliser les outils que renferme la ressource devrait faire partie de la pratique courante.

Ressources et/ou capacités additionnelles requises par la mise en œuvre

Des connaissances en méthodologie de recherche, en évaluation et en statistique seraient utiles pour utiliser la ressource.

Étapes de l’utilisation de la méthode/de l’outil

Les 10 sections de la ressource fournissent un certain nombre d'outils pouvant aider les utilisateurs à planifier, instaurer, puis évaluer les programmes.

A) Besoins et ressources : Quels sont les conditions et les besoins sous-jacents au sein de la population?

  • Outil pour dresser un plan de collecte de données (p. 22)
    • Un plan clair de collecte de données permet de s'assurer que ladite collecte est sur la bonne voie.
    • Voici quels sont les principaux éléments d'un plan de collecte de données : les facteurs de risque ou de protection à évaluer les indicateurs servant à mesurer comment et où obtenir les données les personnes responsables les dates d'achèvement des principales tâches

B) Buts : Quels sont les buts, les populations cibles et les objectifs (résultats souhaités) qui permettront de répondre aux besoins et de changer les conditions sous-jacentes?

  • La méthode PCCDP de rédaction d'objectifs (p. 36)
    • P - Public (la population visée par le résultat souhaité)
    • C - Comportement (un énoncé clair du changement de comportement prévu)
    • C - Condition (quel est le délai d'instauration et de mesure?)
    • D - Degré (quelle est l'ampleur de changement prévue?)
    • P - Preuve (comment le changement sera-t-il mesuré?)
  • Outil d'établissement des buts (p.40)
    • Cette section organise les buts des programmes, leurs objectifs et les populations visées afin de relier chaque but à un objectif et une population en particulier.

C) Capacités : Quelles capacités organisationnelles faut-il pour instaurer le programme?

  • Outils d'évaluation de la capacité (pp. 75-76)
    • Les créateurs décrivent un processus en quatre étapes pour évaluer la capacité organisationnelle sur les plans humain, technique, financier et structurel (ou des liens).
    • Le processus inclut le fait de définir des aspects précis de la capacité à évaluer, d'établir les exigences de chaque élément d'évaluation de la capacité, de déterminer si la capacité est suffisante et de choisir des stratégies pour augmenter celle-ci.

D) Plan : Quel est le plan pour ce programme?

  • Outil de planification (pp. 87-92)
    • L'outil de planification permet aux utilisateurs de relier des éléments de programme précis à des objectifs définis et d'établir des tâches dans chacun de ces éléments.
    • Il décrit les éléments de plan de programme qui suivent :
      • fournir un nom et un sommaire de programme définir les éléments de programme
      • établir les résultats prévus
      • planifier chaque élément de programme
      • cerner les groupes cibles
      • choisir les partenaires de collaboration
      • maximiser l'intégration du programme
      • déterminer les obstacles à l'instauration
      • dresser des listes de vérification sommaires

E) Processus : Comment allez-vous évaluer la qualité d'instauration du programme?

  • Outil de planification de l'évaluation du processus (p. 96)
    • Plusieurs questions d'évaluation du processus sont indiquées avec les activités de collecte de données correspondantes :
      • Le programme était-il conforme au plan de base en ce qui touche la prestation des services?
      • Quelles sont les caractéristiques du programme?
      • Quelles sont les caractéristiques des participants?
      • À quel point les participants étaient-ils satisfaits du programme?
      • Comment le personnel perçoit-il le programme?
      • Quels étaient les dosages pour chaque participant au programme?
      • Quels étaient les niveaux de qualité des éléments de programme?
  • Outil d'instauration (pp. 110-112)
    • L'outil d'instauration aide les utilisateurs à déterminer si le programme a été employé suivant le plan.
    • Il pousse plus à fond des questions posées dans l'outil de planification de l'évaluation du processus, en fournissant des renseignements sur ce qui suit :
      • la surveillance des résultats des éléments
      • les activités de planification prévues pour chaque élément de programme
      • le recrutement des groupes cibles
      • les partenaires de collaboration l'intégration du programme

F) Résultats : Dans quelle mesure le programme a-t-il fonctionné?

  • Comparaison des modèles d'évaluation courants (p. 123)
    • Ce tableau est utile lorsqu'il s'agit d'évaluer les avantages et les inconvénients de divers types de modèles d'évaluation des résultats lorsqu'il faut décider quel genre de modèle convient à votre programme.
    • Les créateurs recommandent d'appliquer une méthode avant-après avec un groupe de référence, mais, si c'est impossible, de procéder à une évaluation avant-après.
    • Voici les modèles d'évaluation évalués :
      • après seulement (résultats mesurés une fois le programme offert)
      • avant-après (changement mesuré par comparaison entre les niveaux de base et les résultats obtenus une fois le programme offert)
      • avant-après rétrospective (les participants s'accordent une note à la fin du programme selon la situation avant et après)
      • avant-après avec groupe de référence (pour comparer les changements survenus chez les participants par rapport à un groupe semblable qui n'a pas fait l'objet de l'intervention)
      • avant-après avec groupe témoin (les participants sont affectés au hasard à un groupe témoin ou bénéficiant de l'intervention qui est issu de la même population cible)
  • Coup d'œil sur les méthodes de collecte de données (pp. 124-125)
    • Ce tableau fait ressortir les forces et les faiblesses des méthodes de collecte de données, tant quantitatives que qualitatives.
    • Tandis que les méthodes quantitatives visent généralement à savoir qui, quoi, où et comment, les méthodes qualitatives permettent de savoir pourquoi et comment.
  • Coup d'œil sur les liens entre le modèle, la collecte et l'analyse (p. 131)
    • Cette section établit un lien entre certains modèles d'évaluation (après, avant-après et avant-après avec groupe de référence ou groupe témoin), la méthode de collecte de données appropriée, la méthode d'analyse des données et le nombre de groupes participants.
  • Outil d'évaluation des résultats (pp. 133-135)
    • L'outil d'évaluation des résultats est destiné à organiser les renseignements suivants :
      • un sommaire des résultats d'évaluation des besoins, y compris les facteurs de risque et de protection pertinents le groupe cible (y compris les chiffres)
      • les objectifs les mesures utilisées le modèle d'évaluation choisi la taille de l'échantillon : le nombre de personnes évaluées la méthode d'analyse des données les notes avant et après et les écarts entre elles l'interprétation des résultats

G) Amélioration continue de la qualité : Comment allez-vous intégrer des stratégies d'amélioration continue de la qualité?

  • Outil d'ACQ (p.141)
    • Résumer et utiliser les renseignements tirés de la planification, de l'instauration et de l'évaluation du programme permettra d'influencer une stratégie d'amélioration continue de la qualité.
    • L'outil d'ACQ résume les résultats obtenus aux étapes antérieures et détermine comment ces renseignements influenceront les changements à l'instauration du programme.
    • Voici les questions qui sont indiquées :
      • Les besoins du groupe cible ou les ressources communautaires ont-ils changé?
      • Les buts, les résultats souhaités ou la population cible ont-ils changé?
      • Existe-t-il des technologies nouvelles et améliorées qui sont fondées sur des données probantes ou sur des pratiques exemplaires?
      • Le programme convient-il toujours à votre organisme (sur les plans philosophique et logistique) et à votre collectivité?
      • Les ressources offertes pour répondre aux besoins définis ont-elles changé?
      • Dans quelle mesure votre plan a-t-il fonctionné?
      • Que suggérez-vous pour améliorer les choses?
      • Dans quelle mesure le programme a-t-il été bien instauré?
      • Dans quelle mesure avez-vous suivi le plan que vous avez dressé?
      • Quelles conclusions l'évaluation du processus vous a-t-elle permis de tirer?
      • Dans quelle mesure le programme a-t-il permis d'obtenir les résultats souhaités?
      • Quelles conclusions l'évaluation des résultats vous a-t-elle permis de tirer?

Qui est engagé dans la mise en œuvre

Utiliser la ressource exigerait l'intervention de bien des personnes et des ressources, car les activités d'évaluation et d'amélioration continue de la qualité sont des processus continus et à long terme. Parmi les personnes qui participeraient figureraient des directeurs et des gestionnaires de programme, des infirmières et des infirmiers hygiénistes, des nutritionnistes en santé publique, des agents de promotion de la santé, des coordonnateurs de programme, des spécialistes en recherche et en évaluation et des spécialistes des projets.

Condition d’utilisation

Non précisé

Caractéristiques de l’évaluation et de la mesure


Évaluation

Information non disponible

Validité

Sans objet

Fiabilité

Sans objet

Cote méthodologique

Sans objet

Développement de la méthode/de l’outil


Développeur(s)

Matthew Chinman

Méthode de développement

Getting to Outcomes 2004: Promoting Accountability Through Methods and Tools for Planning, Implementation, and Evaluation est un élément d'une série de trois qui a été conçue pour aider les professionnels à utiliser des programmes fondés sur des données probantes. L'utilisation du manuel peut s'accompagner d'une formation en personne et d'une assistance technique sur place. L'approche GTO a pour objet de permettre aux organismes de modifier leur structure pour mieux soutenir l'intégration de pratiques fondées sur des données probantes dans les activités courantes. Elle a pour but global de transformer les organismes pour qu'ils deviennent apprenants et soient ouverts au développement et au changement.

Date de sortie

2004

Personne contact / source

Matthew Chinman
RAND Corporation
4570, 5e Avenue, bureau 600
Pittsburgh PA 15213
Courriel : Matthew_Chinman@rand.org

Ces sommaires sont préparés par le CCNMO afin de condenser la matière et offrir un aperçu des ressources figurant dans le Registre des méthodes et outils, et pour fournir des suggestions quant à leur utilisation dans un contexte de santé publique. Pour plus d’information sur une méthode/un outil mentionné dans le sommaire, consultez les auteurs/développeurs de la ressource d’origine

Ressources

Titre de la ressource primaire Getting to Outcomes 2004: Promoting Accountability Through Methods and Tools for Planning, Implementation and Evaluation
Fichier joint Aucun
Lien Web
Référence

Chinman, M., Imm, P. et Wandersman, A. (2004). Getting to outcomesTM: Promoting accountability through methods and tools for planning, implementation, and evaluation, Pittsburgh PA : RAND Corporation, récupéré à la page http://www.rand.org/pubs/technical_reports/TR101.html


Type de ressource Rapport
Format Accès en ligne
Coût de l’accès Aucun.
Langue Anglais
Condition d’utilisation Copyright © 2004 RAND Corporation
Titre de la ressource supplémentaire Getting to outcomes: A results-based approach to accountability
Fichier joint Aucun
Lien Web
Référence Wandersman, A., Imm, P., Chinman, M. et Kaftarian, S. (2000). Getting to outcomes: A results-based approach to accountability, Evaluation and Program Planning, 23, 389-395
Type de ressource Article de revue
Format Périodique
Coût de l’accès Achat d'article de revue
Langue Anglais
Condition d’utilisation Copyright © 2000 Elsevier Science Ltd.
Titre de la ressource supplémentaire The getting to outcomes demonstration and evaluation: An illustration of the prevention support system
Fichier joint Aucun
Lien Web
Référence Chinman, M., Hunter, S. B., Ebener, P., Paddock, S. M., Stillman, L., Imm, P. et coll. (2008). The getting to outcomes demonstration and evaluation: An illustration of the prevention support system, American Journal of Community Psychology, 41, 206-224
Type de ressource Article de revue
Format Périodique
Coût de l’accès Achat d'article de revue
Langue Anglais
Condition d’utilisation Copyright © 2008 Springer Science+Business Media, LLC
Titre de la ressource supplémentaire Getting to Outcomes 2004: Appendices
Fichier joint Aucun
Lien Web
Référence Chinman, M., Imm, P. et Wandersman, A. (2004). Getting to outcomes 2004: Appendices, Pittsburgh PA : RAND Corporation, récupéré à la page http://www.rand.org/pubs/technical_reports/TR101.html
Type de ressource Rapport
Format Accès en ligne
Coût de l’accès
Langue Anglais
Condition d’utilisation Copyright © 2004 RAND Corporation
Titre de la ressource supplémentaire Getting to Outcomes: 10 Steps for Achieving Results-Based Accountability.
Fichier joint Aucun
Lien Web
Référence

Wiseman, S., Chinman, M., Ebener, P., Hunter, S., Imm, P., Wandersman, A. (2007). Getting to Outcomes: 10 Steps for Achieving Results-Based Accountability, no TR-TR101/2, Santa Monica CA : RAND Corporation, récupéré à la page http://www.rand.org/pubs/technical_reports/TR101.2/

Type de ressource Rapport
Format Accès en ligne
Coût de l’accès
Langue Anglais
Condition d’utilisation Copyright © 2004 RAND Corporation
Titre de la ressource supplémentaire GTO Manuals and Summaries
Fichier joint Aucun
Lien Web
Référence

RAND Health. GTO Manuals and Summaries. Retrieved from https://www.rand.org/health/projects/getting-to-outcomes/documents.html

Type de ressource Site Web
Format Accès en ligne
Coût de l’accès Non précisé
Langue Anglais
Condition d’utilisation Non précisé

Avez-vous utilisé cette ressource ? Partagez votre histoire!