Étapes de l’utilisation de la méthode/de l’outil |
1re partie : l'élaboration de politiques fondées sur des données probantes
A. L'élaboration de politiques fondées sur des données probantes et le rôle de la surveillance et de l'évaluation
Voici quelques-uns des changements qui, en évaluation, peuvent favoriser le recours à celle-ci pour l'élaboration de politiques fondées sur des données probantes :
- évaluer surtout des programmes ou des politiques régionaux ou larges, au lieu de petits projets, pour que l'évaluation joue un rôle stratégique au sein de votre organisme;
- adopter une approche systémique à l'évaluation où les décisions stratégiques sont influencées par des systèmes de surveillance et d'évaluation pertinents, intégrés et institutionnalisés au sein de l'organisme;
- favoriser l'adoption d'approches participatives à l'évaluation qui procurent une tribune pour un dialogue plus large entre les intervenants;
- renforcer la capacité d'évaluation au sein de votre organisme;
- institutionnaliser les systèmes de surveillance et d'évaluation par des normes de qualité.
Qu'est-ce qu'une politique fondée sur des données probantes? (p. 27)
La mesure dans laquelle le processus d'élaboration de politiques repose sur des données probantes s'inscrit dans un continuum.
- Politique fondée sur des données probantes: repose sur les meilleures données probantes qui soient afin que les planificateurs puissent prendre des décisions plus éclairées. Les données probantes peuvent comprendre des renseignements provenant de systèmes intégrés de surveillance et d'évaluation, de travaux de recherche universitaires, des expériences vécues auparavant et des renseignements sur les bonnes pratiques. Il est reconnu que les sources de données probantes ne sont pas toutes assez solides pour influencer l'élaboration des politiques.
- Politique fondée sur des opinions: repose fortement sur l'utilisation sélective de données probantes issues de la recherche ou du point de vue de personnes ou de groupes sur des questions idéologiques et des valeurs précises, notamment.
- Politique influencée par des données probantes: dans ce cas-ci, il est reconnu que l'élaboration de politiques est un processus politique en soi, et qu'en raison de contraintes, les décideurs ne peuvent peut-être pas traduire les données probantes en solutions stratégiques suivant les normes de qualité.
La nature des données probantes (pp. 29-32)
Le processus d'élaboration de politiques est suivi avec l'aide de divers types de données probantes : des examens systématiques, des études et des évaluations uniques, des études pilotes et de cas, des conseils d'expert et des renseignements tirés d'Internet.
En élaboration de politiques, voici les genres de travaux de recherche et d'évaluations qui sont utilisés (pp. 32-33) :
- Utilisation pratique: la recherche alimente directement la prise de décisions pour les politiques et la pratique.
- Utilisation conceptuelle: la recherche et l'évaluation influencent la compréhension d'une situation et procurent deux façons de penser et un aperçu de différentes solutions stratégiques.
- Mobilisation du soutien :la recherche et l'évaluation servent à justifier un plan d'action ou d'inaction précis.
- Influence élargie: les données exercent une influence qui dépasse l'organisme ou les activités qui ont lieu. Bien que cette forme d'influence soit rare, les connaissances qui influent ainsi sur la société civile peuvent mener à des virages à grande échelle dans la manière de penser et d'agir.
Les connaissances comme moyen d'exercer le pouvoir? La nécessité de solutions stratégiques fondées sur des données probantes
Divers facteurs influencent le processus d'élaboration de politiques (reportez-vous à la figure 5, à la p. 33). Différentes personnes utilisent des données probantes de diverses manières dans ce processus. Les responsables de l'élaboration des politiques se servent de renseignements pour :
- montrer l'efficacité de politiques et le rapport qui existe entre les risques et les bienfaits;
- vérifier l'acceptabilité d'une politique aux yeux des intervenants;
- créer un consensus parmi des personnes aux intérêts divergents et des intervenants.
Voici des facteurs qui influencent l'élaboration et l'application de politiques :
- l'exercice de la vie politique
- les ressources
- les expériences
Les données probantes touchant les politiques comptent trois éléments :
- les données objectives (travaux de recherche, évaluations)
- l'argumentation analytique (qui met les données objectives dans un contexte plus large)
- l'opinion des intervenants
Voici quels sont les facteurs qui favorisent l'utilisation de données probantes dans les politiques (p. 36) :
- des évaluations et des travaux de recherche opportuns et clairs reposant sur des méthodes solides
- des résultats en accord avec les idéologies existantes et qui sont pratiques et applicables
- des responsables de l'élaboration des politiques selon lesquels les données probantes peuvent représenter un important contrepoids à l'opinion des experts
- de solides défenseurs des résultats de recherche et d'évaluation
- des partenariats entre les responsables de l'élaboration des politiques, les décideurs et les chercheurs en matière de production de données probantes
- des résultats d'application solides
- une application réversible, au besoin
Mise en pratique des données probantes : augmenter l'application des données probantes aux politiques et à la pratique
Voici des questions clés qu'il faut aborder lorsqu'il s'agit de mettre au point une stratégie intégrée de surveillance et d'évaluation :
- Quels sont les modèles de recherche et d'évaluation qui conviennent à des questions de recherche données? Comment savez-vous quand la méthode est valable?
- Qu'est-ce qui représente un équilibre approprié entre les travaux de recherche primaires (nouvelles études)et secondaires (analyse des données existantes)?
- Comment pouvez-vous établir un équilibre entre le besoin de rigueur et la nécessité de résultats opportuns qui sont pertinents pour la pratique?
- Quelles approches pouvez-vous adopter pour définir les lacunes au chapitre des connaissances? Comment devriez-vous établir l'ordre de priorité pour les lacunes?
- Comment les travaux de recherche et les évaluations devraient-ils être commandés et gérés pour que les lacunes définies en matière de connaissances soient comblées?
- Comment les capacités dans le domaine de la recherche et de l'évaluation peuvent-elles être renforcées pour que la disponibilité de renseignements fondés sur la recherche soit accrue?
- Comment pouvez-vous gérer la tension qui existe entre l'opportunité de recourir à des chercheurs et des évaluateurs indépendants et neutres, et la nécessité de liens étroits entre les décideurs et les évaluateurs?
- Comment devriez-vous transmettre les données probantes? Comment les responsables de l'élaboration des politiques et les décideurs peuvent-ils intervenir dans la recherche et l'évaluation pour s'assurer que les résultats sont plus facilement applicables?
Autres suggestions de stratégies :
- obtenir un ralliement approprié: quand des responsables de l'élaboration des politiques et des décideurs s'approprient une initiative
- améliorer le dialogue entre les responsables de l'élaboration des politiques, les chercheurs et les évaluateurs
- faire correspondre une forte demande à un bon approvisionnement en données probantes appropriées
- améliorer la compréhensibilité des données probantes
- utiliser une dissémination des données probantes et des mesures d'encouragement efficaces
B. Le lien entre l'évaluation et la politique
Définitions d'évaluation et de politique (pp. 47-50)
L'évaluation est le processus servant à déterminer le mérite ou la valeur de quelque chose. Ce processus a deux objets : fournir des renseignements et permettre de porter un jugement. Bien que la recherche d'informations relie l'évaluation à la recherche, fournir des jugements de valeur ou des conclusions d'évaluation procure un lien avec la politique. L'évaluation et la politique concernent les valeurs, les jugements de valeur et les conflits de valeur dans la vie publique. La politique est la définition officielle des valeurs d'une société, ce qui exige de prendre des décisions morales sur ce qui est bon ou mauvais.
Point de vue des chercheurs d'évaluation sur les liens entre l'évaluation et la politique (pp. 50-54)
L'évaluation et la politique sont liées comme suit :
- Les politiques et les programmes auxquels s'attache l'évaluation découlent de décisions politiques.
- L'évaluation s'inspire de la prise de décisions en fournissant des renseignements pour des décisions politiques (comme celle d'évaluer ou de justifier la nécessité d'un nouveau programme).
- L'évaluation sert à instaurer des politiques (pour qu'elles le soient de manière rentable ou efficace).
- L'évaluation a une saveur politique en permettant d'émettre des énoncés politiques implicites (p. ex., remettre en question la légitimité de programmes existants) et sert d'outil pour les enquêtes critiques.
- L'évaluation favorise la responsabilité en matière décisionnelle (pour déterminer l'efficacité d'un programme et la nécessité de le maintenir, de le modifier ou d'y mettre fin).
- La politique influence le modèle et le processus d'évaluation et l'utilisation des résultats (voyez aussi la p.56).
- Les évaluateurs peuvent être des collaborateurs ou des défenseurs des décideurs, le programme ou la politique même ou les clients du programme. Ils peuvent représenter la voix des intervenants vulnérables qui sont souvent exclus lorsqu'il s'agit de concevoir ou d'appliquer l'évaluation. Ainsi, l'évaluation sert à renforcer les capacités des organismes et des collectivités.
Le présent document donne un aperçu de différents points de vue de l'évaluateur [(neutre sur le plan des valeurs, sensible aux valeurs et critique des valeurs (pp. 55-63)].
C. La surveillance et l'évaluation et la fonction de connaissance
Le présent chapitre place la surveillance et l'évaluation dans le contexte plus large de la gestion des connaissances comme élément d'apprentissage organisationnel et de renforcement du rendement.
La fonction de connaissance
La fonction de connaissance concerne l'acquisition, l'organisation, la production, la transmission et l'utilisation des connaissances au sein des organismes et au-delà de leurs limites. Dans son cadre, la gestion des connaissances renvoie aux activités de gestion servant à soutenir toutes ces étapes, qui visent à rehausser l'organisation, l'intégration, le partage et la prestation des connaissances. Elle comporte les étapes suivantes (reportez-vous au schéma de la p. 76) :
- planification stratégique des connaissances
- acquisition des connaissances
- organisation et stockage des renseignements
- génération de produits de connaissance
- transmission et échange des connaissances
- application et utilisation des connaissances(pour être appliqués, les renseignements découlant d'évaluations doivent être adaptés)
Établir un lien entre les connaissances et l'action (pp. 84-86)
Ces approches peuvent servir à rehausser l'utilité des connaissances découlant des sources de surveillance et d'évaluation des systèmes organisationnels de connaissance :
- Adopter des processus d'examen critique et d'évaluation de la qualité pour que les utilisateurs des données de surveillance et d'évaluation puissent facilement évaluer la pertinence de l'information pour divers domaines d'intérêt, la solidité du programme sous-jacent, la validité ou l'applicabilité des leçons apprises ainsi que l'accessibilité des données et des documents de référence.
- Augmenter le recours aux approches pilotes pour accroître la validité et la crédibilité des connaissances découlant de la surveillance et de l'évaluation. Les projets pilotes (servant à vérifier l'efficacité d'un programme ou d'une politique) exigent généralement un degré supérieur de surveillance et d'évaluation, y compris une mesure de base, une évaluation périodique et le recours à des groupes témoins ou de référence.
- Renforcer les plateformes pour l'organisation, la présentation et la transmission des connaissances, y compris les données de surveillance et d'évaluation.Il est possible d'intégrer des données qualitatives à d'autres sources de renseignements et de promouvoir l'analyse d'ensembles de données et de résultats d'évaluation.
- Acquérir la capacité d'évaluer l'effet des connaissances pour mieux comprendre l'efficacité d'une stratégie d'application des connaissances, et l'effet du recours aux connaissances tant à l'intérieur qu'à l'extérieur d'un organisme.
D. Dix étapes à suivre pour obtenir un système de surveillance et d'évaluation fondé sur les résultats
La surveillance et l'évaluation ne se font plus suivant des approches fondées sur l'application, mais plutôt d'après des stratégies fondées sur les résultats. Les systèmes fondés sur les résultats permettent de répondre à la question « Et alors? ». Cela ne suffit pas à mettre en œuvre des programmes et à présumer qu'une application réussie signifie que les résultats pour la santé ont réellement été améliorés. La présente section est un résumé du livre Ten Steps to a Results-Based Monitoring and Evaluation System, de Kusek et Rist (2004).
Les dix étapes à suivre pour créer un système de surveillance et d'évaluation fondé sur le rendement (pp. 103-105)
- 1reétape - Procéder à une évaluation de la préparation: déterminer dans quelle mesure un organisme peut et veut créer un système de surveillance et d'évaluation fondé sur les résultats. L'évaluation touche des questions comme la présence ou l'absence de champions et les obstacles à la création d'un système.
- 2eétape - S'entendre sur les résultats à surveiller et à évaluer: s'assurer que les résultats découlent de priorités stratégiques.
- 3eétape - Établir des indicateurs clés pour surveiller les résultats: évaluer la mesure dans laquelle les résultats sont obtenus. Les questions politiques et méthodologiques sont essentielles lorsqu'il s'agit de créer des indicateurs crédibles.
- 4eétape - Réunir les données de base sur les indicateurs: évaluer les conditions initiales.
- 5eétape - Prévoir des améliorations; fixer des cibles réalistes: fixer des buts intermédiaires, car la plupart des résultats sont à long terme, complexes et ne s'obtiennent pas rapidement.
- 6eétape - Surveiller les résultats: établir des lignes directrices pour la collecte, l'analyse et la divulgation des données, trouver un moyen de contrôler la qualité, et ainsi de suite.
- 7eétape - Évaluer les renseignements pour soutenir la prise de décisions: recourir à des études d'évaluation tout au long du processus pour évaluer les résultats et le cheminement vers ceux-ci.
- 8eétape - Analyser et divulguer les résultats: déterminer les résultats devant être divulgués, sous quelle forme et à quels intervalles.
- 9eétape - Utiliser les résultats: fournir les renseignements aux utilisateurs appropriés et en temps opportun pour qu'ils tiennent compte des résultats dans leur gestion d'un programme ou d'une politique.
- 10eétape - Soutenir le système de surveillance et d'évaluation: instaurer un processus à long terme comprenant la création et le maintien d'éléments d'un système durable.
2e partie : l'intention stratégique derrière les évaluations, les études et la recherche
E. Augmenter le recours à des évaluations pour l'élaboration de politiques fondées sur des données probantes
Bien que d'énormes ressources soient consacrées à l'évaluation des programmes, le recours aux résultats d'évaluation est très rare. Le fait que l'évaluation ne permette pas d'influencer considérablement la prise de décisions et le mauvais emploi des résultats d'évaluation (p. ex., le recours à des études d'évaluation mal conçues) inquiètent largement.
Définir le recours à l'évaluation
Évaluer le recours à l'évaluation nécessite d'évaluer ce qui suit :
- L'utilisation de l'évaluation: la manière dont les responsables de l'élaboration des politiques, les décideurs et les professionnels, notamment, utilisent les résultats d'évaluation et les recommandations.
- L'influence de l'évaluation: la manière dont l'évaluation a influencé les décisions et les mesures.
- Les conséquences de l'évaluation: la manière dont la tenue de l'évaluation, les résultats et les recommandations influent sur les organismes concernés, le dialogue sur les politiques et les populations visées. La décision d'évaluer et le choix de la méthode d'évaluation peuvent avoir des effets importants.
Il y a lieu de s'attacher à un certain nombre de questions de mesure lorsqu'il s'agit d'évaluer l'utilisation, l'influence ou les conséquences de l'évaluation :
- La période sur laquelle les résultats et les effets sont mesurés: étant donné les contraintes de temps, les évaluateurs doivent souvent évaluer les résultats et les effets au début de la mise en œuvre du programme, moment où il peut être trop tôt pour les évaluer avec exactitude. Une évaluation d'évaluabilité effectuée avant l'évaluation peut déterminer s'il est possible de mesurer les résultats ou les effets à ce moment-là si une évaluation doit avoir lieu.
- L'intensité des effets: évaluer la portée et l'intensité de l'influence de l'évaluation sur la prise de décisions.
- Le biais de déclaration: les organismes de financement influencent la prise de décisions; il est donc plus difficile de déterminer l'influence de l'évaluation si les organismes ne reconnaissent pas en quoi l'évaluation a influé sur la prise de décisions.
- L'attribution: comme les décideurs reçoivent des renseignements de sources multiples, il est difficile d'établir la mesure dans laquelle l'évaluation influence une décision donnée.
Évaluer l'influence d'une évaluation (analyse de l'attribution) (pp. 125-126)
La figure, à la p. 126, illustre une approche à l'analyse de l'attribution qu'utilise le Groupe d'Évaluation Indépendante de la Banque mondiale.
Exemples d'utilisation efficace de l'évaluation (pp. 127-130)
Moyens de renforcer l'utilisation de l'évaluation (pp. 131-138)
- Amener à s'approprier l'évaluation.
- Employer des stratégies de communication efficaces.
- Décider quoi évaluer en se concentrant sur quelques questions essentielles.
- Fonder l'évaluation sur une théorie de programme et un modèle logique.
- Comprendre le contexte politique.
- Établir convenablement le moment où l'évaluation sera lancée et achevée.
- Définir la méthode d'évaluation appropriée.
- Adopter des stratégies d'analyse du processus et d'évaluation formative.
- Renforcer la capacité d'évaluation.
- Transmettre les résultats de l'évaluation.
- Dresser un plan d'action de suivi comme moyen de promouvoir le recours aux résultats d'évaluation.
Annexes du curriculum vitae des auteurs (p. 210) et des abréviations (p. 217) |
Sans objet