Pertinence pour la santé publique

Cet outil a été mis au point à des fins générales et pourra servir à évaluer la qualité méthodologique d'examens systématiques sur des interventions de santé publique. Cependant, il y a lieu de noter que son utilisation n'a été mise à l'épreuve que pour des examens systématiques de plans d'essais sur échantillon aléatoire et contrôlé. AMSTAR est utilisé par un certain nombre de groupes, y compris l'Agence canadienne des médicaments et des technologies de la santé et le Cochrane Effective Practice and Organization of Care Group (EPOC).

Description

L'outil est un questionnaire en 11 éléments qui peut servir à évaluer la qualité méthodologique d'examens systématiques en évaluant la présence de ce qui suit :

• une conception a priori;
• une sélection d'études et une extraction de données en double;
• une recherche documentaire exhaustive;
• l'utilisation de l'état de publication comme critère d'inclusion;
• une liste d'études incluses ou exclues;
• les caractéristiques des études incluses;
• l'évaluation documentée de la qualité scientifique des études incluses;
• l'utilisation appropriée de la qualité scientifique lorsqu'il s'agit de formuler des conclusions;
• l'utilisation appropriée de méthodes pour combiner les résultats des études;
• l'évaluation de la probabilité de biais de publication;
• la documentation du conflit d'intérêt.

L'outil AMSTAR a été créé d'après des outils antérieurs, des données probantes empiriques et un consensus d'experts. Plus de dix ans se sont écoulés depuis la mise au point initiale de ces genres d'outils, et d'autres études ont été menées sur les sources possibles de biais dans les examens systématiques. AMSTAR a intégré ces autres sources de biais et demeurera un document vivant pouvant être amélioré à mesure que d'autres progrès seront réalisés en recherche méthodologique.

L'outil a été créé à l'aide de ce qui suit :

1. le questionnaire d'évaluation de la qualité globale (QEQG) d'Oxman et Guyatt (1991)
2. une liste de contrôle créée par Sacks et coll. (1987)
3. trois éléments additionnels récemment jugés d'importance méthodologique:

• restriction linguistique
• biais de publication
• état de publication (inclusion de la littérature grise)

L'outil a été appliqué à 99 examens systématiques papier et 52 examens systématiques en version électronique. L'analyse exploratoire des facteurs a servi à déterminer les composants sous-jacents. Des experts en méthodologie ont examiné les résultats en se servant d'une technique de groupe nominal destinée à réduire les éléments et à concevoir un outil d'évaluation dont la validité est apparente et se vérifie dans le contenu.

Les utilisateurs pourront imprimer une copie de l'outil en 11 éléments et s'en servir pour évaluer un examen systématique de manière critique. Cet outil permet à l'utilisateur d'effectuer l'évaluation qualitative d'un examen systématique.

AMSTAR détermine la qualité méthodologique d'examens systématiques en évaluant la présence de ce qui suit :

• une conception a priori;
• une sélection d'études et une extraction de données en double;
• une recherche documentaire exhaustive;
• l'utilisation de l'état de publication comme critère d'inclusion;
• une list d'études incluses ou exclues;
• les caractéristiques des études incluses;
• l'évaluation documentée de la qualité scientifique des études incluses;
• l'utilisation appropriée de la qualité scientifique lorsqu'il s'agit de formuler des conclusions;
• l'utilisation appropriée de méthodes pour combiner les résultats des études;
• l'évaluation de la probabilité de biais de publication;
• la documentation du conflit d'intérêt.

Note : une étude réalisée par un autre groupe d'auteurs (Kung et coll., 2010) a permis de créer un outil révisé du nom de « R-AMSTAR », qui repose sur une méthode de pointage quantitative pour évaluer des examens systématiques.

Quiconque évalue un examen systématique de manière critique pourrait utiliser cet outil.

L'outil AMSTAR a fait l'objet de deux évaluations de fiabilité et de validité. Les deux études d'évaluation comprennent les auteurs de l'étude d'élaboration de l'outil AMSTAR (Shea, Grimshaw et coll., 2007) :

1) Shea, B.J., Bouter, L.M., Peterson, J., Boers, M., Andersson, N. et coll. (2007). External Validation of a Measurement Tool to Assess Systematic Reviews (AMSTAR), PLoS ONE, 2(12) : e1350.doi :10.1371/journal.pone.0001350

• AMSTAR a servi à évaluer 42examens axés sur des thérapies pour guérir les reflux gastro-œsophagiens, les ulcères gastroduodénaux et d'autres maladies liées à l'acide.
• Deux évaluateurs ont appliqué AMSTAR à chaque examen.
• Deux autres évaluateurs accompagnés d'un clinicien ou d'un spécialiste de la méthodologie ont appliqué indépendamment une évaluation globale à chaque examen.
• Les résultats divulgués comprenaient la fiabilité (kappas inter-observateurs) et la validité structurelle.

2) Shea, G.J., Hamel, C., Wells, G.A., Bouter, L.M., Kristjansson, E., Grimshaw, J., Henry, D.A., Boers, M. (2009). AMSTAR is a reliable and valid measurement tool to assess the methodological quality of systematic reviews, Journal of Clinical Epidemiology, oct.; 62(10) : 1013-20, Epub, 20 févr. 2009

• Trente examens systématiques ont été choisis au hasard à même une base de données de 151 examensayant servi à la mise au point d'AMSTAR.
• Chaque examen a été évalué par deux examinateurs à l'aide de ce qui suit:

1. le questionnaire d'évaluation de la qualité globale (QEQG)
2. l'instrument de Sacks
3. AMSTAR

• Les résultats divulgués comprenaient la fiabilité (kappas inter-observateurs), les coefficients de corrélation intra-classe des sommes obtenues, la validité structurelle et les délais d'achèvement.

Beverley J. Shea
EMGO Institute, VU University Medical Center, Amsterdam, Pays-Bas
Community Information and Epidemiological Technologies (CIET), Institut de recherche sur la santé des populations, Ottawa ON

Jeremy M. Grimshaw
Institut de recherche sur la santé des populations, Ottawa ON

George A. Wells
Département d'épidémiologie et de médecine communautaire, Université d'Ottawa,
Ottawa ON

Maarten Boers
Département d'épidémiologie clinique et de biostatistique, VU University Medical Center,
Amsterdam, Pays-Bas

Neil Andersson
Community Information and Epidemiological Technologies (CIET),
Ottawa ON

Candyce Hamel
Community Information and Epidemiological Technologies (CIET Canada)
Ottawa ON

Ashley C. Porter
Community Information and Epidemiological Technologies (CIET Canada)
Ottawa ON

Peter Tugwell
Institut de recherche sur la santé des populations, Ottawa ON

David Moher
Université d'Ottawa, Ottawa ON

Lex M. Bouter
EMGO Institute, VU University Medical Center, Amsterdam, Pays-Bas

L'outil AMSTAR a été créé d'après des outils antérieurs, des données probantes empiriques et un consensus d'experts. L'outil a été mis au point au départ à l'aide de ce qui suit :

1. le questionnaire d'évaluation de la qualité globale (QEQG) d'Oxman et Guyatt (1991)
2. une liste de contrôle créée par Sacks et coll. (1987)
3. trois éléments additionnels récemment jugés d'importance méthodologique:

• restriction linguistique
• biais de publication
• état de publication (inclusion de la littérature grise)

Analyse exploratoire des facteurs

L'outil a été appliqué à 99 examens systématiques papier et 52 examens systématiques en version électronique. L'analyse exploratoire des facteurs a servi à déterminer les principales dimensions de l'outil en effectuant une enquête préliminaire sur les corrélations entre les variables définies. Les éléments à faible saturation avaient tendance à être faiblement reliés à d'autres éléments et ont été retirés. L'analyse des facteurs a permis de réduire l'instrument de 37 éléments à 29 éléments qui mesuraient 11 composants.

Technique de groupe nominal

En se basant sur les résultats de l'analyse exploratoire des facteurs, 11 experts internationaux dans les domaines de l'évaluation de la qualité méthodologique et des examens systématiques ont convenu de réduire le bassin d'éléments et d'évaluer la validité apparente et celle du contenu suivant la technique de groupe nominal.

La technique de groupe nominal sert généralement à faciliter la prise de décisions. Elle exige des experts, des discussions et un consensus qualitatif. Dans cette étude, le panel d'experts a examiné les résultats de l'analyse des facteurs. Chaque participant a enregistré ses idées indépendamment. Ensuite, celles-ci ont été énumérées à tour de rôle avec un animateur jusqu'à ce qu'elles l'aient toutes été, puis une discussion en groupe a eu lieu. Les personnes ont alors exprimé indépendamment leurs points de vue. Ceux-ci ont été regroupés pour produire des jugements collectifs. L'outil créé a été distribué électroniquement au groupe pour un dernier tour de mise au point après la réunion.

Le groupe nominal a défini les éléments qui rendaient le mieux les 11 éléments indiqués par l'analyse des facteurs et confirmé la validité apparente de l'outil et celle de son contenu. L'instrument résultant est un questionnaire en 11 éléments.

Beverley J. Shea
Community Information and Epidemiological technologies (CIET), Institut de recherche sur la santé des populations
1, rue Stewart, pièce 319
Ottawa (Ontario) K1N 6N5
Canada

Tél : +613-562-5800, poste 8571
Téléc. : +613-562-5392
Courriel : bshea@ciet.org ou bevshea@uottawa.ca