L'importance de la formation des évaluateurs dans les évaluations en neurologie

Source : EClinCloud. Auteur : EClinCloud.
Dans les applications cliniques en neurologie, les résultats des évaluations par échelles reposent principalement sur l'observation et le jugement subjectifs des évaluateurs ; dans ce contexte, la fiabilité et les autres propriétés psychométriques des évaluations par échelles sont souvent inférieures aux normes attendues.
La formation des évaluateurs (RT) est un processus systématique d'enseignement et d'évaluation portant sur la manière dont les évaluateurs évaluent les patients, visant à leur permettre d'attribuer des scores plus fiables, précis et cohérents en fonction de l'état réel du patient, et d'améliorer l'objectivité de la cotation dans la pratique clinique en neurologie[1].
Dans une étude de référence sur les méthodes de formation des évaluateurs, Woehr et Huffcutt ont établi une classification[2], comprenant :
Rater error training
Formation aux erreurs des évaluateurs
Behavioral observation training
Formation à l'observation comportementale
Performance dimension training
Formation aux dimensions de performance
Frame-of-reference training
Formation au cadre de référence
Familiariser les évaluateurs avec le contenu de l'échelle avant l'évaluation est une forme de formation aux dimensions de performance (Performance dimension training). La formation au cadre de référence (Frame-of-reference training) vise à établir entre les évaluateurs une norme commune d'observation et d'évaluation des patients, définit les erreurs de cotation susceptibles de survenir dans des situations spécifiques et fournit des stratégies de cotation pour éviter ces erreurs.
Dans certains cas, la pratique, les discussions et les retours des évaluateurs sont également intégrés à la formation afin d'affiner davantage la norme de référence commune de l'échelle[2,3].
En 2007, l'American Board of Psychiatry and Neurology (ABPN) a annoncé que les programmes de formation en psychiatrie générale doivent inclure une vérification des compétences cliniques (CSV), comprenant l'observation d'entretiens cliniques et des évaluations pratiques auprès des patients.
Pour faciliter la mise en œuvre de la formation, l'ABPN a constitué le groupe de travail sur la vérification des compétences cliniques pour la formation des évaluateurs, composé de membres représentants issus de diverses organisations professionnelles de psychiatrie. Ce groupe est chargé d'intervenir en tant que formateurs et de préparer le matériel de formation afin d'accompagner les évaluateurs dans l'obtention de la certification CSV[4].
Aucune autorité officielle ni réglementation pertinente n'a encore publié d'exigences relatives à la formation des évaluateurs. Toutefois, dans les études cliniques confirmatoires de médicaments où une échelle sert de critère d'évaluation principal, le Center for Drug Evaluation (CDE) formule des exigences correspondantes pour la cotation de l'échelle lors des échanges avant le début de l'essai.
Les autorités réglementaires soumettent la partie relative aux échelles à une vérification plus stricte ; c'est pourquoi, afin d'obtenir des données d'une plus grande rigueur scientifique et d'une meilleure cohérence, il est généralement recommandé d'organiser une formation des évaluateurs dans ce type d'études cliniques.
Grâce à des procédures d'entretien standardisées et à une synthèse des règles de cotation, la formation aux échelles permet non seulement de renforcer et d'améliorer la cohérence et la précision entre différentes régions, différents centres investigateurs et différents évaluateurs, mais contribue également à garantir la validité et la fiabilité des résultats de cotation tout au long de l'essai clinique.

Dans une revue de la littérature compilée et publiée en 2017 par l'équipe du Dr Michael E. Sadler[5], l'étude a interrogé certaines bases de données à l'aide d'un grand nombre de mots-clés relatifs à la « formation des évaluateurs » et, après sélection, a procédé à une analyse statistique des domaines, des méthodes et modalités, ainsi que des améliorations liées à la formation des évaluateurs d'échelles.
Les résultats de l'étude montrent que la formation des évaluateurs est une méthode courante permettant de réduire au maximum l'imprécision et la variabilité dans les évaluations des résultats cliniques.



En 1998, Muller MJ et Wetzel H ont publié une étude[6] évaluant l'amélioration de la fiabilité inter-évaluateurs des items et sous-échelles de la PANSS grâce à une formation standardisée des évaluateurs, afin de vérifier l'importance de la formation des évaluateurs. L'étude a inclus au total 23 psychiatres n'ayant jamais utilisé la PANSS (Study I) et 12 psychiatres expérimentés (Study II) ; Study I a suivi une formation sur 5 vidéos en une semaine, tandis que Study II a suivi une formation sur 3 vidéos en une journée, et leurs évaluations ont été analysées et comparées.
Les résultats de l'étude montrent que la concordance de leurs cotations était positivement corrélée au suivi du programme de formation, témoignant d'une fiabilité inter-évaluateurs satisfaisante.

Une étude menée par le Dr Kenneth A. Kobak et al.[7] a inclus au total 31 médecins issus de 15 régions et présentant des parcours de formation différents. Ils ont respectivement suivi avant l'essai une formation didactique et pratique ainsi qu'un test ; tous les évaluateurs ont été réévalués à mi-parcours de l'essai (après 12 mois), et les évaluateurs n'ayant pas réussi pouvaient repasser l'évaluation après un retour du formateur.
Les résultats de l'étude montrent que la formation des évaluateurs permet d'améliorer avec succès leurs compétences d'application clinique, mais que ces compétences s'affaiblissent progressivement au cours de l'essai ; par conséquent, en plus de la formation dispensée avant le début de l'étude, une formation et des tests à long terme sont également nécessaires.

EClinCloud dispose d'une riche expérience dans les projets de recherche clinique : non seulement l'entreprise possède une vaste bibliothèque d'échelles, mais dans le même temps, elle peut également proposer aux promoteurs et aux CRO des services intégrés d'échelles, de formation des évaluateurs et de conception d'eCOA, et s'appuie sur une équipe d'experts expérimentés pour fournir des services complets et de qualité aux projets d'essais cliniques, afin de résoudre plus rapidement et plus efficacement les problématiques liées aux évaluations des résultats cliniques pour ses clients.
Références
Références
[1] Wanzel KR, Ward M, Reznick RK. Teaching the surgical craft: From selection to certification. Curr Probl Surg. 2002 Jun;39(6):573-659. doi: 10.1067/mog.2002.123481. PMID: 12037512.
[2] Woehr D J, Huffcutt A I. Rater training for performance appraisal: A quantitative review[J]. Journal of Occupational and Organizational Psychology, 2011, 67(3):189-205.
[3] Feldman M, Lazzara EH, Vanderbilt AA, DiazGranados D. Rater training to support high-stakes simulation-based assessments. J Contin Educ Health Prof. 2012 Fall;32(4):279-86. doi: 10.1002/chp.21156. PMID: 23280532; PMCID: PMC3646087.
[4] Jibson MD, Broquet KE, Anzia JM, Beresin EV, Hunt JI, Kaye D, Rao NR, Rostain AL, Sexson SB, Summers RF; ABPN Task Force on Clinical Skills Verification Rater Training. Clinical skills verification in general psychiatry: recommendations of the ABPN Task Force on Rater Training. Acad Psychiatry. 2012 Sep 1;36(5):363-8. doi: 10.1176/appi.ap.10040061. PMID: 22983466.
[5] Sadler ME, Yamamoto RT, Khurana L, Dallabrida SM. The impact of rater training on clinical outcomes assessment data: a literature review. Int J Clin Trials.2017;4(3):xxx-xx.
[6] Muller MJ, Wetzel H. Improvement of inter-rater reliability of PANSS items and subscales by a standardized rater training. Acta Psychiatr Scand.1998;98: 135-139.
[7] Kenneth A. Kobak, Joshua Lipsitz, Janet B.W. Williams et. Are the Effects of Rater Training Sustainable? Results From a Multicenter Clinical Trial. Journal of Clinical Psychopharmacology. 2007;27(5):534-535.
EClinCloud est une entreprise technologique dédiée à la recherche et au développement cliniques. Elle propose une plateforme cloud tout-en-un intégrée et interopérable pour les essais cliniques (comprenant différents produits technologiques tels que eCOA, CTMS, eTMF, EDC, RTSM, etc., ainsi que des solutions telles que la gestion des échelles, la validation linguistique, la formation des évaluateurs et l'analyse de la qualité des données, etc.) et des technologies d'évaluation des critères d'évaluation des essais cliniques dans différents domaines thérapeutiques (notamment l'oncologie, le système nerveux central, l'ophtalmologie, etc.). En associant les technologies de pointe aux données des sciences de la vie, elle développe une plateforme cloud SaaS de soutien aux preuves cliniques « centrée sur le patient » de premier plan au niveau mondial, afin d'aider les entreprises pharmaceutiques et les organismes de recherche en Chine et à l'étranger à améliorer l'efficacité de leur R&D, à accélérer la mise sur le marché des médicaments et des dispositifs médicaux, et à bénéficier à d'innombrables patients.



