Die Bedeutung der Beurteilerschulung bei Bewertungen in der Neurologie

Quelle: EClinCloud. Autor: EClinCloud.
In der klinischen Anwendung im neurologischen Bereich beruhen die Messergebnisse von Skalenbewertungen hauptsächlich auf der subjektiven Beobachtung und Einschätzung der Beurteiler. Unter diesen Umständen liegen die Reliabilität und andere psychometrische Eigenschaften von Skalenbewertungen häufig unter den erwarteten Standards.
Die Beurteilerschulung (Rater Training, RT) ist ein systematischer Unterrichts- und Prüfungsprozess dazu, wie Beurteiler Patienten bewerten, mit dem Ziel, dass Beurteiler auf Grundlage der tatsächlichen Situation der Patienten zuverlässige, genaue und konsistentere Punktwerte vergeben und die Objektivität der Bewertung in der klinischen Praxis im neurologischen Bereich erhöhen[1].
In einer wegweisenden Studie zu Methoden der Beurteilerschulung klassifizierten Woehr und Huffcutt die Beurteiler[2], darunter:
Rater error training
Schulung zu Beurteilerfehlern
Behavioral observation training
Schulung zur Verhaltensbeobachtung
Performance dimension training
Schulung zu Leistungsdimensionen
Frame-of-reference training
Schulung zu Referenzstandards
Die Beurteiler vor der Bewertung mit dem Inhalt der Skala vertraut zu machen, ist eine Form der Schulung zu Leistungsdimensionen (Performance dimension training). Die Schulung zu Referenzstandards (Frame-of-reference training) zielt darauf ab, unter den Beurteilern einen gemeinsamen Standard für die Beobachtung und Bewertung von Patienten zu etablieren; sie definiert Fehler, die bei der Bewertung in bestimmten Situationen leicht auftreten können, und stellt Bewertungsstrategien zur Fehlervermeidung bereit.
In einigen Fällen werden auch Praxis, Diskussionen und Rückmeldungen der Beurteiler in die Schulung einbezogen, um den gemeinsamen Referenzstandard der Skala weiter zu verfeinern[2,3].
Das American Board of Psychiatry and Neurology (ABPN) gab 2007 bekannt, dass allgemeine Weiterbildungsprogramme in der Psychiatrie eine Überprüfung klinischer Fähigkeiten (Clinical Skills Verification, CSV) durchführen müssen, einschließlich der Beobachtung klinischer Interviews und der praktischen Durchführung von Patientenbeurteilungen.
Um die Umsetzung der Schulung zu erleichtern, berief das ABPN die Arbeitsgruppe für Beurteilerschulung und Überprüfung klinischer Fähigkeiten ein, die aus Vertretern verschiedener psychiatrischer Fachorganisationen bestand. Diese Gruppe war dafür zuständig, als Schulungsdozenten und Lehrkräfte zu fungieren und Schulungsmaterialien vorzubereiten, um Beurteiler beim Abschluss der CSV-Zertifizierung anzuleiten[4].
Bislang wurden von keinen zuständigen offiziellen Behörden oder in Vorschriften Anforderungen an die Beurteilerschulung veröffentlicht. Bei konfirmatorischen klinischen Arzneimittelstudien, in denen eine Skala als primärer Endpunkt dient, stellt das Center for Drug Evaluation (CDE) im Rahmen der Kommunikation vor Studienbeginn jedoch entsprechende Anforderungen an die Skalenbewertung.
Die Regulierungsbehörden führen strengere Überprüfungen des Skalenteils durch; um Daten mit höherer Wissenschaftlichkeit und Konsistenz zu erhalten, wird daher in der Regel empfohlen, in solchen klinischen Studien eine Beurteilerschulung zu organisieren.
Durch standardisierte Interviewverfahren und die Zusammenfassung der Bewertungsregeln kann eine Skalenschulung nicht nur die Konsistenz und Genauigkeit zwischen verschiedenen Regionen, verschiedenen Prüfzentren und verschiedenen Beurteilern stärken und verbessern, sondern auch dazu beitragen, die Validität und Reliabilität der Bewertungsergebnisse während des gesamten Verlaufs der klinischen Studie zu gewährleisten.

In einer 2017 vom Team um Dr. Michael E. Sadler zusammengestellten und veröffentlichten Literaturübersicht[5] wurden bestimmte Datenbanken nach einer großen Anzahl von Suchbegriffen zum Thema „Beurteilerschulung“ durchsucht; nach einer Sichtung wurden die Anwendungsbereiche, Methoden und Verbesserungen der Skalen-Beurteilerschulung statistisch analysiert.
Die Studienergebnisse zeigen, dass die Schulung von Beurteilern eine gängige Methode ist, um Ungenauigkeiten und Variabilität bei der klinischen Ergebnisbewertung zu minimieren.



Im Jahr 1998 veröffentlichten Muller MJ und Wetzel H eine Studie[6], in der sie bewerteten, wie eine standardisierte Beurteilerschulung die Interrater-Reliabilität bei den Items und Subskalen der PANSS erhöht, und damit die Bedeutung der Beurteilerschulung bestätigten. In die Studie wurden insgesamt 23 Psychiater ohne vorherige PANSS-Erfahrung (Studie I) und 12 erfahrene Psychiater (Studie II) eingeschlossen. Die Teilnehmer von Studie I absolvierten innerhalb einer Woche eine Schulung anhand von 5 Videos, während die Teilnehmer von Studie II innerhalb eines Tages anhand von 3 Videos geschult wurden; anschließend wurden ihre Bewertungen analysiert und verglichen.
Die Studienergebnisse zeigen, dass die Übereinstimmung ihrer Bewertungen positiv mit dem Absolvieren des Schulungskurses korrelierte und eine zufriedenstellende Interrater-Reliabilität aufwies.

Eine von Dr. Kenneth A. Kobak et al. durchgeführte Studie[7] schloss insgesamt 31 Ärzte mit unterschiedlichem Ausbildungshintergrund aus 15 Regionen ein. Vor Studienbeginn erhielten sie jeweils eine Schulung zu Theorie und Anwendung sowie einen Test; zur Studienmitte (nach 12 Monaten) wurden alle Beurteiler erneut bewertet, wobei Beurteiler, die nicht bestanden hatten, nach Rückmeldung durch den Trainer erneut geprüft werden konnten.
Die Studienergebnisse zeigen, dass die Beurteilerschulung die klinischen Anwendungsfähigkeiten der Beurteiler erfolgreich verbessern kann, diese Fähigkeiten jedoch im Verlauf der Studie allmählich nachlassen; daher sind neben der Schulung vor Studienbeginn auch langfristige Schulungen und Prüfungen erforderlich.

EClinCloud verfügt über umfassende Projekterfahrung in klinischen Forschungsprojekten, besitzt nicht nur eine umfangreiche Skalenbibliothek, sondern kann Sponsoren und CROs zugleich integrierte Skalenservices, Beurteilerschulungen und eCOA-Design anbieten. Zudem unterstützt ein erfahrenes Expertenteam Studienprojekte mit umfassenden, qualitativ hochwertigen Services, um für Kunden Fragen im Zusammenhang mit der klinischen Ergebnisbewertung schneller und besser zu lösen.
Literaturverzeichnis
Referenzen
[1] Wanzel KR, Ward M, Reznick RK. Teaching the surgical craft: From selection to certification. Curr Probl Surg. 2002 Jun;39(6):573-659. doi: 10.1067/mog.2002.123481. PMID: 12037512.
[2] Woehr D J, Huffcutt A I. Rater training for performance appraisal: A quantitative review[J]. Journal of Occupational and Organizational Psychology, 2011, 67(3):189-205.
[3] Feldman M, Lazzara EH, Vanderbilt AA, DiazGranados D. Rater training to support high-stakes simulation-based assessments. J Contin Educ Health Prof. 2012 Fall;32(4):279-86. doi: 10.1002/chp.21156. PMID: 23280532; PMCID: PMC3646087.
[4] Jibson MD, Broquet KE, Anzia JM, Beresin EV, Hunt JI, Kaye D, Rao NR, Rostain AL, Sexson SB, Summers RF; ABPN Task Force on Clinical Skills Verification Rater Training. Clinical skills verification in general psychiatry: recommendations of the ABPN Task Force on Rater Training. Acad Psychiatry. 2012 Sep 1;36(5):363-8. doi: 10.1176/appi.ap.10040061. PMID: 22983466.
[5] Sadler ME, Yamamoto RT, Khurana L, Dallabrida SM. The impact of rater training on clinical outcomes assessment data: a literature review. Int J Clin Trials.2017;4(3):xxx-xx.
[6] Muller MJ, Wetzel H. Improvement of inter-rater reliability of PANSS items and subscales by a standardized rater training. Acta Psychiatr Scand.1998;98: 135-139.
[7] Kenneth A. Kobak, Joshua Lipsitz, Janet B.W. Williams et. Are the Effects of Rater Training Sustainable? Results From a Multicenter Clinical Trial. Journal of Clinical Psychopharmacology. 2007;27(5):534-535.
EClinCloud ist ein auf den Bereich der klinischen Forschung und Entwicklung spezialisiertes Technologieunternehmen. Es bietet eine integrierte, vernetzte einheitliche Cloud-Plattform für klinische Studien (darunter verschiedene Technologieprodukte wie eCOA, CTMS, eTMF, EDC und RTSM sowie Lösungen wie Skalenmanagement, sprachliche Validierung, Beurteilerschulung und Datenqualitätsanalyse) sowie Technologien zur Endpunktbewertung in klinischen Studien für verschiedene Therapiegebiete (wie Onkologie, zentrales Nervensystem, Ophthalmologie und weitere). Durch die Verbindung von Spitzentechnologie und biowissenschaftlichen Daten baut das Unternehmen eine weltweit führende, „patientenzentrierte“ SaaS-Cloud-Plattform zur Unterstützung klinischer Evidenz auf und hilft damit Pharmaunternehmen und Forschungseinrichtungen im In- und Ausland, die Forschungs- und Entwicklungseffizienz zu steigern, die Markteinführung von Arzneimitteln/Medizinprodukten zu beschleunigen und unzähligen Patienten zugutezukommen.



