Importancia de la capacitación de evaluadores en evaluaciones del área neurológica

Fuente: EClinCloud. Autor: EClinCloud.
En las aplicaciones clínicas del área neurológica, los resultados de medición de las evaluaciones mediante escalas se basan principalmente en la observación y el criterio subjetivo del evaluador; en estas circunstancias, la fiabilidad y otras propiedades psicométricas de la evaluación con escalas suelen situarse por debajo de los estándares esperados.
La capacitación de evaluadores (RT) es un proceso sistemático de instrucción y evaluación sobre cómo los evaluadores deben valorar a los pacientes, con el propósito de que puedan asignar puntuaciones más fiables, precisas y consistentes según la situación real del paciente y mejorar la objetividad de la puntuación en la práctica clínica del área neurológica[1].
En un estudio de referencia sobre los métodos de capacitación de evaluadores, Woehr y Huffcutt realizaron una clasificación[2], que incluye:
Rater error training
Capacitación sobre errores del evaluador
Behavioral observation training
Capacitación en observación conductual
Performance dimension training
Capacitación en dimensiones del desempeño
Frame-of-reference training
Capacitación en marco de referencia
Familiarizar a los evaluadores con el contenido de la escala antes de la evaluación es un tipo de capacitación en dimensiones del desempeño (Performance dimension training). La capacitación en marco de referencia (Frame-of-reference training) tiene como objetivo establecer criterios comunes entre los evaluadores para observar y valorar a los pacientes, definir los errores de puntuación propensos a ocurrir en situaciones específicas y proporcionar estrategias de puntuación para evitar dichos errores.
En algunos casos, también se incorporan en la capacitación la práctica, el debate y la retroalimentación de los evaluadores con el fin de perfeccionar aún más el marco de referencia común de la escala[2,3].
La Junta Estadounidense de Psiquiatría y Neurología (ABPN) anunció en 2007 que los programas de formación en psiquiatría general deben realizar la verificación de habilidades clínicas (CSV), que incluye la observación de entrevistas clínicas y la evaluación práctica con pacientes.
Para facilitar la implementación de la capacitación, la ABPN convocó al Grupo de Trabajo sobre Verificación de Habilidades Clínicas para la Capacitación de Evaluadores, integrado por representantes de diversas organizaciones especializadas en psiquiatría. Este grupo se encargó de actuar como instructores de la capacitación y preparar los materiales formativos para guiar a los evaluadores en la obtención de la certificación CSV[4].
Ningún organismo oficial ni normativa pertinente ha publicado aún requisitos de capacitación para evaluadores. Sin embargo, en estudios clínicos confirmatorios de medicamentos donde una escala es la variable de valoración principal, al comunicarse con el CDE antes de iniciar el ensayo, el CDE formulará los requisitos correspondientes para la puntuación de la escala.
Las autoridades regulatorias serán más estrictas en la verificación de la parte correspondiente a las escalas, por lo que, para obtener datos con mayor rigor científico y consistencia, por lo general se recomienda organizar una capacitación de evaluadores en este tipo de estudios clínicos.
Mediante procedimientos de entrevista estandarizados y el resumen de las reglas de puntuación, la capacitación en escalas no solo fortalece y mejora la consistencia y precisión entre distintas regiones, distintos centros de investigación y distintos evaluadores, sino que además contribuye a asegurar la validez y fiabilidad de los resultados de puntuación a lo largo de todo el ensayo clínico.

En una revisión bibliográfica recopilada y publicada en 2017 por el equipo del Dr. Michael E. Sadler[5], el estudio buscó en algunas bases de datos una gran cantidad de términos clave relacionados con la «capacitación de evaluadores» y, tras realizar el cribado, llevó a cabo un análisis estadístico de las áreas, los métodos y la mejora observada en la capacitación de evaluadores de escalas.
Los resultados del estudio indican que la capacitación de evaluadores es un método habitual que permite minimizar la inexactitud y la variabilidad en las evaluaciones de resultados clínicos.



En 1998, Muller MJ y Wetzel H publicaron un estudio[6] en el que evaluaron cómo la capacitación estandarizada de evaluadores mejora la fiabilidad entre evaluadores de los ítems y las subescalas de la escala PANSS, confirmando la importancia de la capacitación de evaluadores. El estudio incluyó un total de 23 psiquiatras sin experiencia previa con la PANSS (Estudio I) y 12 psiquiatras con amplia experiencia (Estudio II); en el Estudio I se realizó una capacitación mediante 5 videos durante una semana, mientras que en el Estudio II se realizó una capacitación mediante 3 videos en un día, y posteriormente se analizaron y compararon sus evaluaciones.
Los resultados del estudio mostraron que la concordancia en las puntuaciones presentó una correlación positiva con la realización del curso de capacitación, demostrando una fiabilidad entre evaluadores satisfactoria.

En un estudio realizado por el Dr. Kenneth A. Kobak y colaboradores[7], se incluyó un total de 31 médicos de 15 regiones y con distinta formación académica; antes del ensayo se les impartió capacitación teórica y práctica junto con evaluaciones, y a mitad del ensayo (después de 12 meses) se volvió a evaluar a todos los evaluadores, permitiendo que quienes no aprobaran volvieran a examinarse tras recibir retroalimentación de los instructores.
Los resultados del estudio demostraron que la capacitación de evaluadores logra mejorar eficazmente las habilidades de aplicación clínica de los evaluadores, pero estas habilidades se atenúan gradualmente durante el transcurso del ensayo; por ello, además de la capacitación realizada antes del inicio del estudio, es necesario llevar a cabo capacitación y evaluaciones a largo plazo.

EClinCloud cuenta con amplia experiencia en proyectos de investigación clínica y no solo dispone de una extensa biblioteca de escalas, sino que también puede ofrecer a promotores y CRO servicios integrales de escalas, capacitación de evaluadores y diseño de eCOA; además, cuenta con un equipo de expertos con amplia experiencia para brindar servicios completos y de alta calidad a los proyectos de ensayos clínicos y ayudar a los clientes a resolver de manera más rápida y eficaz las cuestiones relacionadas con las evaluaciones de resultados clínicos.
Referencias bibliográficas
Referencias
[1] Wanzel KR, Ward M, Reznick RK. Teaching the surgical craft: From selection to certification. Curr Probl Surg. 2002 Jun;39(6):573-659. doi: 10.1067/mog.2002.123481. PMID: 12037512.
[2] Woehr D J, Huffcutt A I. Rater training for performance appraisal: A quantitative review[J]. Journal of Occupational and Organizational Psychology, 2011, 67(3):189-205.
[3] Feldman M, Lazzara EH, Vanderbilt AA, DiazGranados D. Rater training to support high-stakes simulation-based assessments. J Contin Educ Health Prof. 2012 Fall;32(4):279-86. doi: 10.1002/chp.21156. PMID: 23280532; PMCID: PMC3646087.
[4] Jibson MD, Broquet KE, Anzia JM, Beresin EV, Hunt JI, Kaye D, Rao NR, Rostain AL, Sexson SB, Summers RF; ABPN Task Force on Clinical Skills Verification Rater Training. Clinical skills verification in general psychiatry: recommendations of the ABPN Task Force on Rater Training. Acad Psychiatry. 2012 Sep 1;36(5):363-8. doi: 10.1176/appi.ap.10040061. PMID: 22983466.
[5] Sadler ME, Yamamoto RT, Khurana L, Dallabrida SM. The impact of rater training on clinical outcomes assessment data: a literature review. Int J Clin Trials.2017;4(3):xxx-xx.
[6] Muller MJ, Wetzel H. Improvement of inter-rater reliability of PANSS items and subscales by a standardized rater training. Acta Psychiatr Scand.1998;98: 135-139.
[7]Kenneth A. Kobak,Joshua Lipsitz,Janet B.W. Williams et.Are the Effects of Rater Training Sustainable?Results From a Multicenter Clinical Trial.Journal of Clinical Psychopharmacology.2007;27(5):534-535.
EClinCloud es una empresa tecnológica especializada en el ámbito de la investigación y el desarrollo clínicos que ofrece una plataforma integrada en la nube e interconectada todo en uno para ensayos clínicos (que incluye distintos productos tecnológicos como eCOA, CTMS, eTMF, EDC y RTSM, entre otros, así como soluciones como gestión de escalas, validación lingüística, capacitación de evaluadores y análisis de calidad de datos, entre otras) y tecnologías de evaluación de variables de valoración en ensayos clínicos en distintas áreas terapéuticas (como oncología, sistema nervioso central y oftalmología, entre otras). Al combinar tecnología de vanguardia con datos de ciencias de la vida, desarrolla una plataforma SaaS en la nube líder a nivel mundial "centrada en el paciente" para el respaldo de la evidencia clínica, con el fin de ayudar a empresas farmacéuticas e instituciones de investigación nacionales e internacionales a mejorar la eficiencia de I+D, acelerar la comercialización de medicamentos y dispositivos médicos y beneficiar a innumerables pacientes.



