A importância do treinamento de avaliadores nas avaliações neurológicas

Fonte: EClinCloud. Autor: EClinCloud.
Na aplicação clínica na área neurológica, os resultados de avaliações por escalas baseiam-se principalmente no julgamento e na observação subjetivos do avaliador; nessas circunstâncias, a confiabilidade e outras propriedades psicométricas das avaliações por escalas frequentemente ficam abaixo dos padrões esperados.
O treinamento de avaliadores (RT) é um processo sistemático de instrução e avaliação sobre como os avaliadores examinam os pacientes, com o objetivo de capacitá-los a atribuir pontuações mais confiáveis, precisas e consistentes de acordo com a condição real do paciente, aumentando a objetividade da pontuação na prática clínica da área neurológica[1].
Em um estudo marcante sobre métodos de treinamento de avaliadores, Woehr e Huffcutt classificaram os avaliadores[2], incluindo:
Rater error training
Treinamento sobre erros do avaliador
Behavioral observation training
Treinamento de observação comportamental
Performance dimension training
Treinamento de dimensões de desempenho
Frame-of-reference training
Treinamento de quadro de referência
Familiarizar os avaliadores com o conteúdo da escala antes da avaliação é uma forma de treinamento de dimensões de desempenho (Performance dimension training). O treinamento de quadro de referência (Frame-of-reference training) visa estabelecer um padrão comum entre os avaliadores para observar e avaliar os pacientes, definindo os erros de pontuação propensos a ocorrer em situações específicas e fornecendo estratégias de pontuação para evitar erros.
Em alguns casos, a prática, a discussão e o feedback dos avaliadores também são incorporados ao treinamento para aprimorar ainda mais o quadro de referência comum da escala[2,3].
O American Board of Psychiatry and Neurology (ABPN) anunciou em 2007 que os programas de treinamento em psiquiatria geral devem realizar a Verificação de Habilidades Clínicas (CSV), incluindo observação de entrevistas clínicas e prática de avaliação com pacientes.
Para facilitar a implementação do treinamento, o ABPN convocou o Grupo de Trabalho de Verificação de Habilidades Clínicas para Treinamento de Avaliadores, composto por membros representantes de diversas organizações psiquiátricas especializadas. Esse grupo é responsável por atuar como instrutores do treinamento e preparar materiais didáticos para orientar os avaliadores na conclusão da certificação CSV[4].
Atualmente, nenhum órgão oficial ou regulamento publicou requisitos para o treinamento de avaliadores. Contudo, em estudos clínicos confirmatórios de medicamentos nos quais uma escala atua como desfecho primário, ao se comunicar com o CDE antes do início do ensaio, o CDE apresenta os requisitos correspondentes para a pontuação da escala.
As autoridades regulatórias realizam inspeções mais rigorosas da parte referente às escalas; portanto, para obter dados com maior rigor científico e consistência, geralmente recomenda-se organizar o treinamento de avaliadores nesses estudos clínicos.
Por meio de procedimentos padronizados de entrevista e da consolidação das regras de pontuação, o treinamento em escalas não apenas fortalece e aprimora a consistência e a precisão entre diferentes regiões, diferentes centros de pesquisa e diferentes avaliadores, mas também contribui para assegurar a validade e a confiabilidade dos resultados de pontuação ao longo de todo o ensaio clínico.

Em uma revisão da literatura compilada e publicada pela equipe do Dr. Michael E. Sadler em 2017[5], o estudo pesquisou um grande volume de palavras-chave relacionadas a "treinamento de avaliadores" em determinadas bases de dados e, após triagem, realizou uma análise estatística sobre as áreas, os métodos e as melhorias obtidas com o treinamento de avaliadores de escalas.
Os resultados do estudo indicam que o treinamento de avaliadores é um método comum que pode minimizar a imprecisão e a variabilidade nas avaliações de desfechos clínicos.



Em 1998, Muller MJ e Wetzel H publicaram um estudo[6], avaliando como o treinamento padronizado de avaliadores melhora a confiabilidade interavaliadores dos itens e subescalas da PANSS e confirmando a importância do treinamento de avaliadores. O estudo incluiu no total 23 psiquiatras sem experiência prévia com a PANSS (Estudo I) e 12 psiquiatras experientes (Estudo II); no Estudo I, os participantes passaram por um treinamento com 5 vídeos ao longo de uma semana, enquanto no Estudo II o treinamento foi realizado com 3 vídeos em um dia, analisando-se e comparando-se suas avaliações.
Os resultados do estudo indicam que a concordância nas pontuações apresentou correlação positiva com o aprendizado nos cursos de treinamento, demonstrando uma confiabilidade interavaliadores satisfatória.

Em um estudo conduzido pelo Dr. Kenneth A. Kobak et al.[7], foram incluídos no total 31 médicos de 15 regiões e com diferentes formações acadêmicas; eles passaram por treinamento didático e aplicado, além de testes, antes do estudo, sendo que na metade do estudo (após 12 meses) todos os avaliadores foram reavaliados, e os avaliadores não aprovados puderam refazer a avaliação após receberem feedback dos instrutores.
Os resultados do estudo indicam que o treinamento de avaliadores pode aprimorar com sucesso as habilidades de aplicação clínica dos avaliadores, mas essas habilidades se enfraquecem gradualmente ao longo do estudo; portanto, além do treinamento realizado antes do início do estudo, também são necessários treinamento e testes de longo prazo.

A EClinCloud possui ampla experiência em projetos de pesquisa clínica; não apenas conta com uma extensa biblioteca de escalas, mas, ao mesmo tempo, também pode oferecer a patrocinadores e CROs serviços integrados de escalas, treinamento de avaliadores e design de eCOA, além de contar com uma equipe de especialistas experiente para fornecer serviços abrangentes e de alta qualidade aos projetos de estudo, ajudando os clientes a resolver questões relacionadas às avaliações de desfechos clínicos de forma mais rápida e eficaz.
Referências
Referências
[1] Wanzel KR, Ward M, Reznick RK. Teaching the surgical craft: From selection to certification. Curr Probl Surg. 2002 Jun;39(6):573-659. doi: 10.1067/mog.2002.123481. PMID: 12037512.
[2] Woehr D J, Huffcutt A I. Rater training for performance appraisal: A quantitative review[J]. Journal of Occupational and Organizational Psychology, 2011, 67(3):189-205.
[3] Feldman M, Lazzara EH, Vanderbilt AA, DiazGranados D. Rater training to support high-stakes simulation-based assessments. J Contin Educ Health Prof. 2012 Fall;32(4):279-86. doi: 10.1002/chp.21156. PMID: 23280532; PMCID: PMC3646087.
[4] Jibson MD, Broquet KE, Anzia JM, Beresin EV, Hunt JI, Kaye D, Rao NR, Rostain AL, Sexson SB, Summers RF; ABPN Task Force on Clinical Skills Verification Rater Training. Clinical skills verification in general psychiatry: recommendations of the ABPN Task Force on Rater Training. Acad Psychiatry. 2012 Sep 1;36(5):363-8. doi: 10.1176/appi.ap.10040061. PMID: 22983466.
[5] Sadler ME, Yamamoto RT, Khurana L, Dallabrida SM. The impact of rater training on clinical outcomes assessment data: a literature review. Int J Clin Trials.2017;4(3):xxx-xx.
[6] Muller MJ, Wetzel H. Improvement of inter-rater reliability of PANSS items and subscales by a standardized rater training. Acta Psychiatr Scand.1998;98: 135-139.
[7]Kenneth A. Kobak,Joshua Lipsitz,Janet B.W. Williams et.Are the Effects of Rater Training Sustainable?Results From a Multicenter Clinical Trial.Journal of Clinical Psychopharmacology.2007;27(5):534-535.
EClinCloud é uma empresa de tecnologia focada na área de pesquisa e desenvolvimento clínico, que oferece uma plataforma em nuvem integrada, interconectada e unificada para ensaios clínicos (incluindo diferentes produtos tecnológicos, como eCOA, CTMS, eTMF, EDC e RTSM, entre outros, e soluções como gestão de escalas, validação linguística, treinamento de avaliadores e análise da qualidade dos dados, entre outras), além de tecnologias de avaliação de desfechos de ensaios clínicos em diferentes áreas terapêuticas (incluindo oncologia, sistema nervoso central, oftalmologia, entre outras), combinando tecnologia de ponta com dados das ciências da vida para construir uma plataforma SaaS em nuvem líder global de suporte a evidências clínicas "centrada no paciente", ajudando empresas farmacêuticas e instituições de pesquisa na China e no exterior a aumentar a eficiência de P&D, acelerar a chegada de medicamentos/dispositivos ao mercado e beneficiar inúmeros pacientes.



