新闻转载自 一临云科技

评分员培训在神经领域评估中的重要性

9 分钟阅读一临云编辑团队
评分员培训在神经领域评估中的重要性新闻题图

来源:一临云科技。作者:EClinCloud。

在神经领域的临床应用中,量表评估的衡量结果主要基于评分员的主观观察判断,在这种情况下,量表评估的可靠性和其他心理测量特性往往低于预期标准。


评分员培训(RT)是对评分员如何评估患者的系统性授课及考核过程,以达到评分员能够根据患者实际情况打出可靠准确一致性更高的分数,提高神经领域临床实操中评分的客观性[1]的目的。


01
评分员培训分类

在一项关于评分员培训方法的里程碑式研究中,Woehr和Huffcutt对评分员进行了分类[2],包括:



Rater error training
评分员误差培训


Behavioral observation training
行为观察培训


Performance dimension training
表现维度培训


Frame-of-reference training 
参照标准培训




在评估前让评分员熟悉量表内容是表现维度培训(Performance dimension training)的一种。参照标准培训(Frame-of-reference training)旨在在评分者之间建立观察和评估患者的共同标准,将定义在特定情况下评分容易出现的错误,并提供避免出错的评分策略。

在某些情况下评分员的实践、讨论和反馈也会被纳入培训中,以进一步完善量表共同的参照标准[2,3]。

02
国内外评分员培训要求



美国

美国精神病学和神经病学委员会(ABPN)在2007年宣布,普通精神病学培训项目必须进行临床技能验证(CSV),包括观察临床访谈和针对患者的评估实操。

为方便实施培训,ABPN召集了评分员培训临床技能验证工作组,由来自各专业精神病学组织的代表成员组成。该小组负责作为培训讲师教师、准备培训材料,以指导评分员完成CSV认证[4]。


中国

暂无相关官方机构或法规发布评分员培训要求。但在量表作为主要终点的确证性药物临床研究中,在试验开展前与CDE进行沟通时,CDE会对量表评分提出相应的要求。

监管部门对于量表的部分的核查会更加严格,因此为得到科学性和一致性更高的数据,通常建议在此类临床研究中组织评分员培训。


03
神经领域中临床试验实践


通过标准化的访谈程序以及对评分规则的总结,量表培训不仅可以强化和提升不同地区、不同研究中心以及不同评分员之间的一致性和准确性,更有助于确保在整个临床试验过程中评分结果的有效性、可靠性。

文章配图

评分员培训可以改善评分质量


2017年由Dr. Michael E. Sadler团队整理发表的一篇文献综述中[5],研究检索了部分数据库中有关“评分员培训”大量关键词信息,进行筛查后对量表评分员培训的领域、方式方法以及改善情况进行统计分析。

研究结果表示,评分员培训是可以最大限度地减少临床结局评估中不准确性和可变性的常见方法。




文章配图
文章配图
文章配图

评分员培训可以提高评分可靠性


1998年Muller MJ,Wetzel H发表研究[6],评估标准化评分员培训提高PANSS项目和分量表的评分员间可靠性,验证评分员培训的重要性。研究共纳入23名未使用过PANSS的精神科医生(Study I)和12名经验丰富的精神科医生(Study II),对Study I在一周时间内进行5个视频的培训学习,Study II则是通过一天时间内学习3个视频的培训学习,并对他们评估进行分析对比。

研究结果表示,其评分一致性与培训课程的学习呈正相关,体现出令人满意的评分员间可靠性。


文章配图




持续的评分员培训可以提高评分表现


由Kenneth A. Kobak博士等人进行了一项研究[7],研究共纳入来自15个地区、不同教育背景的31名医生,分别对他们在试验前进行教学、应用的培训和测试,试验中期(12个月后)对所有评分员再次评估,未通过的评分员可经培训师反馈后再次考核。

研究结果表明,评分员培训可以成功地提高评分员的临床应用技能,但这些技能会在试验过程中逐渐削弱,因此,除了在研究开始前进行的培训外,还需要进行长期的培训、测试。


文章配图




一临云在临床研究项目上具有丰富的项目经验,不仅拥有海量量表库,同时,也能为申办方、CRO提供一体化的量表服务、评分员培训及eCOA设计,更有经验丰富的专家团队为试验项目提供全面、优质的服务,为客户更快、更好的解决临床结局评估相关问题~












参考文献


References

[1] Wanzel KR, Ward M, Reznick RK. Teaching the surgical craft: From selection to certification. Curr Probl Surg. 2002 Jun;39(6):573-659. doi: 10.1067/mog.2002.123481. PMID: 12037512.

[2] Woehr D J , Huffcutt A I . Rater training for performance appraisal: A quantitative review[J]. Journal of Occupational and Organizational Psychology, 2011, 67(3):189-205.

[3] Feldman M, Lazzara EH, Vanderbilt AA, DiazGranados D. Rater training to support high-stakes simulation-based assessments. J Contin Educ Health Prof. 2012 Fall;32(4):279-86. doi: 10.1002/chp.21156. PMID: 23280532; PMCID: PMC3646087.

[4] Jibson MD, Broquet KE, Anzia JM, Beresin EV, Hunt JI, Kaye D, Rao NR, Rostain AL, Sexson SB, Summers RF; ABPN Task Force on Clinical Skills Verification Rater Training. Clinical skills verification in general psychiatry: recommendations of the ABPN Task Force on Rater Training. Acad Psychiatry. 2012 Sep 1;36(5):363-8. doi: 10.1176/appi.ap.10040061. PMID: 22983466.

[5] Sadler ME, Yamamoto RT, Khurana L, Dallabrida SM. The impact of rater training on clinical outcomes assessment data: a literature review. Int J Clin Trials.2017;4(3):xxx-xx.

[6] Muller MJ, Wetzel H. Improvement of inter-rater reliability of PANSS items and subscales by a standardized rater training. Acta Psychiatr Scand.1998;98: 135-139.

[7]Kenneth A. Kobak,Joshua Lipsitz,Janet B.W. Williams et.Are the Effects of Rater Training Sustainable?Results From a Multicenter Clinical Trial.Journal of Clinical Psychopharmacology.2007;27(5):534-535.


关于一临云

一临云是一家专注于临床研发领域的科技公司,提供整合的临床试验互通互联一体化云平台(包括eCOA、CTMS、eTMF、EDC、RTSM等不同技术产品和量表管理、语言验证、评分员培训、数据质量分析等解决方案)以及不同治疗领域(包括肿瘤、中枢神经、眼科等)的临床试验终点评估技术,将前沿科技与生命数据结合,构建全球领先的“以患者为中心”的临床证据支持SaaS云平台,帮助国内外制药企业和研究机构,提高研发效率、加快药品/器械的上市,惠及无数患者。




文章配图

阅读微信原文