Capacitación de evaluadores en ensayos clínicos 2026: certificación, fiabilidad interevaluador y monitoreo de deriva para variables de valoración ClinRO del SNC
En resumen
Punto clave: En una cohorte definida por búsqueda de 5,891 ensayos farmacológicos del SNC en fase 2/3, un diccionario canónico corregido coincide con una familia ClinRO seleccionada en cualquier desenlace para 2,865 (48.6 %) y en un desenlace primario para 1,639 (27.8 %). Esto constituye un indicador de exposición de límite inferior, no un censo de variables de valoración de registro. Las directrices científicas de la EMA específicas por indicación ofrecen recomendaciones concretas para los evaluadores; no son ni legislación vinculante a nivel mundial ni una especificación automática del programa.
Tres datos calculados enmarcan la exposición [1]. De 32,896 registros de afecciones del SNC, 5,891 son ensayos farmacológicos intervencionistas en fase 2/3; 2,865 coinciden con una familia ClinRO seleccionada en una fila de desenlace y 1,639 en un desenlace primario. Las principales coincidencias canónicas en el conjunto de los registros del SNC son CGI 2,455, HAM-D/HDRS 1,739, MADRS 1,630, UPDRS 1,243 y PANSS 1,183. Estas coincidencias de cadenas de texto permiten priorizar la revisión de protocolos; no identifican quién realizó la evaluación, cómo se administró la escala ni si una declaración dependía de ella.
El registro público no contiene esa variable. Un rastreo de frases fijas en los campos de medida o descripción del desenlace más los resúmenes breves arroja coincidencias en 185 estudios, mientras que una consulta bibliográfica independiente devuelve 1,706 registros [1][2]. Ambas son medidas exploratorias; ninguna cuantifica con qué frecuencia los ensayos utilizan, documentan o mantienen controles de calidad de los evaluadores.
La evidencia regulatoria es específica por indicación. La directriz de la EMA sobre depresión recomienda evaluadores capacitados y una fiabilidad interevaluador documentada, citando kappa como ejemplo [3]; la directriz sobre la enfermedad de Alzheimer recomienda una capacitación previa para minimizar la variabilidad [4]. Dos borradores de guías de la FDA citados no contenían los términos sobre evaluadores buscados [5][6]. Ese hallazgo negativo acotado no puede generalizarse a todas las expectativas de la FDA ni convertirse en un «nivel mínimo de la UE» global.
Este artículo es un documento de trabajo para programas de evaluadores: presenta un tamizaje de exposición corregido, los límites del registro, el lenguaje regulatorio específico por indicación, lo que los estudios metodológicos pequeños pueden y no pueden demostrar, y cuatro opciones de control escalonadas. Los equipos del estudio deben elegir las métricas, los umbrales, la cadencia y las acciones adecuados para el instrumento y el diseño; no existe un nivel universal derivado del registro.
Un límite inferior definido por búsqueda para la exposición a ClinRO
Punto clave: El 48.6 % de la cohorte farmacológica del SNC en fase 2/3 coincide con una familia ClinRO seleccionada en cualquier desenlace y el 27.8 % en un desenlace primario. Esto permite priorizar la revisión del riesgo asociado a los evaluadores y los activos reutilizables; no demuestra que cada coincidencia corresponda a una evaluación realizada por un clínico, tenga fines de registro ni requiera certificación.
Comience por el embudo [1]. De 32,896 registros de afecciones del SNC, 11,034 son ensayos farmacológicos intervencionistas y 5,891 están en fase 2/3. Un diccionario canónico coincide con familias ClinRO seleccionadas en cualquier desenlace para 2,865 y en un desenlace primario para 1,639. El registro no muestra el estado de declaración de la variable de valoración, la identidad del evaluador, el método de administración ni el programa de capacitación, por lo que el paso final es una cola de revisión más que un recuento de declaraciones.
El embudo de exposición a ClinRO: de los estudios del SNC a los ensayos con escala primaria
De 32,896 registros de afecciones del SNC, 11,034 son ensayos farmacológicos intervencionistas y 5,891 están en fase 2/3. Un diccionario canónico coincide con una familia ClinRO seleccionada en cualquier desenlace para 2,865 (48.6 %) y en un desenlace primario para 1,639 (27.8 %). Este es un límite inferior definido por búsqueda y una señal de priorización, no un censo completo de variables de valoración evaluadas por clínicos ni de declaraciones con fines de registro.
Desplácese horizontalmente para ver la figura completa.
Ver datos del gráfico
| Categoría | Embudo de cohorte |
|---|---|
| Estudios de afecciones del SNC | 32,896 Estudios |
| Ensayos farmacológicos intervencionistas | 11,034 Estudios |
| Fase 2/3 | 5,891 Estudios |
| Familia ClinRO seleccionada en cualquier desenlace | 2,865 Estudios |
| Familia ClinRO seleccionada en desenlace primario | 1,639 Estudios |
Las coincidencias por familia a nivel de estudio corregidas en todos los registros del SNC son CGI 2,455; HAM-D/HDRS 1,739; MADRS 1,630; UPDRS 1,243; PANSS 1,183; HAM-A/HARS 757; EDSS 673; ADAS-Cog 571; YMRS 510; y CDR/CDR-SB 347 [1]. Los patrones canónicos evitan el doble conteo de grafías adyacentes, pero siguen siendo un diccionario seleccionado y no la totalidad de los ClinRO.
Familias de escalas ClinRO más mencionadas en filas de resultados del SNC
Las coincidencias a nivel de estudio utilizan patrones canónicos de familias de escalas en las filas de resultados. Las familias repetidas pueden justificar recursos de capacitación reutilizables, pero cada reutilización sigue requiriendo confirmación de versión, indicación, idioma, modalidad y protocolo. Los recuentos no muestran si efectivamente se realizó capacitación, certificación o evaluación centralizada.
Desplácese horizontalmente para ver la figura completa.
Ver datos del gráfico
| Categoría | Menciones de familias de escalas |
|---|---|
| CGI | 2,455 Menciones en filas de resultados |
| HAM-D/HDRS | 1,739 Menciones en filas de resultados |
| MADRS | 1,630 Menciones en filas de resultados |
| UPDRS | 1,243 Menciones en filas de resultados |
| PANSS | 1,183 Menciones en filas de resultados |
| HAM-A/HARS | 757 Menciones en filas de resultados |
| EDSS | 673 Menciones en filas de resultados |
| ADAS-Cog | 571 Menciones en filas de resultados |
| YMRS | 510 Menciones en filas de resultados |
| CDR/CDR-SB | 347 Menciones en filas de resultados |
Las familias repetidas pueden respaldar recursos reutilizables de capacitación y administración, pero la reutilización nunca es automática ni lista para usar. Confirme la versión del instrumento, la indicación, la población, el idioma, la modalidad, la función de la variable de valoración y las convenciones del protocolo para cada estudio. Diferentes estructuras y contextos requieren distinta evidencia de cualificación y monitoreo.
La distribución geográfica aporta una señal para la revisión: 1,568 de 5,891 registros notifican más de un país; mediana 1, p90 9, máximo 47 [1]. Nueve países no equivalen a nueve idiomas ni a nueve grupos de evaluadores. Elabore la lista real de centro de investigación/evaluador/idioma/modalidad y vincule cada fila con la versión autorizada del instrumento y el plan de capacitación.
Interprete el embudo como una tasa de cribado del portafolio, no como un pronóstico de que un portafolio de ocho programas reproducirá las proporciones del registro. Para cada resultado primario coincidente, la debida diligencia debe solicitar los registros de administración, cualificación, enmascaramiento, concordancia, monitoreo, control de cambios y evidencia del protocolo. La infraestructura reutilizable justifica su caso de negocio a partir de la cartera real en desarrollo y las versiones del promotor, no solo por la tasa base pública.
Aplique la evaluación por instrumento y por función. Un ensayo puede utilizar varias medidas evaluadas por el clínico con diferentes estructuras y consecuencias, por lo que una única etiqueta para todo el estudio resulta demasiado imprecisa. Incluso las medidas secundarias requieren capacitación acorde con la función y administración controlada; un resultado primario no exige automáticamente certificación sin una justificación de riesgo específica del estudio.
El registro no contiene la capa de evaluadores
Conclusión clave: Los términos sobre calidad de los evaluadores aparecen en 185 de 32,896 registros públicos del SNC (0.56 %); "certified rater", en cuatro. Los datos del registro no permiten saber si un ensayo capacitó, certificó o calibró a sus evaluadores: esa capa reside en los protocolos, los POE, los registros de capacitación y las auditorías a proveedores, que es precisamente donde recaen las obligaciones documentales.
Al explorar los campos de medida/descripción de resultados y los resúmenes breves con una lista fija de expresiones, 185 de 32,896 registros coinciden [1]. Los recuentos superpuestos por expresión son "inter-rater" 121, "trained rater" 88, "interrater" 52, "central reader" 31, "central rater" 10, "certified rater" 4, "consensus meeting" 3 e "inter rater" 1. Describen texto en campos limitados, no la prevalencia en los programas.
Expresiones seleccionadas sobre calidad de evaluadores en campos públicos limitados del registro
Una lista fija de expresiones coincide con 185 de 32,896 registros del SNC (0.56 %) al buscar en los campos de medida/descripción de resultados más el resumen breve. Los recuentos por expresión se superponen y no miden la prevalencia en los programas. La ausencia de coincidencia solo significa que estas expresiones no figuraban en los campos públicos consultados, no que el ensayo careciera de capacitación, cualificación o monitoreo.
Desplácese horizontalmente para ver la figura completa.
Ver datos del gráfico
| Categoría | Coincidencias de expresiones (superpuestas) |
|---|---|
| inter-rater | 121 Estudios que mencionan el término |
| evaluador capacitado | 88 Estudios que mencionan el término |
| interrater | 52 Estudios que mencionan el término |
| lector central | 31 Estudios que mencionan el término |
| evaluador central | 10 Estudios que mencionan el término |
| evaluador certificado | 4 Estudios que mencionan el término |
| reunión de consenso | 3 Estudios que mencionan el término |
| entre evaluadores | 1 Estudios que mencionan el término |
Interprete esto correctamente, porque pueden cometerse dos errores opuestos. La lectura errónea es acusatoria: "los ensayos no capacitan a sus evaluadores". Las filas de desenlaces del registro contienen títulos, descripciones y marcos temporales; no existe ningún campo para la capacitación de evaluadores, el estado de certificación o el plan de calibración, por lo que un ensayo con un programa de evaluadores impecable y otro sin ninguno son indistinguibles en los datos de registro [1]. La ausencia es estructural, no observacional. La segunda lectura errónea es complaciente: "nada visible significa que no se exige nada". El requisito existe —en la cláusula de delegación de la ICH E6(R3), en las frases explícitas de las directrices de la UE, citadas en la siguiente sección—; simplemente se aloja en documentos que el público nunca ve: la sección de capacitación de evaluadores del protocolo, los POE del promotor, el registro de delegación, los certificados de capacitación y el expediente de auditoría del proveedor.
La consecuencia operativa actúa en ambos sentidos. Dado que esta capa es invisible en los datos de registro, los promotores no pueden comparar programas de evaluadores a partir del registro; la inteligencia competitiva en esta dimensión requiere fuentes a nivel de protocolo, conocimiento de auditores y diligencia sobre proveedores. Y dado que esta capa reside en documentos que existen por ensayo, la pista de evidencia es tan sólida como su ensayo más reciente: un promotor con un programa real sigue teniendo que presentar los registros, por estudio y por evaluador, cuando se le soliciten. Ese es el principio de diseño para todo lo que sigue: la prueba del programa de evaluadores reside donde mira la inspección, no donde mira la búsqueda.
En la unión de literatura de eClinical de 101,685 registros, una consulta fija independiente con frases sobre evaluadores devuelve 1,706 registros [2]. Se trata de una medida de descubrimiento en la literatura, no de una prueba de que el campo sea escaso, carezca de estandarización o sea proporcional a la cohorte de exposición del registro.
Como el registro no puede responder la pregunta, todo aquel que necesita la respuesta desciende una capa, y cada público tiene una capa distinta. Un regulador o inspector lee la sección de capacitación de evaluadores del protocolo y luego solicita los registros que coinciden con ella —registros de capacitación, certificados, documentación de IRR— contrastados con el registro de delegación. Un equipo de debida diligencia que licencia un activo solicita el expediente del programa de evaluadores del ensayo pivotal: quién evaluó, cómo fue capacitado, qué mostró la calibración y si el grupo cambió a mitad del ensayo. Una CRO que evalúa la madurez operativa de un promotor, y un promotor que evalúa la operación de evaluación centralizada de una CRO, intercambian los mismos documentos en ambas direcciones. Y un estadístico que planifica el siguiente ensayo quiere conocer la IRR medida: el único número que le indica cuánto gravará la capa de medición al presupuesto de potencia estadística. Cada uno de estos usuarios queda atendido por el mismo conjunto reducido de artefactos, lo cual constituye el argumento más sólido para construirlos de forma deliberada en lugar de reconstruirlos bajo demanda a partir de los archivos de los centros y las bandejas de entrada.
El escenario de reconstrucción bajo demanda no es hipotético; es el fallo predeterminado. A los dos años de iniciado un ensayo, el capacitador de inicio ha rotado, el coordinador del centro que programaba las llamadas de certificación se ha marchado, y los certificados residen en una unidad compartida cuya taxonomía tenía sentido para quien la creó. Cuando la inspección o la debida diligencia los solicita, el promotor paga semanas de arqueología por una evidencia que se generó el primer día y que simplemente nunca se alojó. La arquitectura documental del programa de evaluadores —por evaluador, por instrumento, por versión, fechada y vinculada al registro de delegación— supone unas pocas horas de diseño en la etapa del protocolo y marca la diferencia entre una respuesta en noventa segundos y una búsqueda frenética de tres semanas en el peor momento posible.
Qué dicen realmente las guías por indicación citadas
Punto clave: Las directrices científicas citadas de la EMA sobre depresión y Alzheimer formulan recomendaciones concretas sobre evaluadores para sus indicaciones. Dos borradores citados de la FDA carecen de los términos buscados. Aplique cada documento dentro de su alcance y confirme las expectativas vigentes específicas del programa con las autoridades pertinentes; no existe un "mínimo vinculante" universal en esta comparación.
Directriz de la EMA sobre depresión. La revisión 3 entró en vigor el 30 de septiembre de 2025 como directriz científica para el desarrollo de fármacos para la depresión [3]. Recomienda que los investigadores y los evaluadores cuenten con una capacitación adecuada y que se documente la fiabilidad interevaluador para un grupo de tamaño suficiente, citando el índice kappa como ejemplo. No exige kappa para todas las escalas ni establece un umbral universal; el estadístico y el diseño deben corresponderse con los datos y la cuestión de fiabilidad.
La misma directriz vincula los controles de los evaluadores con varios riesgos específicos de la indicación. Analiza la capacitación en relación con la sobrevaloración basal/respuesta al placebo, permite evaluaciones centrales independientes, ciegas y validadas en casos particulares, y señala que los evaluadores externos independientes pueden ayudar a abordar el desenmascaramiento y la expectativa en ensayos con psicodélicos. También solicita fiabilidad interevaluador y test/retest para las herramientas cognitivas [3]. Son puntos de atención independientes, no un único paquete de servicios obligatorio.
La directriz de la UE sobre el Alzheimer, definitiva desde 2018. CPMP/EWP/553/95 Rev.2 recomienda evaluadores de dominio cegados al tratamiento, preferiblemente médicos clínicos que no participen de otro modo en la conducción del ensayo. Solicita capacitación previa para reducir la variabilidad y mejorar la fiabilidad interevaluador, y analiza una estandarización más amplia de la capacitación [4]. El estudio aún debe traducir esas recomendaciones en controles específicos para el instrumento, el rol y el diseño; el texto no respalda a ningún proveedor de certificación en particular ni un umbral universal.
Los dos borradores de la FDA en esta revisión. El borrador sobre TDM de junio de 2018 y el borrador sobre Alzheimer temprano de marzo de 2024 no contenían los términos buscados [5][6]. Ese es un resultado acotado a nivel de documento. No demuestra un "silencio de la FDA" en otras normativas, guías, comunicaciones de revisión ni contextos de indicación, y no predice lo que los revisores puedan solicitar para una variable de valoración específica.
Significado práctico. Defina los requisitos a partir de la indicación, el instrumento, la función de la variable de valoración, el diseño del ensayo, la región y las interacciones con las autoridades. Las recomendaciones detalladas de la EMA constituyen insumos sólidos para los programas de la UE dentro de su alcance y útiles puntos de atención sobre riesgos en otros ámbitos, pero no garantizan la aceptabilidad ante todas las autoridades ni imponen una arquitectura global única.
La ICH establece el marco general. La directriz E6(R3), definitiva en enero de 2025, exige que la capacitación relacionada con el ensayo se corresponda con las actividades delegadas que excedan la formación y experiencia habituales de una persona [7]. Por lo tanto, el promotor debe evaluar la tarea real del evaluador y su experiencia. Una entrevista PANSS compleja y específica del estudio justificará habitualmente la capacitación sobre la versión exacta y la delegación documentada; la directriz no establece que todo médico clínico ni toda escala requieran el mismo paquete. La directriz E9 (1998) hace que la validez de contenido, la fiabilidad interevaluador e intraevaluador y la sensibilidad al cambio sean especialmente importantes cuando una escala de valoración es una variable principal [8]. El diseño de medición correspondiente es el tema de la siguiente sección.
Para quien redacta el protocolo, la directriz E6(R3) respalda una capacitación acorde con el rol y una delegación documentada, mientras que la directriz E9 hace que las propiedades de medición sean pertinentes para el diseño de la variable principal [7][8]. Las guías por indicación pueden añadir recomendaciones concretas [3][4]. El protocolo debe establecer controles solo después de definir la métrica específica de la escala, la justificación de aceptación, el plan de acción y el plan de monitoreo; no deben copiarse de un instrumento a otro certificaciones genéricas, umbrales de kappa ni criterios de activación por deriva.
La afirmación defendible sigue siendo acotada: los términos buscados estuvieron ausentes en dos borradores. El diseño del programa debe basarse en el riesgo y tomar en cuenta la postura de las autoridades, en lugar de inferirse a partir de esa ausencia.
Qué le hace el ruido del evaluador a la señal de un ensayo
Conclusión clave: Pequeños estudios metodológicos muestran que la estructura de administración, las convenciones de puntuación y la capacitación pueden favorecer la concordancia en contextos específicos de escalas de depresión. Demuestran mecanismos de control viables, no un tamaño del efecto transferible ni una prueba de que un programa determinado prevenga el fracaso del ensayo.
La hipótesis, planteada en la literatura. La frase más citada en este ámbito abre un estudio de calibración de 2008: "Una baja fiabilidad interevaluador (IRR) es un factor metodológico importante que puede contribuir al fracaso de los ensayos" [9]. Los autores —al realizar un ejercicio de calibración multicéntrico— plantean lo que está en juego exactamente como debería hacerlo un responsable de operaciones: el desacuerdo entre evaluadores es ruido que se suma a la variable de valoración, el ruido diluye el contraste entre los brazos y un contraste diluido es indistinguible de un fármaco más débil. Tenga en cuenta lo que la frase es y lo que no es: es el mecanismo formulado por los autores, no una tasa de fracaso medida, y este artículo la cita como tal.
Por qué el ruido puede hacer perder señal. El error de medición y los efectos de evaluador o centro pueden aumentar la variabilidad o el sesgo de la variable de valoración, lo que reduce la precisión y complica la interpretación. El impacto depende del modelo de medición, de la asignación de evaluadores, de la estructura de medidas repetidas y del análisis. Cuantifíquelo utilizando datos piloto o de ensayos previos, en lugar de convertir directamente un estadístico de concordancia en un aumento del tamaño muestral.
No convierta el intervalo citado de diferencia entre evaluadores de −3.31 a 3.69 en una desviación estándar ni sume su cuadrado a la varianza entre pacientes: esas magnitudes no son intercambiables [10]. Un análisis de sensibilidad válido requiere componentes de varianza estimados conforme al diseño previsto y un modelo estadístico que refleje el anidamiento o cruce de evaluadores y las observaciones repetidas. La capacitación tampoco es el único control; la selección del instrumento, la administración estructurada, el enmascaramiento, la asignación de evaluadores, la revisión central y la estrategia de análisis pueden ser todos relevantes.
El intervalo del estudio de Morriss describe un único entorno pequeño y estructurado con HDRS; no constituye un límite inferior del instrumento ni justifica promediar evaluadores o realizar conferencias de consenso en otros diseños [10]. Utilícelo como evidencia de que puede persistir un desacuerdo distinto de cero en condiciones estructuradas y, a continuación, estime los componentes pertinentes en el entorno objetivo.
Lo que observó un estudio estructurado. Un estudio sobre HDRS en atención primaria utilizó una entrevista semiestructurada, preguntas y reglas de puntuación detalladas y entrevistadores capacitados; en 84 evaluaciones realizadas por cuatro evaluadores en 42 pacientes, informó un ICC/concordancia de 0.95 y un intervalo de diferencia entre evaluadores de −3.31 a 3.69 [10]. Dado que la estructura y la capacitación se aplicaron de forma conjunta y la muestra era pequeña, el estudio no puede aislar "la estructura por sí sola", definir un techo alcanzable ni aportar un supuesto de potencia aplicable a todo un ensayo.
Lo que aporta el estudio GRID-HAMD. El estudio combinó convenciones explícitas de puntuación, una guía estructurada y un programa de capacitación, evaluando a 70 profesionales clínicos mediante entrevistas grabadas en video [11]. Respalda el análisis de la concordancia tanto total como por ítem y la consideración de la experiencia. No debe utilizarse para desagregar la contribución causal de la estructura frente a la capacitación ni para prometer convergencia en otro instrumento.
Modalidad de realización. Estudios pequeños muestran que los ejercicios por videoconferencia en directo o con entrevistas grabadas pueden respaldar la evaluación de la concordancia [9][12]. No convierten la calibración remota en un problema universalmente resuelto: el consentimiento/la privacidad, la legislación sobre grabaciones, la tecnología, el idioma, la interacción durante la entrevista, los datos faltantes y la capacidad operativa siguen siendo específicos de cada estudio.
Evaluadores de los centros, evaluadores centrales y el cambio de elegibilidad
Conclusión clave: Un pequeño estudio sobre depresión realizado en dos centros halló puntuaciones materialmente diferentes entre los evaluadores del centro y los evaluadores centrales, incluida una discrepancia del 35 % en el umbral de elegibilidad. Plantea una cuestión de diseño; no estima el beneficio esperado de la evaluación central en el conjunto de los ensayos del SNC. La guía sobre depresión de la EMA aborda la evaluación central de forma condicional y espera evaluaciones validadas.
La cuestión de diseño no es si los evaluadores centrales son intrínsecamente mejores, sino qué cambia cuando el evaluador es independiente del centro. En un ensayo sobre depresión en dos centros, los participantes recibieron evaluaciones HDRS-17 del centro y evaluaciones centrales remotas con enmascaramiento en tres puntos temporales. El ingreso requería una puntuación del centro superior a 17. En el momento basal, el 35% de quienes fueron considerados elegibles por el centro habría quedado por debajo del umbral según la evaluación central [13]. Las evaluaciones del centro fueron más altas en el momento basal y después de este, y la brecha se redujo al llegar a la variable de valoración. Se trata de un único estudio de dos procesos de evaluación, no de un efecto esperado para otros ensayos.
Se justifican tres lecturas cautelosas. El estudio muestra discrepancia entre procesos de evaluación y una posible sensibilidad de un umbral de elegibilidad. No establece empatía, incentivos de reclutamiento ni un mecanismo causal de placebo, y su 35% no puede trasladarse a otros centros, escalas ni diseños. Utilice el resultado para justificar una comparación y una validación prospectivas allí donde se proponga la evaluación central.
La postura regulatoria es condicional. La directriz sobre depresión permite evaluadores centrales independientes con enmascaramiento en casos particulares cuando las evaluaciones centrales están validadas; la directriz sobre enfermedad de Alzheimer prefiere evaluadores con enmascaramiento respecto al tratamiento que no participen de otro modo en la conducción del ensayo [3][4]. Por lo tanto, una operación central propuesta necesita evidencia sobre su método de evaluación, evaluadores, tecnología y flujo de trabajo en la población y la escala previstas. La debida diligencia debe poner a prueba esa evidencia en lugar de asumir que la independencia por sí sola resuelve el riesgo de medición.
La evaluación central es un control posible cuando el desenmascaramiento funcional, la participación del centro, los umbrales de elegibilidad o la heterogeneidad del conjunto generan un riesgo material. En la cohorte del registro, 1,483 registros están codificados como DOUBLE y 2,504 mencionan al evaluador de resultados entre los roles enmascarados [1]. Estos campos se superponen y no son complementarios; su diferencia no contabiliza los ensayos abiertos con evaluadores enmascarados ni asigna evaluación central.
El análisis de desarrollo interno frente a contratación externa debe incluir la capacidad de sesiones, los idiomas, el horario de cobertura, la continuidad, la profundidad de respaldo, el consentimiento/privacidad, la conservación de grabaciones, la tecnología, la validación y la supervisión. La centralización puede intercambiar parte de la variabilidad del centro por riesgo de programación y de concentración de proveedores; modele ambos factores en lugar de asumir que el beneficio del 35% del estudio volverá a producirse.
Un modelo híbrido —elegibilidad/evaluación basal central, evaluaciones longitudinales locales o doble evaluación por muestreo— es otra opción. Valide la comparabilidad, defina quién evalúa cada visita, controle los cambios de evaluador y preespecifique la conciliación/el análisis. El pequeño estudio del 35% no demuestra qué modelo híbrido es óptimo [13].
Certificación: qué modifica realmente la capacitación
Punto clave: La certificación es un control de calificación definido por el promotor, no un elemento regulatorio universal. Si se utiliza, su tarea, estadístico, justificación de aceptación, remediación y registros deben ajustarse al instrumento, a la tarea de evaluación y al uso previsto. Kappa y el ICC responden a preguntas diferentes y no son puntos de corte intercambiables.
La capacitación y la certificación son distintas. La capacitación enseña la administración/puntuación; la calificación o certificación puede evaluar la competencia frente a una tarea definida. El texto sobre depresión de la EMA recomienda capacitación y documentación de IRR a nivel de grupo, con kappa como ejemplo [3]; no exige un certificado por evaluador ni hace que un único estadístico sea adecuado para todas las escalas.
Los estudios sobre GRID-HAMD y HDRS estructurada respaldan la combinación de convenciones explícitas de administración/puntuación con capacitación y evaluación de la concordancia [10][11]. No establecen una secuencia universal, un tamaño del efecto ni un requisito de certificación. Utilice evidencia específica del instrumento y un análisis de tareas para decidir qué componentes son necesarios.
¿Cuál debería ser el umbral? Ningún texto normativo citado establece un punto de corte universal. Seleccione un estadístico que corresponda al tipo de resultado y al diseño —como un índice kappa adecuado para calificaciones categóricas o una forma específica de ICC para puntuaciones continuas— y justifique la regla de aceptación a partir de la evidencia del instrumento, las decisiones previstas y los datos de simulación o de estudios piloto. Especifique previamente la regla y la acción antes de observar los resultados de calificación; no importe un rango genérico de 0.6–0.7.
El artefacto de certificación en sí debería ser rutinario: identidad del evaluador, instrumento y versión, fecha, tipo de ejercicio, estadístico, valor, umbral, resultado de aprobación o remediación y firmante. Que sea rutinario es justamente el objetivo: es el registro que sobrevive a la rotación de personal, coincide con el registro de delegación que mantiene E6(R3) [7] y satisface a un auditor en noventa segundos. El registro público nunca lo mostrará (el 0.56% de los registros públicos incluye algún texto sobre evaluadores [1]); el TMF siempre debe incluirlo.
Diseñe el ejercicio frente a modos de falla definidos. La concordancia en la puntuación total puede ocultar diferencias a nivel de ítem [11]; la puntuación pasiva puede no evaluar la habilidad de entrevista [9]; y un ejercicio inicial no cubre a los evaluadores de reemplazo posteriores. Especifique la cobertura de tareas, la métrica, la justificación de aceptación, el momento de ejecución y la remediación en documentación controlada. Evite afirmar que un punto de corte de κ en particular es el que acepta un auditor sin respaldo específico de la autoridad o del instrumento.
La vía de remediación es donde los programas demuestran su seriedad. Reprobar un ejercicio de certificación debe activar un ciclo definido —retroalimentación específica sobre los ítems discrepantes, una nueva puntuación supervisada y una repetición de la prueba— en lugar de una exclusión silenciosa, porque los grupos de evaluadores son reducidos, los centros son difíciles de abrir y un evaluador que converge tras la remediación es un evaluador perfectamente competente con un registro ligeramente más extenso. Lo que el registro debe mostrar es el ciclo mismo: intento, retroalimentación, repetición de la prueba y resultado. El patrón que debe evitarse es la sustitución silenciosa, en la que un evaluador que reprobó desaparece de la lista y un colega sin evaluar comienza a puntuar; el registro de delegación lo hace visible más adelante [7], y se interpreta peor que cualquier remediación honesta.
Deriva y cambio: una capa de mantenimiento basada en el riesgo
Conclusión clave: La rotación de evaluadores, un reclutamiento prolongado y los cambios en los procesos pueden invalidar los supuestos iniciales. Un plan de mantenimiento puede emplear nueva puntuación, evaluación dual por muestreo, revisión de datos o reentrenamiento activado por eventos, pero la cadencia y los umbrales deben diseñarse y validarse para el estudio.
Los posibles mecanismos de cambio incluyen evaluadores de reemplazo, una menor adherencia a las convenciones de entrevista, cambios en la población y modificaciones tecnológicas o de traducción. Los patrones de puntuación observados también pueden reflejar diferencias reales entre pacientes o centros. El monitoreo debe distinguir la señal de los factores de confusión antes de aplicar una remediación.
La tendencia de las consultas en la literatura no puede mostrar si los equipos de operaciones están resolviendo el riesgo de mantenimiento [2]. Es únicamente una herramienta de descubrimiento para métodos y ejemplos.
Los controles candidatos incluyen ejercicios periódicos con estímulo estándar, evaluaciones superpuestas por muestreo cuando sea ético y factible, revisión de entrevistas grabadas con controles de consentimiento y privacidad, y revisión ciega de las distribuciones por centro y evaluador [12]. Una cadencia trimestral, mensual o por ola de reclutamiento no se basa en la evidencia de forma predeterminada. Elija los momentos de aplicación según la duración del reclutamiento, la rotación de evaluadores, el riesgo de la variable de valoración, la frecuencia de los eventos y la capacidad del control para detectar cambios accionables.
Incluya los compromisos críticos de diseño y las implicaciones para el análisis en el protocolo o en el plan referenciado, los procedimientos controlados en los POE y la evidencia de ejecución en los registros del estudio. Debe justificarse si la certificación o el monitoreo de la deriva son necesarios; el texto citado de la EMA no prescribe una única arquitectura de mantenimiento para todos los ensayos [3].
Las posibles señales incluyen cambios en la distribución basal, la tasa de fallos de selección, la varianza, los datos faltantes, la duración de la entrevista, las desviaciones del protocolo y la rotación de evaluadores. Ninguna demuestra deriva. Especifique previamente la revisión contextual, los datos mínimos, el manejo de la multiplicidad cuando corresponda, el escalamiento y las posibles respuestas. Valide los umbrales con datos históricos o piloto ciegos, o mediante simulación, y proteja el ciego del tratamiento.
Designe a un responsable único del programa de evaluadores y una vía de revisión multidisciplinaria que abarque operaciones clínicas, estadística, gestión de datos, área médica y supervisión de proveedores. La frecuencia de revisión y el esfuerzo son específicos de cada estudio; este análisis no aporta evidencia para una estimación de medio día al mes.
Convierta el monitoreo en un algoritmo ejecutable
Un plan de mantenimiento necesita más que una lista de métricas en un panel de control. Redacte el flujo de trabajo como una secuencia que pueda probarse antes de la inclusión del primer paciente. En primer lugar, defina la unidad bajo revisión: evaluador individual, centro, grupo central, idioma, instrumento/versión o una combinación. En segundo lugar, defina las observaciones elegibles y la información mínima necesaria antes de que se muestre una señal. En tercer lugar, especifique la distribución o el modelo de referencia ciegos y cómo se considerarán el tiempo calendario, la visita, la gravedad, el país y la composición de casos. En cuarto lugar, defina quién revisa la señal, qué información fuente puede ver y cómo se protege el ciego del tratamiento. Por último, especifique previamente las posibles decisiones, los responsables, las fechas límite y la evidencia de cierre.
Utilice señales distintas para diferentes modos de fallo. Los datos de autorización detectan a un evaluador no calificado, con autorización vencida o con una versión incorrecta. Los datos operativos detectan evaluaciones omitidas, sustituciones inesperadas de evaluadores, entrevistas muy breves, momentos inusuales o fallos tecnológicos repetidos. Los datos de puntuación pueden detectar desplazamientos en la localización, la dispersión, el uso de ítems, la preferencia de dígitos, los datos faltantes, la agrupación en umbrales o patrones longitudinales improbables. Los ejercicios de concordancia evalúan preguntas definidas entre evaluadores. Ninguna debe elevarse a una "puntuación de deriva" genérica: cada una tiene distintos factores de confusión y una respuesta diferente.
Para las señales distribucionales, exija una revisión contextual. La media de un centro puede cambiar porque cambiaron su población, su práctica de elegibilidad, la composición de visitas o el canal de reclutamiento; una varianza baja puede reflejar restricción de rango; un evaluador con pocos participantes puede parecer extremo por azar. Muestre los denominadores y la incertidumbre, compare visitas y poblaciones equivalentes y controle las alertas repetidas cuando sea necesario. No aplique medidas correctivas a un evaluador únicamente porque un panel de control con muestra pequeña lo ubique en último lugar. Por el contrario, no espere a tener certeza estadística cuando la señal sea un incumplimiento objetivo de autorización.
La escala de respuesta debe ser proporcional y ciega: verificación de datos; confirmación del rol, la versión y el estado de capacitación; revisión de la información fuente o grabación permitida; evaluación clínica o estadística; retroalimentación focalizada; recapacitación o una nueva tarea de calificación; reincorporación supervisada; suspensión temporal; reemplazo; y valoración de las evaluaciones afectadas. El plan debe distinguir la orientación que estandariza la administración de la retroalimentación que podría revelar patrones agregados de tratamiento o fomentar la convergencia de puntuaciones. Cada acción necesita una fecha de entrada en vigor para que las evaluaciones posteriores puedan interpretarse correctamente.
Valide el flujo de trabajo con escenarios sembrados. Algunos ejemplos incluyen un evaluador de reemplazo que puntúa antes de contar con autorización; una traducción de escala modificada sin capacitación diferencial; un centro que pasa a utilizar un dispositivo o una modalidad de entrevista diferente; un evaluador cuyas puntuaciones basales cambian tras una modificación del canal de reclutamiento; fallos repetidos de llamadas centrales; y una alerta generada a partir de tres observaciones. El ejercicio debe demostrar el enrutamiento, la protección del ciego, la oportunidad, la captura de evidencia y el cierre—no que cada escenario sembrado derive necesariamente en una recapacitación.
La eficacia del mantenimiento se evalúa a partir de la operación del control, no de una disminución en las alertas. Entre la evidencia útil se incluyen el porcentaje de evaluaciones vinculadas a un evaluador/una versión autorizados; las excepciones detectadas antes del bloqueo de datos; la oportunidad de la revisión; la finalización de las acciones; las señales repetidas después de una acción; el tiempo de habilitación de un evaluador de reemplazo; el impacto no resuelto en los datos; y los resultados de escenarios sembrados. Un menor recuento de alertas puede significar una mejora, umbrales poco sensibles o datos faltantes, por lo que debe interpretarse junto con la cobertura y los denominadores.
Diseñe el modelo operativo y sus traspasos
Trace un mapa de cada evaluación desde el requisito del protocolo hasta el registro completado. El mapa debe identificar quién programa la visita, confirma al participante y el instrumento/idioma, verifica la autorización del evaluador, realiza la entrevista, ingresa o transfiere los datos, revisa la finalización, resuelve las excepciones operativas y aprueba cualquier acción de monitoreo. En los modelos centrales, agregue vías locales de escalamiento clínico y de emergencia; en los modelos de centro de investigación, agregue acceso para evaluadores independientes y salvaguardas contra la influencia sobre la inclusión o el tratamiento.
La continuidad requiere una regla explícita. Decida si el mismo evaluador debe dar seguimiento a un participante, qué constituye una sustitución permitida y cómo identificarán los cambios los registros de análisis y monitoreo. Una regla de continuidad sin planificación de cobertura genera datos faltantes evitables; la sustitución sin restricciones genera un problema de medición. Elabore listas de titulares y de respaldo por instrumento, versión, idioma, zona horaria y ventana de autorización, y luego evalúe la capacidad frente a la proyección real de visitas en lugar del recuento total de evaluadores certificados de un proveedor.
Los traspasos son momentos de alto riesgo. La activación del centro de investigación debe conectar la delegación, la capacitación en la versión exacta, la calificación y el acceso al sistema. El reemplazo de un evaluador debe conectar la aprobación del rol, la capacitación diferencial, la calificación cuando esté justificada, la continuidad del participante y las fechas de vigencia. Una enmienda al protocolo o al instrumento debe conectar la evaluación de impacto, el contenido controlado, la decisión de recapacitación/recalificación, la configuración tecnológica y las implicaciones para el análisis. La transición de proveedor debe incluir las puntuaciones brutas de calificación, las especificaciones estadísticas y el código, la procedencia de casos/criterios, los certificados, el historial de autorizaciones, los datos de monitoreo, las grabaciones cuando se conserven legalmente, las investigaciones abiertas y las pistas de auditoría.
Realice una transferencia de prueba antes de contratar o renovar. Entregue un evaluador y una evaluación de muestra a un revisor independiente y exija la reconstrucción de la regla aplicable del protocolo, la escala/versión/idioma autorizado, el contenido/versión de capacitación, las entradas y salidas de calificación, la ventana de autorización, las visitas completadas, las señales de monitoreo, las acciones y el cierre. Un certificado en PDF sin metadatos brutos de la tarea no reproduce la decisión; una captura de pantalla de un panel de control sin historial exportable no preserva la supervisión del promotor.
Defina los límites de los sistemas con tanto cuidado como los límites estadísticos. La plataforma de capacitación puede acreditar la finalización, la plataforma de evaluación puede capturar los resultados, el CTMS puede contener el estado del centro de investigación/rol, el EDC puede contener los datos de la variable de valoración y un portal del proveedor puede contener la calificación/el monitoreo. Especifique la fuente autoritativa para la identidad, el instrumento/versión, la autorización y las fechas de vigencia; concilie los identificadores duplicados; preserve las pistas de auditoría; y haga visible una falla de interfaz. Si un evaluador con autorización vencida sigue pudiendo enviar datos porque dos sistemas discrepan, el control solo existe en el papel.
La preparación para inspecciones se deriva de la operación habitual. El promotor debe poder presentar la lista vigente de personal autorizado y, para una evaluación muestreada, mostrar el rol del evaluador, la versión exacta, la capacitación/calificación aplicable, la asignación, la marca de tiempo, el estado de monitoreo y cualquier excepción resuelta. También debe demostrar por qué el paquete de controles elegido fue proporcional al riesgo de la variable de valoración y del estudio. Esto es más sólido que presentar un recuento de certificados de proveedor porque conecta el diseño, la ejecución y los datos.
Por último, registre lo que deliberadamente no se controla. Si no se graban las sesiones, explique los fundamentos de privacidad, viabilidad y evidencia alternativa. Si no se utilizan ejercicios continuos de concordancia, explique por qué la duración, la rotación, la estructura de las tareas y las señales operativas disponibles respaldan esa decisión y qué cambio la reabriría. Si se emplean evaluadores locales en lugar de centrales, documente las salvaguardas de enmascaramiento/independencia. Una decisión negativa acotada forma parte del programa de evaluadores, no es una omisión.
Evalúe el impacto en los datos sin orientar la variable de valoración
Cuando se confirme un problema, separe la acción operativa de la decisión sobre los datos. Operaciones puede suspender la autorización, corregir el acceso, volver a capacitar, calificar a un reemplazo y prevenir la recurrencia. Un proceso multidisciplinario ciego debe determinar si las evaluaciones completadas requieren anotación, consulta, análisis de sensibilidad u otro tratamiento preespecificado. No edite una puntuación clínica simplemente para hacerla coincidir con la de un revisor, ni pida a un evaluador que converja hacia la media del centro o del tratamiento.
Construya la evaluación del impacto en los datos a partir de hechos observables: evaluador afectado, instrumento/versión/idioma y ventana de autorización; participantes y visitas; fechas de inicio y detección del problema; disponibilidad de fuente/grabación; tipo de desviación; estado de enmascaramiento; ítems/totales afectados; y cualquier uso posterior para elegibilidad, dosis, variable de valoración o seguridad. Conserve tanto el registro original como la traza de correcciones permitidas. Medicina, estadística, gestión de datos, calidad y operaciones deben tener funciones definidas, con la información que rompe el ciego restringida a quienes estén autorizados.
La respuesta analítica depende del estimando y de la estructura de los datos. Los cambios de evaluador, los efectos del centro, las medidas repetidas y los datos faltantes pueden justificar covariables planificadas, efectos aleatorios, conjuntos de sensibilidad o verificaciones descriptivas, pero de una calificación fallida o de una alerta de distribución no se deriva ninguna corrección estadística genérica. Involucre a los estadísticos al diseñar el programa de evaluadores para que los identificadores y las marcas de tiempo necesarios para la evaluación existan antes del primer problema. Adaptar retrospectivamente un análisis a nivel de evaluador después del cierre de la base de datos suele fallar porque las versiones de identidad o autorización no se incorporaron a los metadatos listos para el análisis.
Los errores de elegibilidad merecen un manejo especial. Si una evaluación afectó el ingreso, determine si la desviación del protocolo modifica el estado del participante, las poblaciones de análisis, el seguimiento de seguridad o la elaboración de informes; no infiera inelegibilidad únicamente a partir de una puntuación central posterior. El pequeño estudio de depresión de centro frente a evaluación central muestra sensibilidad al umbral en un entorno, no una regla universal de arbitraje [13]. Las reglas prospectivas de adjudicación o de evaluación duplicada, cuando se utilicen, deben especificar qué evaluación rige la decisión antes de que se conozcan las discrepancias.
Cierre el evento de calidad solo cuando se hayan resuelto la prevención, el impacto en los datos y la evidencia. El cierre debe identificar las causas raíz/contribuyentes sin asumir que cada desacuerdo es culpa del evaluador; confirmar el alcance afectado; documentar la eficacia de las acciones; actualizar los materiales o sistemas controlados; y registrar las limitaciones residuales para el análisis y la elaboración de informes. Agregue los eventos recurrentes entre ensayos por instrumento/versión y modo de falla, evitando al mismo tiempo que una lección del portafolio sobrescriba la decisión de cada protocolo.
Las métricas del programa deben exponer la cobertura y el cambio. Entre los denominadores útiles se incluyen las evaluaciones vinculadas a un evaluador autorizado en la versión exacta, los evaluadores activos con la evidencia requerida vigente, los evaluadores de reemplazo listos antes de ser necesarios, las revisiones de monitoreo completadas según lo planificado, las alertas con datos suficientes revisadas a tiempo, los eventos confirmados con decisiones documentadas sobre el impacto en los datos y las acciones con verificaciones de eficacia. Informe por separado los vínculos de identidad/versión desconocidos. Una alta tasa de aprobación únicamente entre los registros más fáciles de vincular no constituye control.
Evite utilizar las puntuaciones promedio de certificación como una tabla clasificatoria de proveedores. La dificultad del caso, la población, el instrumento/versión, el idioma, la construcción de los criterios, la política de reevaluación y la experiencia del evaluador alteran la distribución; agrupar los datos puede premiar un ejercicio fácil. Compare a los proveedores o los estudios según un diseño reproducible, la completitud de la evidencia, la gestión de excepciones, la continuidad del servicio y la capacidad del promotor para reconstruir las decisiones. Cuando se comparen estadísticas de resultados, exija tareas comunes y un análisis preespecificado.
Al cierre del estudio, congele el historial de autorizaciones y asignaciones, concilie cada evaluación con el evaluador/versión cuando sea posible, cierre o traslade los eventos de calidad, archive las entradas y salidas controladas de capacitación y calificación, conserve las especificaciones estadísticas y el código, y documente las limitaciones no resueltas para el informe del estudio clínico y su reutilización futura. Luego compare lo planificado frente a lo real en cuanto a rotación, continuidad, frecuencia de señales, incidencias confirmadas, remediación y carga operativa. Esos resultados propios del promotor —y no la prevalencia en registros ni un recuento de certificados— respaldan la evaluación de proporcionalidad del siguiente programa.
El artefacto reutilizable a nivel de portafolio es un registro de decisiones, no un currículo universal único. Para cada instrumento y rol en la variable de valoración, registre la tarea del evaluador, la experiencia esperada, los riesgos conocidos de interpretación, las necesidades de enmascaramiento/independencia, los idiomas y modalidades, el tamaño/la rotación del grupo, la pregunta de calificación y la estadística si se utilizan, las señales de mantenimiento, las reglas de reemplazo, la vía de impacto en los datos, los responsables de la evidencia y los riesgos residuales. Vincule cada elección con el protocolo y el plan controlado vigente. Esto agiliza el siguiente estudio porque parte de un razonamiento documentado, al tiempo que exige una evaluación de diferencias cuando cambian la población, la versión, el diseño o el proveedor.
Gobierne las excepciones de forma explícita. Una exención de activación de centro, una calificación diferida, una interrupción temporal de la evaluación central o el uso de un evaluador de reemplazo de emergencia debe especificar el alcance, el impacto en el participante/la visita, el control compensatorio, el aprobador, el período de vigencia, la revisión de datos y la condición de cierre. Las excepciones deben permanecer visibles para la programación y la revisión de datos; archivar una exención en los registros de calidad sin modificar la autorización del sistema ni las operaciones de las visitas deja intacto el riesgo práctico.
Utilice la factibilidad prospectiva para poner a prueba el plan antes de que se consoliden los compromisos. Confirme cuántos evaluadores candidatos cumplen realmente con los requisitos de función e idioma, cuántos pueden completar la capacitación/calificación antes de la activación del centro, si el material multimedia de los casos y el consentimiento para grabación son utilizables en todos los países, y si la capacidad central cubre los picos de visitas y el respaldo. Si el grupo factible es menor de lo que asume el protocolo, modifique el modelo operativo, el despliegue o los controles antes del reclutamiento, no la regla de aceptación después de conocerse los resultados.
Controle las versiones, los idiomas y el material multimedia de los casos
El nombre de una familia de escalas no es un objeto de capacitación. La unidad controlada es la versión exacta del instrumento, el idioma/variante, el manual de administración y el conjunto de convenciones específicas del estudio utilizados por un rol de evaluador definido. Registre el permiso del titular y la procedencia de la fuente; concilie el nombre en el protocolo/SAP con el contenido de la plataforma, el material de capacitación, los casos de calificación, las claves de puntuación y la captura de datos. Un evaluador calificado en una edición o idioma no debe trasladarse a otro mediante un certificado a nivel de familia sin una evaluación de diferencias aprobada.
Los ClinRO traducidos plantean dos cuestiones vinculadas pero distintas. La evidencia lingüística/cultural se refiere a si la versión de destino comunica los conceptos previstos a su población y a los evaluadores usuarios. La evidencia del evaluador se refiere a si los usuarios autorizados administran y puntúan esa versión de manera consistente para la tarea del estudio. Una traducción sólida no demuestra una administración fiable, mientras que una alta IRR no puede reparar un ancla mal traducida. Por lo tanto, los responsables de COA/lingüística y del programa de evaluadores deben compartir los identificadores exactos de versión y el control de cambios.
El contenido de la capacitación también requiere gobernanza lingüística. Decida si la capacitación y la calificación se imparten en el idioma de trabajo del evaluador, cómo se concilian los materiales bilingües, quién puede responder preguntas de interpretación y qué idioma prevalece cuando los términos entran en conflicto. Los ejemplos locales pueden mejorar la comprensión, pero pueden modificar de forma no intencionada las consignas de la entrevista o las convenciones de puntuación. El propietario o los expertos en el instrumento deben aprobar cualquier adaptación, y el registro debe mostrar qué recibió y utilizó realmente cada evaluador.
Los recursos multimedia de los casos deben representar la tarea sin convertirse en una clave de respuestas oculta. Documente el origen del caso, el consentimiento y la reutilización permitida; el instrumento/versión/idioma; las características y la gravedad del paciente; la conducta del entrevistador; la edición; el proceso del panel de criterios; la justificación de la puntuación; los ítems difíciles conocidos; y el período de vigencia. Separe los casos utilizados para enseñanza, calificación y mantenimiento cuando la exposición pueda volver triviales las evaluaciones posteriores. Renueve los casos mediante cambio controlado, no mediante sustituciones ad hoc después de que una tasa de aprobación parezca baja.
La cobertura por país e idioma también influye en la centralización. Un grupo central puede mejorar la independencia de la asignación, aunque puede generar limitaciones de huso horario, dialecto, interpretación cultural, capacidad o continuidad. Un grupo local puede comprender el contexto, aunque puede requerir una separación de roles más estricta y estandarización entre centros. Compare modelos por idioma e instrumento en lugar de seleccionar una única arquitectura global. Valide la tecnología y las contingencias para entrevistas remotas en cada contexto operativo donde importen.
Cuando el contenido cambie, clasifique la variación: tipográfica/no significativa; instrucción aclarada; ítem/ancla modificado; cambio de puntuación; nuevo modo; nuevo idioma/variante; o cambio de población. Decida qué materiales, capacitación, calificación, pruebas del sistema, participantes/visitas y metadatos de análisis se ven afectados. Conserve las fechas de vigencia anteriores y nuevas. Un reemplazo silencioso de archivos puede invalidar la conexión entre la puntuación, la evidencia del evaluador y el conjunto de datos, incluso cuando ambas versiones parezcan razonables.
Cuatro opciones de control progresivas —no niveles automáticos
Conclusión clave: El rol de la variable de valoración, la complejidad del instrumento, la indicación, el grupo de evaluadores, los idiomas/modos, el enmascaramiento y el riesgo de cambio orientan el paquete de control. Ningún campo de registro ni umbral universal de κ/CCI asigna una opción automáticamente.
| Nivel | Cuándo resulta adecuado | Programa | Registro de evidencia |
|---|---|---|---|
| Opción 0 — Capacitación documentada | Uso de menor riesgo tras la evaluación del protocolo | Capacitación sobre el instrumento/versión exactos; registros de delegación y finalización; verificación de comprensión/competencia | Registros de rol y capacitación conforme a E6(R3) [7] |
| Opción 1 — Ejercicio de concordancia basal | La variabilidad de interpretación podría afectar una variable de valoración clave | Opción 0 + diseño de concordancia adecuado a la escala con justificación y acciones preespecificadas | Diseño, puntuaciones brutas, especificación estadística y registro de decisiones |
| Opción 2 — Calificación más calibración | Variable de valoración primaria/clave, entrevista compleja o grupo heterogéneo | Opción 1 + calificación específica por rol, casos de calibración y reglas para evaluadores de reemplazo | Registros por evaluador/versión; remediación y control de cambios |
| Opción 3 — Monitoreo continuo y/o evaluación central | Alto riesgo de cambio, desenmascaramiento funcional o participación del centro tras una evaluación específica del estudio | Opción 2 + desencadenantes/acciones validados y/o proceso central adecuado al propósito | Evidencia de monitoreo; escalamiento; validación del proceso central [3][4] |
Síntesis de EClinCloud de las cláusulas de la directriz de la UE, ICH E6(R3) y E9, la literatura verificada sobre IRR y la cohorte de exposición medida.
Doble enmascaramiento registrado y enmascaramiento del evaluador de resultados (n = 5,891)
La cohorte contiene 1,483 registros con enmascaramiento DOUBLE y 2,504 registros que incluyen al evaluador de resultados entre los roles enmascarados. Estos campos no son mutuamente excluyentes, y su diferencia no puede interpretarse como ensayos abiertos con evaluadores enmascarados. Se requiere una revisión a nivel de protocolo para comprender el desenmascaramiento funcional y elegir los controles.
Desplácese horizontalmente para ver la figura completa.
Ver datos del gráfico
| Categoría | Ensayos de fármacos del SNC de fase 2/3 (n = 5,891) |
|---|---|
| Doble enmascaramiento | 1,483 Ensayos |
| Evaluador de resultados enmascarado | 2,504 Ensayos |
Cuatro opciones escalonadas de control de evaluadores, no niveles automáticos
La función de la variable de valoración, la complejidad de la escala, la indicación, el grupo de evaluadores, el idioma, la modalidad, el enmascaramiento y el riesgo de deriva orientan el paquete de controles. Ningún campo de registro ni umbral universal de κ/CCI asigna automáticamente un estudio. El protocolo y el plan de monitoreo deben establecer la justificación, la métrica, la regla de aceptación, la acción y el responsable de la evidencia.
Desplácese horizontalmente para ver la figura completa.
| Nivel | Cuándo corresponde | Programa |
|---|---|---|
| Opción 0 — Capacitación documentada | Uso de menor riesgo tras la evaluación del protocolo | Capacitación sobre el instrumento y la versión; registros de delegación y finalización; verificación de comprensión |
| Opción 1 — Ejercicio basal de concordancia | La variabilidad en la interpretación podría afectar una variable de valoración clave | Opción 0 + método de concordancia adecuado para la escala y reglas de aceptación y acción definidas por el promotor |
| Opción 2 — Calificación + calibración | Variable de valoración primaria o clave, entrevista compleja o grupo heterogéneo de evaluadores | Opción 1 + calificación específica por rol; casos de calibración; reglas de recapacitación y reemplazo |
| Opción 3 — Monitoreo continuo y/o evaluación central | Alto riesgo de cambio, desenmascaramiento funcional o participación del centro de investigación tras la evaluación específica del estudio | Opción 2 + activadores de monitoreo validados, vía de adjudicación y escalamiento y/o evaluadores centrales adecuados al propósito |
Tres precauciones resuelven casos límite frecuentes. Los campos de enmascaramiento no son excluyentes: los 1,483 registros DOUBLE y los 2,504 registros con evaluador de resultados enmascarado no pueden restarse para hallar ensayos abiertos [1]. Los recuentos por familia de escalas no asignan la certificación; la escala CGI y las entrevistas estructuradas requieren análisis de tareas independientes. Los países no equivalen a los idiomas ni a los grupos de evaluadores, así que elabore la lista real antes de dimensionar la calificación o la evaluación central.
Las 1,639 coincidencias de desenlace primario constituyen una cola de prioridad, no una "Opción 2 o 3 por construcción". Revise cada instrumento y variable de valoración frente a las mismas preguntas de riesgo. Los activos reutilizables pueden reducir el costo del portafolio, pero cada versión y protocolo sigue requiriendo aprobación y control de cambios.
Los ejemplos de asignación deben mantenerse condicionales. Un ensayo de 20 centros de investigación con MADRS como variable primaria puede justificar controles de calificación y mantenimiento tras examinar la variabilidad previa, la experiencia de los evaluadores, la asignación y la rotación; la medida estadística y la cadencia se justifican entonces de forma prospectiva. Una extensión abierta con CGI-S como variable secundaria sigue requiriendo una evaluación del enmascaramiento y de los roles, pero un ejercicio basal de IRR no es automático. Un programa con psicodélicos debe evaluar explícitamente el desenmascaramiento funcional y puede considerar evaluadores externos independientes en coherencia con el análisis de la EMA [3], validando al mismo tiempo el modelo operativo elegido.
Estime el costo de cada control frente a un riesgo definido y una alternativa. Los datos públicos no permiten cuantificar el ahorro en el tamaño muestral ni el desempeño del programa [1]. El protocolo y los planes de respaldo deben conservar la justificación del paquete seleccionado y la evidencia de que funcionó según lo previsto.
Elija la pregunta de fiabilidad antes que el estadístico
"Medir la IRR" está incompleto. Primero defina la decisión. ¿El promotor pregunta si dos evaluadores clasifican la elegibilidad de forma consistente, si las puntuaciones totales continuas concuerdan lo suficiente para su uso combinado, si el grupo de evaluadores es estable a lo largo del tiempo, si un evaluador concuerda con un panel de criterio o si los procesos centrales y de los centros de investigación pueden intercambiarse? Cada pregunta implica un diseño y un estimando diferentes.
Para las decisiones categóricas, especifique las categorías, la prevalencia, la ponderación de los desacuerdos y el estadístico kappa o un estadístico alternativo. Un único valor de kappa puede comportarse de manera distinta cuando cambia la prevalencia de las categorías; por lo tanto, informe la tabla de contingencia y la incertidumbre, y no solo una cifra de aprobado/no aprobado. Para los totales continuos, especifique el modelo o la forma del ICC, si los evaluadores son fijos o muestreados, si el objetivo es la consistencia o la concordancia absoluta, el uso de evaluación única o de evaluación promedio, y el intervalo de confianza. "ICC = 0.8" sin esa especificación no es reproducible.
La calificación basada en criterio es otro tema distinto. Las puntuaciones de expertos o por consenso no son estándares de referencia libres de error por mera declaración. Documente cómo se crearon los casos y las puntuaciones de criterio, si el conjunto de casos abarca ítems clínicamente difíciles y rangos de gravedad, y si la tarea de calificación evalúa tanto la entrevista como la puntuación. En las escalas a nivel de ítem, examine los patrones por ítem además de los totales; las compensaciones pueden ocultar diferencias sistemáticas de administración o puntuación [11].
La regla de aceptación necesita un modelo de acción. Defina qué sucede cuando el intervalo a nivel del grupo no alcanza el objetivo, un evaluador individual no cumple el criterio, un ítem muestra desacuerdo recurrente o muy pocos evaluadores completan el ejercicio para obtener una estimación estable. Las acciones posibles incluyen capacitación dirigida, nuevos casos, evaluación supervisada, autorización diferida, reemplazo, aclaración del protocolo o —en algunos contextos— aceptar una limitación con implicaciones para el análisis o el monitoreo. Especificar previamente la acción evita la negociación a posteriori en torno a la activación del centro de investigación.
Deben justificarse el tamaño de la muestra y la composición de casos. Un ejercicio de calificación con casos fáciles y homogéneos puede producir una concordancia impresionante y no evaluar las distinciones difíciles que determinan la elegibilidad o el cambio en la variable de valoración. Simule o evalúe la incertidumbre en torno al estadístico seleccionado utilizando recuentos plausibles de evaluadores y casos. La propia recomendación de la EMA sobre depresión hace referencia a un grupo con tamaño suficiente para el análisis, lo cual desaconseja las estadísticas decorativas obtenidas de ejercicios diminutos [3].
Mapa del protocolo a la evidencia
Un programa sólido de evaluadores no es un único POE. Sus decisiones abarcan varios documentos, y las contradicciones entre ellos generan un riesgo evitable. Utilice un mapa de trazabilidad:
| Decisión | Registro de control | Evidencia de ejecución |
|---|---|---|
| Escala/versión exacta, informante, momento y función de la variable de valoración | Protocolo + SAP/plan de medición | Instrumento aprobado y configuración de visitas |
| Quién puede evaluar y calificaciones requeridas | Protocolo/plan de referencia + procedimiento de delegación | Revisión de CV/función, lista de delegación y autorización |
| Convenciones de administración/puntuación | Manual del instrumento + guía específica del estudio | Contenido de la capacitación, evidencia de conocimientos/habilidades y registro de incidencias |
| Diseño de concordancia/calificación | Plan de calidad de evaluadores o plan estadístico | Casos, puntuaciones sin procesar, código/especificación, resultados y aprobación |
| Enmascaramiento e independencia | Protocolo + plan operativo | Roles de acceso, registros de asignación/programación y desviaciones |
| Evaluadores de reemplazo y cambios | POE/plan de control de cambios | Capacitación diferencial, calificación y registro de fecha de entrada en vigor |
| Señales de mantenimiento y acciones | Plan de monitoreo/calidad de evaluadores | Resultados de la revisión, investigación, acción y evidencia de cierre |
| Proceso central/remoto | Plan de validación y supervisión de proveedores | Validación de tecnología/procesos, consentimiento/privacidad y registros de servicio |
El protocolo no debe prometer un umbral universal de κ ni una recalibración trimestral cuando el plan de respaldo utiliza otra métrica o carece de justificación. Por el contrario, un POE detallado no puede corregir un protocolo en el que la administración de la variable de valoración, el enmascaramiento o la función del evaluador sean ambiguos. Realice una revisión de coherencia entre documentos antes de la primera autorización de evaluadores y después de las enmiendas.
Los registros por evaluador deben vincularse a la identidad, la función, el grupo del centro o central, el instrumento y la versión exacta, el idioma, la versión de la capacitación, la tarea/fecha/resultado de calificación, la remediación, la ventana de autorización y la desactivación. Vincule la lista de evaluadores con los datos de delegación y de visitas para que pueda detectarse cualquier evaluación realizada por un evaluador no autorizado o con autorización vencida. El registro público no puede aportar nada de esto; deben hacerlo los registros controlados del estudio.
Debida diligencia sobre proveedores y evaluación central
Evalúe a un proveedor de evaluadores en función de los riesgos del protocolo, no de una cifra genérica de evaluadores certificados. Solicite la cobertura exacta de escala/versión/idioma y evidencia de la gobernanza de capacitadores/casos de criterio. Revise cómo se seleccionan y actualizan los casos, cómo se generan las respuestas de expertos, qué estadísticas se calculan, cómo se justifican los umbrales, qué ocurre tras no aprobar y cómo se incorporan evaluadores de reemplazo a mitad del estudio.
En la evaluación central o remota, rastree el servicio completo: programación e identidad del paciente; zonas horarias/idiomas; tecnología y contingencia; continuidad del entrevistador; enmascaramiento; acceso a la fuente; grabación/consentimiento/privacidad; transferencia de datos; evaluaciones omitidas; escalamiento clínico; disponibilidad de evaluadores; continuidad del negocio del proveedor; y conciliación con EDC. Exija evidencia de que el proceso de evaluación central es adecuado para la escala y la población previstas, en consonancia con la referencia condicional de la guía de la EMA sobre depresión a evaluaciones centrales validadas [3].
Solicite la lógica de monitoreo en términos ejecutables. ¿Qué datos se revisan, quién los revisa, con cegamiento respecto a qué, con qué muestra mínima, mediante qué modelo y con qué controles de falsas alertas? ¿Cómo se distinguen las diferencias reales en la combinación de casos del comportamiento del evaluador? ¿Qué medidas puede adoptar el proveedor sin comprometer el cegamiento del promotor ni alterar la ejecución de la variable de valoración? Un panel de control no es un control a menos que sus alertas se conecten con una vía aprobada de investigación y acción.
Ponga a prueba el servicio con escenarios. Un evaluador principal se retira después de las visitas basales; se corrige un instrumento traducido; un centro intenta utilizar a un sustituto no calificado; se interrumpe una entrevista central; una grabación no puede conservarse en un país; el monitor de distribución señala una media basal alta con solo cuatro participantes; y una enmienda del protocolo modifica la instrucción de un ítem. Para cada uno, inspeccione las decisiones sobre funciones, las marcas de tiempo, el control de versiones, la protección del cegamiento, la evidencia y el escalamiento.
La contratación debe preservar la supervisión del promotor y la portabilidad de los datos. Defina la titularidad/el acceso respecto al contenido de capacitación, los medios de los casos, las evaluaciones sin procesar, los algoritmos, los certificados, los resultados de monitoreo, las grabaciones y las pistas de auditoría; la retención; el uso de subprocesadores; la notificación de incidentes; la salida/transición; y el derecho del promotor a inspeccionar o reproducir resultados clave. Un recuento de certificados sin el diseño ni los datos subyacentes es una evidencia débil de debida diligencia.
Evaluaciones de riesgo desarrolladas
Considere un estudio pequeño de prueba de concepto en un solo país que utiliza una ClinRO estructurada como exploratoria. Un análisis de tareas puede respaldar una capacitación documentada sobre la versión exacta, evidencia de comprensión/competencia y una regla para evaluadores de reemplazo sin un umbral formal de IRR del grupo. Eso no es "Opción 0 por ser de un solo país"; es una decisión de menor control respaldada por la función de la variable de valoración, la estructura, un grupo pequeño y estable y una consecuencia recuperable.
Ahora considere un ensayo multicéntrico con una ClinRO primaria, experiencia heterogénea, umbral de elegibilidad y reclutamiento prolongado. La evaluación puede justificar calificación específica por función, análisis de concordancia adecuado a la escala, casos difíciles, controles para evaluadores de reemplazo y revisión de mantenimiento. Aun así, no determina κ frente a ICC, un punto de corte ni una cadencia trimestral hasta que se especifiquen el diseño de medición y el diseño operativo.
Por último, considere un contexto abierto o de desenmascaramiento funcional. Los evaluadores independientes o centrales pueden reducir un riesgo, pero añaden riesgos de programación, tecnología y procesos. Compare los modelos de evaluador local enmascarado, central, híbrido y de adjudicación/monitoreo por muestreo frente a los mismos requisitos. El único estudio sobre depresión del 35 % respalda evaluar la sensibilidad del umbral; no predetermina la respuesta [13].
En cada escenario, deje por escrito el riesgo residual. Si no se utiliza evaluación central, documente cómo se protege y se monitorea el enmascaramiento o la independencia. Si no se realiza un ejercicio continuo de concordancia, documente por qué la rotación y la duración son suficientemente bajas y qué evento reabre la decisión. Si se utiliza certificación, documente qué demuestra y qué no. Esto hace que la proporcionalidad sea inspeccionable en lugar de retórica.
Preguntas frecuentes
¿La regulación exige la capacitación de los evaluadores?
ICH E6(R3) respalda una capacitación acorde con las actividades delegadas [7]. Las guías de la EMA específicas por indicación para la depresión y la enfermedad de Alzheimer recomiendan evaluadores capacitados y, para la depresión, una IRR documentada con el índice kappa como ejemplo [3][4]. Aplique el texto pertinente dentro del alcance; dos borradores de la FDA carecían de los términos buscados, lo cual no constituye una postura universal de la FDA [5][6].
¿Cuántos ensayos del SNC están realmente expuestos al ruido de los evaluadores?
En la cohorte corregida definida por búsqueda, 2,865 de 5,891 (48.6 %) coinciden con una familia ClinRO seleccionada en cualquier desenlace y 1,639 (27.8 %) en un desenlace primario [1]. Estas son señales de revisión, no la totalidad de las variables de valoración evaluadas por el clínico ni una medida del ruido real de los evaluadores.
¿Cuál es un buen objetivo de confiabilidad interevaluador?
Ningún texto regulatorio citado establece un punto de corte universal. El índice kappa y el ICC tienen variantes, supuestos e interpretaciones diferentes. Especifique previamente un estadístico, un objetivo y una acción adecuados para la escala y el diseño utilizando la evidencia del instrumento, datos piloto o históricos y la decisión prevista. El ICC de 0.95 del pequeño estudio sobre la HDRS no constituye un techo universal [10].
¿Qué es exactamente la certificación de evaluadores?
Una evaluación de calificación definida por el promotor respecto de la tarea pertinente de administración o puntuación. Si se utiliza, documente la versión exacta, la tarea, los casos, la métrica, la justificación de aceptación, el resultado, la remediación y la autorización para evaluar. La recomendación de la EMA sobre la IRR a nivel de grupo no exige por sí misma la certificación por evaluador [3].
¿Qué es la deriva de los evaluadores y cómo se detecta?
Un cambio potencial en el comportamiento de evaluación a lo largo del tiempo. Realice el monitoreo únicamente con un plan especificado previamente y conforme con la privacidad, cuyas señales, cadencia, revisión contextual y acciones estén justificadas. La nueva puntuación, las evaluaciones duales por muestreo y la revisión de distribuciones son opciones, no requisitos universales [12].
¿Cuándo debe un ensayo utilizar evaluadores centrales?
Considere evaluadores centrales cuando una evaluación específica del estudio identifique un riesgo material de desenmascaramiento funcional, implicación del centro, elegibilidad o heterogeneidad del conjunto, y el proceso central pueda validarse [3]. Un estudio pequeño halló una discrepancia de umbral del 35 %; esto no aporta un beneficio esperado para otros ensayos [13].
¿Por qué no puedo evaluar comparativamente los programas de evaluadores a partir de ClinicalTrials.gov?
Porque el registro no incluye esa capa: el lenguaje sobre calidad de evaluadores aparece en el 0.56 % de los registros públicos del SNC, y "evaluador certificado" en cuatro. La evidencia reside en los protocolos, los POE, los registros de capacitación y las auditorías de proveedores [1].
¿La capacitación garantiza una mejor variable de valoración?
No. La capacitación comprime el ruido de medición; no crea un efecto. La afirmación de la literatura es que una IRR deficiente "puede contribuir a ensayos fallidos" —un mecanismo, citado como hipótesis de los autores, no una promesa a la inversa [9].
Metodología y limitaciones
Conclusión clave: Una vía computada de registro, una vía computada de literatura, y textos regulatorios primarios junto con artículos revisados por pares, todos obtenidos y verificados de primera mano; cada cifra principal es reconstruible a partir de los archivos de extracción, y el hallazgo de silencio del registro está acotado a lo que el registro puede mostrar.
Datos. (1) ClinicalTrials.gov a través de AACT, instantánea del registro del 25 de julio de 2026 en la copia del 1 de agosto de 2026: cohorte de afecciones del SNC 32,896; subconjunto de estudios intervencionistas de fase 2/3 con fármacos 5,891; análisis canónico de ClinRO seleccionadas; campos de enmascaramiento; recuentos por país notificado; y frases fijas sobre evaluadores buscadas en la medida/descripción de resultado más el resumen breve [1][14]. (2) Unión eClinical de Europe PMC, instantánea del 1 de agosto de 2026. (3) Directrices de la EMA sobre depresión/enfermedad de Alzheimer, dos borradores de la FDA, ICH E6(R3) y E9. (4) Cinco artículos metodológicos pequeños verificados mediante resúmenes primarios/registros completos.
Cálculos. Los patrones canónicos cuentan cada estudio una vez por cada familia de ClinRO seleccionada y evitan los términos cortos ambiguos. El análisis de frases sobre evaluadores cuenta un estudio una vez si aparece alguna frase fija en los campos especificados; los recuentos de frases se superponen. Las métricas de enmascaramiento son campos independientes y no excluyentes, y no se restan entre sí.
Limitaciones. La ausencia de mención en el registro concierne únicamente a los campos públicos consultados, no a la conducción del estudio. Las coincidencias de nombres canónicos omiten escalas no listadas y no identifican la versión, la modalidad, el evaluador ni la validación. Los campos de enmascaramiento son ingresados por el promotor y no son excluyentes. Los estudios de fiabilidad citados son pequeños y se centran principalmente en la depresión; no extrapole sus tamaños del efecto, puntos de corte ni resultados de evaluación central. La matriz de opciones de control es una síntesis, no una normativa; valide las métricas y acciones específicas de cada estudio.
Lo que este documento no es. No constituye asesoramiento legal, una evaluación de proveedores ni una afirmación de que algún programa prevenga el fracaso. Traza un flujo de trabajo de revisión, los textos citados dentro de sus respectivos alcances y opciones de control que requieren justificación a nivel de protocolo.
Conclusión
Conclusión clave: El 27.8 % de la cohorte de SNC en fase avanzada definida por la búsqueda coincide con una familia de ClinRO seleccionada en un desenlace primario. Los datos públicos no pueden mostrar quién realizó las evaluaciones ni cómo se controló la calidad. La tarea en la etapa del protocolo consiste en elegir y justificar controles específicos por instrumento para la capacitación, la concordancia, el mantenimiento y la evaluación central con un rastro de evidencia.
Se mantienen tres compromisos. Medir la exposición por protocolo: instrumento/versión exactos, función de la variable de valoración, tarea del evaluador, enmascaramiento, listado de centros de investigación y evaluadores, idiomas/modalidades y riesgo de cambio. Aplicar las directrices dentro de su alcance: utilizar las recomendaciones de la EMA por indicación cuando corresponda, los principios de E6/E9 y la interacción con las autoridades, sin inventar un mínimo global de la UE [3][4]. Hacer que los controles sean verificables: preespecificar métricas, fundamento, acciones, responsables y evidencia; monitorear el cambio únicamente con una cadencia justificada [12].
La distinción final es importante: el 0.56 % mide frases seleccionadas en campos públicos limitados, no la frecuencia con la que los programas se documentan o se planifican. La ventaja operativa proviene de un rastro interno de evidencia coherente que los registros públicos no pueden revelar.
EClinCloud desarrolla eLearning para flujos de trabajo de capacitación, evaluación y certificación, junto con servicios de capacitación de evaluadores para la capacitación estandarizada, la gestión de calificaciones y el seguimiento del progreso: alcance de producto y servicio, no una promesa sobre la variable de valoración [15][16].
Fuentes
1. ClinicalTrials.gov a través de AACT — análisis de EClinCloud de la instantánea del registro del 25 de julio de 2026 (copia de AACT del 1 de agosto de 2026): cohorte de afecciones del SNC n = 32,896; estudios intervencionistas con fármacos de fase 2/3 n = 5,891; coincidencias con familias de ClinRO seleccionadas en cualquier desenlace n = 2,865 y en el primario n = 1,639; campos de enmascaramiento no excluyentes; alcance del análisis de frases fijas; consultado en agosto de 2026.
2. Unión eClinical de Europe PMC (instantánea del 1 de agosto de 2026, 101,685 registros) — análisis de EClinCloud: 1,706 registros con frases sobre evaluadores, 9–23 por año hasta la década de 2020; consultado en agosto de 2026.
3. Agencia Europea de Medicamentos, Guideline on clinical investigation of medicinal products in the treatment of depression, EMA/CHMP/185423/2010 Rev.3 — acordada el 20 de enero de 2025, en vigor desde el 30 de septiembre de 2025 — guía científica específica para la indicación que recomienda la capacitación de evaluadores y la documentación de la IRR (kappa como ejemplo), y que aborda evaluadores centrales/externos validados en casos particulares.
4. Agencia Europea de Medicamentos, Directriz sobre la investigación clínica de medicamentos para el tratamiento de la enfermedad de Alzheimer, CPMP/EWP/553/95 Rev.2, 22 de febrero de 2018 — §7: evaluadores enmascarados respecto a la asignación del tratamiento; capacitación previa; capacitación estandarizada nacional/internacional de evaluadores.
5. Administración de Alimentos y Medicamentos de los Estados Unidos, Early Alzheimer’s Disease: Developing Drugs for Treatment — Draft Guidance for Industry, marzo de 2024 — se buscaron los términos sobre evaluadores utilizados en esta revisión; un hallazgo negativo acotado a nivel de documento.
6. Administración de Alimentos y Medicamentos de los Estados Unidos, Major Depressive Disorder: Developing Drugs for Treatment — Draft Guidance for Industry, junio de 2018 — se buscaron los términos sobre evaluadores utilizados en esta revisión; un hallazgo negativo acotado a nivel de documento.
7. Consejo Internacional para la Armonización, ICH E6(R3) Guideline for Good Clinical Practice, versión final adoptada el 6 de enero de 2025 — §2.3.2 capacitación relacionada con el ensayo acorde con la delegación de funciones.
8. Conferencia Internacional sobre Armonización, ICH E9 Statistical Principles for Clinical Trials, 5 de febrero de 1998 — §2.2.3 escalas de valoración como variables principales; definiciones del glosario de fiabilidad interevaluador e intraevaluador.
9. Kobak KA, Williams JB, Engelhardt N. Comparación de la evaluación presencial y remota de la fiabilidad interevaluador en la Escala de Evaluación de la Depresión de Hamilton mediante videoconferencia. Psychiatry Research. 2008;161(2):205–211. PMID 17961715.
10. Morriss R, Leese M, Chatwin J, Baldwin D, THREAD Study Group. Fiabilidad interevaluador de la Escala de Evaluación de la Depresión de Hamilton como medida diagnóstica y de resultado de la depresión en atención primaria. Journal of Affective Disorders. 2008;107(1–3):99–106. PMID 18374987.
11. Tabuse H, Kalali A, Azuma H, Ozaki N, Iwata N, Naitoh H, Higuchi T, Kanba S, Shinfuku N. La nueva Escala de Evaluación de la Depresión de Hamilton GRID demuestra una excelente fiabilidad interevaluador para evaluadores sin experiencia y con experiencia antes y después de la capacitación. Psychiatry Research. 2007;153(1):61–67. PMID 17445908.
12. Prasad MK, Udupa K, Kishore KR, Thirthalli J, Sathyaprabha TN, Gangadhar BN. Fiabilidad interevaluador de la escala de evaluación de la depresión de Hamilton mediante entrevistas grabadas en video — Enfoque en el enmascaramiento del evaluador. Indian Journal of Psychiatry. 2009;51(3):229–233. PMID 19881046.
13. Kobak KA, Leuchter A, DeBrota D, Engelhardt N, Williams JB, Cook IA, Lipschitz RC. Evaluadores de centro frente a evaluadores centralizados en un ensayo clínico sobre depresión: impacto en la selección de pacientes y la respuesta al placebo. Journal of Clinical Psychopharmacology. 2010;30(6):660–668. PMID 20520295.
14. ClinicalTrials.gov, Acerca de ClinicalTrials.gov y los datos de estudios clínicos — fuente de datos del registro y documentación de la instantánea, consultado en agosto de 2026.
15. EClinCloud, eLearning — flujos de trabajo de capacitación, evaluación y certificación — alcance del producto, no una afirmación de desempeño ni de variable de valoración.
16. EClinCloud, servicios profesionales de capacitación de evaluadores — flujos de trabajo estandarizados de capacitación/certificación, seguimiento del progreso y alcance de gestión de calificaciones.