РЕФЕРЕНСНЫЙ СТАНДАРТ ДЛЯ ПРОВЕРКИ «7 PGG»

Введение

Детский церебральный паралич (ДЦП) – описательный «зонтичный» термин, объединяющий группу постоянных расстройств движения и позы, обусловленных непрогрессирующими нарушениями в развивающемся мозге [1]. Причинные пути, ведущие к ДЦП, многообразны и нередко сочетаются; по современным данным, интранатальная асфиксия объясняет менее 10 % случаев, а экзомное секвенирование выявляет патогенные варианты примерно у трети обследованных пациентов [2–4]. В этих условиях этиологическая характеристика ребёнка требует формализованных правил, иначе она становится предметом субъективного суждения.

Автором предложена исследовательская этиопатогенетическая стратификация «7 PGG» (7 potential genesis groups), выделяющая семь групп потенциального генеза: инфекционную (PGG-1), токсическую (PGG-2), лекарственную (PGG-3), травматическую/перинатальную (PGG-4), иную нейроиммунную/поствакцинальные сообщения (PGG-5), генетическую (PGG-6) и смешанную/неуточнённую (PGG-7) [5]. Стратификация является этиологической осью функциональной комплементарной модели классификации ДЦП [6] и предназначена для исследований и персонификации реабилитации.

Любая новая классификация может использоваться в исследованиях только после проверки её надёжности (воспроизводимости отнесения разными специалистами) и валидности (соответствия отнесения истинному состоянию). Проверка валидности требует референсного стандарта – наилучшего доступного способа установить, к какой категории действительно относится пациент. Для этиологии ДЦП «золотого стандарта» не существует: причина повреждения развивающегося мозга, как правило, устанавливается вероятностно, на основании совокупности данных. Методология исследований при несовершенном или отсутствующем референсном стандарте хорошо разработана [7–9], однако её применение к этиологическим классификациям ДЦП ранее не описывалось.

Цель исследования – разработать референсный стандарт для проверки стратификации «7 PGG», определить дизайн исследования валидности и надёжности, меры контроля систематических ошибок и критерии принятия рабочих определений.

Материалы и методы

Выполнено методологическое исследование по материалам диссертации. Проанализированы: стандарт представления исследований диагностической точности STARD 2015 [10]; инструмент оценки риска систематических ошибок в исследованиях диагностической точности QUADAS-2 [11]; руководство по представлению исследований надёжности и согласия GRRAS [12]; обзоры методов оценки при отсутствии или несовершенстве референсного стандарта [7; 8]; систематический обзор использования экспертных панелей в качестве референсного стандарта [9]; работы о композитных референсных стандартах [13] и анализе латентных классов [14]; методические работы по статистике согласия [15–18]; критерии отчётности исследований с применением метода Дельфи [19]; профессиональные критерии, используемые для документирования отдельных этиологических групп (интерпретация генетических вариантов [20], неонатальная энцефалопатия [21], оценка причинно-следственной связи нежелательных явлений после иммунизации [22], МРТ-классификация MRICS [23]).

На основе анализа сопоставлены возможные подходы к построению референсного стандарта, выбран и детализирован подход, наиболее соответствующий природе стратификации «7 PGG», разработаны дизайн исследования, перечень мер контроля систематических ошибок и критерии принятия решения. Терминология соответствует STARD: проверяемая классификация обозначается как «индексная», способ установления истинной категории – как «референсный стандарт» [10].

Результаты

1. Особенности задачи и требования к референсному стандарту

Проверка стратификации «7 PGG» имеет три особенности. Во-первых, классификация является многокатегориальной и номинальной: пациент относится к одной из семи категорий, не упорядоченных по степени выраженности. Поэтому для оценки согласия используются невзвешенные коэффициенты каппа, а для оценки валидности – матрица сопряжённости 7×7 и показатели для каждой категории в режиме «категория против остальных». Во-вторых, категории определяются через документированные факторы, а не через непосредственно наблюдаемый признак; следовательно, референсный стандарт должен опираться на более полную и более строго оценённую документацию, чем индексная классификация. В-третьих, категория «потенциальный генез» сознательно не означает установленную причину, поэтому референсный стандарт проверяет правильность отнесения к паттерну, а не истинность причинного заключения.

Из этого вытекают требования к референсному стандарту: он должен быть независим от индексной классификации (оценщики не знают её результата); основываться на всей доступной информации, включая данные, недоступные в рутинной практике (расширенное генетическое обследование, пересмотр нейровизуализации); использовать внешние профессиональные критерии для каждой категории; быть воспроизводимым и подробно описанным, чтобы его мог применить другой исследовательский коллектив.

2. Возможные подходы к построению референсного стандарта

Анализ методологической литературы позволяет выделить четыре подхода к ситуации, когда «золотой стандарт» отсутствует (табл. 1) [7–9; 13; 14].

Таблица 1

Подходы к референсному стандарту при отсутствии «золотого стандарта»

Для стратификации «7 PGG» ни один подход по отдельности не является достаточным. Композитный стандарт хорошо подходит для категорий, документируемых объективными данными (лабораторно подтверждённая инфекция, классифицированный генетический вариант), но не учитывает клинический контекст и сочетание факторов. Экспертная панель учитывает контекст, но без заранее заданных критериев теряет воспроизводимость; систематический обзор показал, что в исследованиях с экспертными панелями методы их работы нередко описываются недостаточно [9]. Поэтому предложен двухуровневый референсный стандарт, объединяющий оба подхода, а анализ латентных классов и проверка конструктной валидности используются как дополнительные методы.

3. Двухуровневый референсный стандарт

Первый уровень – компонентные референсные критерии. Для каждой категории определены внешние, профессионально признанные критерии, по которым эксперт устанавливает, выполнен ли критерий группы (табл. 2). Они строже рабочих определений индексной классификации: требуют первичных документов, а не упоминаний в выписках, и опираются на признанные профессиональные стандарты.

Таблица 2

Компонентные референсные критерии для категорий «7 PGG»

Второй уровень – независимая экспертная панель. В состав панели включаются не менее трёх экспертов из числа детского невролога, медицинского генетика, неонатолога, инфекциониста и нейрорадиолога; эксперты не участвуют в лечении пациентов и не знают результата индексной классификации. Каждый эксперт сначала независимо оценивает выполнение компонентных критериев по полному пакету документов, затем панель проводит до трёх раундов модифицированной процедуры Дельфи с обратной связью. Консенсусом считается совпадение оценок не менее чем двух третей экспертов; при его отсутствии случай обсуждается на очном заседании с окончательным решением председателя и фиксацией аргументов. Порог консенсуса, число раундов и правила обсуждения определяются заранее и публикуются в протоколе в соответствии с рекомендациями по отчётности исследований Дельфи [19].

Итоговая референсная категория устанавливается по той же логике, что и индексная (одна категория при выполнении критериев одной группы, PGG-7 – при двух и более или ни одной), но на основании референсных критериев и консенсуса панели. Это обеспечивает сопоставимость результатов и вместе с тем независимость стандарта от индексной оценки.

4. Дизайн исследования валидности и надёжности

Дизайн исследования представлен на рис. 1. В исследование последовательно включаются дети с подтверждённым диагнозом ДЦП, для которых доступен полный пакет первичной документации. Последовательный набор снижает риск систематической ошибки спектра. Индексную классификацию выполняет лечащий врач по рабочим определениям и процедуре отнесения; для оценки надёжности независимо от него ту же оценку выполняет второй специалист. Референсный стандарт применяется ко всем включённым пациентам независимо от результата индексной классификации, что исключает ошибку частичной и дифференцированной верификации [11].

Рис. 1. Дизайн исследования валидности и надёжности стратификации «7 PGG»

Надёжность оценивается коэффициентом каппа Коэна для двух оценщиков и коэффициентом каппа Флейса для трёх и более оценщиков, с 95 % доверительными интервалами, а также долей согласия в целом и по категориям [15–17]. Для интерпретации используется шкала Лэндиса и Коха: значения 0,41–0,60 соответствуют умеренному, 0,61–0,80 – существенному, выше 0,80 – почти полному согласию [16]. Поскольку значение каппа зависит от распределения категорий, наряду с ним приводятся матрица согласия и доли согласия по категориям; объём выборки планируется с учётом ожидаемой распространённости категорий и требуемой точности оценки [18]. Исследование надёжности представляется по руководству GRRAS [12].

Валидность по отношению к референсному стандарту оценивается по матрице сопряжённости 7×7 с расчётом общего согласия и коэффициента каппа, а также чувствительности, специфичности и прогностической ценности положительного результата для каждой категории. Особое внимание уделяется направлениям ошибок: например, ошибочное отнесение случаев с генетической причиной к PGG-4 или PGG-5 и чрезмерное использование неуточнённой подгруппы PGG-7 указывают на конкретные недостатки рабочих определений. Исследование представляется в соответствии со STARD 2015 [10].

В качестве дополнительных методов используются анализ латентных классов, позволяющий оценить точность индексной классификации и референсного стандарта без допущения о безошибочности последнего [14], и проверка конструктной валидности – сопоставление категорий с ожидаемыми внешними признаками: МРТ-паттерном по MRICS [23], частотой эпилепсии, нарушений слуха и зрения.

5. Контроль систематических ошибок

Перечень основных систематических ошибок, характерных для исследований с экспертным референсным стандартом, и меры их контроля приведены в табл. 3. Они соответствуют доменам инструмента QUADAS-2: отбор пациентов, индексный тест, референсный стандарт, поток пациентов и сроки [11].

Таблица 3

Систематические ошибки и меры контроля при проверке «7 PGG»

6. Критерии принятия рабочих определений

Заранее определены критерии, при выполнении которых рабочие определения «7 PGG» принимаются для использования в исследованиях: общий коэффициент каппа между индексной классификацией и референсным стандартом не ниже 0,61 (существенное согласие) и коэффициент каппа по каждой категории в режиме «категория против остальных» не ниже 0,41 (умеренное согласие); те же пороги применяются к межэкспертной надёжности индексной классификации. Если критерии не выполнены для отдельной категории, её рабочее определение пересматривается с учётом анализа ошибок, после чего проверка повторяется на новой выборке. Пороговые значения являются ориентирами, принятыми в исследованиях надёжности клинических классификаций [16; 17], и должны быть зафиксированы в протоколе до начала исследования.

7. Организация и этапы проверки

Проверка стратификации выполняется поэтапно (табл. 4). Подготовительный этап включает разработку и публикацию протокола, в котором заранее фиксируются рабочие определения, референсные критерии, состав и правила работы экспертной панели, первичные и вторичные показатели, пороги принятия решения и план статистического анализа. Протокол одобряется этическим комитетом; от законных представителей пациентов получается информированное согласие на использование медицинской документации и, при необходимости, на дополнительное генетическое обследование. Данные обезличиваются до передачи экспертам.

Калибровочный этап предназначен для обучения оценщиков и проверки понятности определений. Оценщики индексной классификации и эксперты панели независимо оценивают учебный набор обезличенных случаев, после чего расхождения разбираются, а формулировки инструкций уточняются. Случаи калибровочного набора в основной анализ не включаются. Основной этап включает последовательный набор пациентов, независимое выполнение индексной классификации и работы панели, а также статистический анализ по заранее зафиксированному плану. На заключительном этапе принимается решение о принятии или пересмотре определений; при пересмотре проверка повторяется на независимой выборке, что исключает подгонку определений под данные одной выборки.

Таблица 4

Этапы проверки стратификации «7 PGG»

Результаты исследования представляются в формате, позволяющем другим исследователям воспроизвести анализ: блок-схема движения пациентов, распределение категорий по индексной классификации и референсному стандарту, полная матрица согласия 7×7, коэффициенты каппа с доверительными интервалами, показатели точности по категориям, доля случаев, потребовавших очного обсуждения панели, и перечень изменений определений по итогам проверки.

Обсуждение

Предложенный двухуровневый стандарт отражает компромисс между прозрачностью композитного подхода и клинической полнотой экспертной оценки. Подобная логика используется при разработке других классификаций ДЦП: например, МРТ-классификация MRICS прошла формальную проверку надёжности оценок [23], а функциональные системы классификации – проверку согласия между специалистами разного профиля. Проверка «7 PGG» по той же методологии позволит обоснованно использовать стратификацию в исследованиях эффективности реабилитации.

Важное преимущество предложенного стандарта – включение внешних профессиональных критериев для каждой категории. Так, для генетической категории используются общепринятые критерии классификации вариантов [20], для перинатальной – критерии неонатальной энцефалопатии [21], для поствакцинальных сообщений – классификация ВОЗ [22]. Это снижает зависимость результата от взглядов конкретных экспертов и повышает воспроизводимость в других учреждениях. Для категории PGG-5 обязательное генетическое обследование в составе стандарта имеет особое значение: оно позволяет выявлять случаи генетически детерминированных эпилептических энцефалопатий, ошибочно связываемых с иммунизацией [24].

Ограничения предложенного подхода связаны с тем, что экспертная панель остаётся несовершенным стандартом: эксперты могут ошибаться согласованно, особенно при неполной документации. Расширенное генетическое обследование для всех участников требует ресурсов и не всегда доступно. Кроме того, номинальный характер и неравномерное распределение категорий осложняют интерпретацию коэффициента каппа; поэтому результаты должны представляться с полной матрицей согласия. Анализ латентных классов частично компенсирует эти ограничения, но требует достаточного объёма выборки.

Отдельного внимания заслуживает соотношение надёжности и валидности. Высокая межэкспертная надёжность индексной классификации не гарантирует её валидности: оценщики могут согласованно ошибаться, если рабочие определения систематически направляют отнесение в одну категорию. Например, при отсутствии генетического обследования оценщики могут согласованно относить к PGG-4 случаи, в которых генетический вариант был бы выявлен. Поэтому проверка надёжности и проверка валидности выполняются совместно, а референсный стандарт включает данные, недоступные индексной оценке.

Проверка валидности и надёжности является необходимым, но не достаточным условием клинического использования стратификации. Следующими этапами являются оценка прогностической ценности категорий для исходов реабилитации и пилотное внедрение стратификации в исследовательские программы [6].

Заключение

1. Для стратификации «7 PGG» отсутствует «золотой стандарт», поэтому её валидность должна проверяться с использованием методологии исследований с несовершенным или отсутствующим референсным стандартом.

2. Предложен двухуровневый референсный стандарт: компонентные референсные критерии для каждой категории, опирающиеся на внешние профессиональные стандарты, и независимая ослеплённая экспертная панель с модифицированной процедурой Дельфи и заранее заданными правилами консенсуса.

3. Разработан дизайн исследования валидности и надёжности с последовательным набором, применением стандарта ко всем пациентам, оценкой согласия коэффициентами каппа Коэна и Флейса, показателями точности по категориям и дополнительными методами – анализом латентных классов и проверкой конструктной валидности.

4. Определены меры контроля систематических ошибок по доменам QUADAS-2 и критерии принятия рабочих определений (κ ≥ 0,61 в целом и ≥ 0,41 по каждой категории), что обеспечивает проверяемость и воспроизводимость стратификации «7 PGG».

1. Rosenbaum P., Paneth N., Leviton A. [et al.] A report: the definition and classification of cerebral palsy April 2006 // Developmental Medicine and Child Neurology. Supplement. – 2007. – № 109. – P. 8–14.
2. Moreno-De-Luca A., Millan F., Pesacreta D.R. [et al.] Molecular diagnostic yield of exome sequencing in patients with cerebral palsy // JAMA. – 2021. – Vol. 325, № 5. – P. 467–475.
3. González-Mantilla P.J. [et al.] Diagnostic yield of exome sequencing in cerebral palsy and implications for genetic testing guidelines: a systematic review and meta-analysis // JAMA Pediatrics. – 2023. – Vol. 177, № 5. – P. 472–478.
4. MacLennan A.H., Thompson S.C., Gecz J. Cerebral palsy: causes, pathways, and the role of genetic variants // American Journal of Obstetrics and Gynecology. – 2015. – Vol. 213, № 6. – P. 779–788.
5. Нестерова С.И. Этиопатогенетическая классификация ДЦП «7 PGG» // Клинические аспекты детской неврологии: сб. материалов науч.-практ. конф. – 2017. – С. 23–37.
6. Нестерова С.И. Дефиниции ДЦП: классификационные подходы и функциональная комплементарная модель: нозологическая, функциональная, клинико-топографическая и этиологическая // Клинические аспекты детской неврологии: сб. материалов науч.-практ. конф. – 2012. – № 1. – С. 5–17.
7. Rutjes A.W.S., Reitsma J.B., Coomarasamy A. [et al.] Evaluation of diagnostic tests when there is no gold standard. A review of methods // Health Technology Assessment. – 2007. – Vol. 11, № 50.
8. Reitsma J.B., Rutjes A.W.S., Khan K.S. [et al.] A review of solutions for diagnostic accuracy studies with an imperfect or missing reference standard // Journal of Clinical Epidemiology. – 2009. – Vol. 62, № 8. – P. 797–806.
9. Bertens L.C.M. [et al.] Use of expert panels to define the reference standard in diagnostic research: a systematic review of published methods and reporting // PLoS Medicine. – 2013. – Vol. 10, № 10. – Art. e1001531.
10. Bossuyt P.M., Reitsma J.B., Bruns D.E. [et al.] STARD 2015: an updated list of essential items for reporting diagnostic accuracy studies // BMJ. – 2015. – Vol. 351. – Art. h5527.
11. Whiting P.F., Rutjes A.W.S., Westwood M.E. [et al.] QUADAS-2: a revised tool for the quality assessment of diagnostic accuracy studies // Annals of Internal Medicine. – 2011. – Vol. 155, № 8. – P. 529–536.
12. Kottner J., Audigé L., Brorson S. [et al.] Guidelines for Reporting Reliability and Agreement Studies (GRRAS) were proposed // Journal of Clinical Epidemiology. – 2011. – Vol. 64, № 1. – P. 96–106.
13. Naaktgeboren C.A. [et al.] Value of composite reference standards in diagnostic research // BMJ. – 2013. – Vol. 347. – Art. f5605.
14. Hui S.L., Walter S.D. Estimating the error rates of diagnostic tests // Biometrics. – 1980. – Vol. 36, № 1. – P. 167–171.
15. Cohen J. A coefficient of agreement for nominal scales // Educational and Psychological Measurement. – 1960. – Vol. 20, № 1. – P. 37–46.
16. Landis J.R., Koch G.G. The measurement of observer agreement for categorical data // Biometrics. – 1977. – Vol. 33, № 1. – P. 159–174.
17. Fleiss J.L. Measuring nominal scale agreement among many raters // Psychological Bulletin. – 1971. – Vol. 76, № 5. – P. 378–382.
18. Sim J., Wright C.C. The kappa statistic in reliability studies: use, interpretation, and sample size requirements // Physical Therapy. – 2005. – Vol. 85, № 3. – P. 257–268.
19. Diamond I.R., Grant R.C., Feldman B.M. [et al.] Defining consensus: a systematic review recommends methodologic criteria for reporting of Delphi studies // Journal of Clinical Epidemiology. – 2014. – Vol. 67, № 4. – P. 401–409.
20. Richards S., Aziz N., Bale S. [et al.] Standards and guidelines for the interpretation of sequence variants: a joint consensus recommendation of the American College of Medical Genetics and Genomics and the Association for Molecular Pathology // Genetics in Medicine. – 2015. – Vol. 17, № 5. – P. 405–424.
21. Neonatal encephalopathy and neurologic outcome / American College of Obstetricians and Gynecologists. – 2nd ed. – Washington: ACOG, 2014.
22. Causality assessment of an adverse event following immunization (AEFI): user manual for the revised WHO classification. – 2nd ed. – Geneva: World Health Organization, 2018.
23. Himmelmann K., Horber V., De La Cruz J. [et al.] MRI classification system (MRICS) for children with cerebral palsy: development, reliability, and recommendations // Developmental Medicine and Child Neurology. – 2017. – Vol. 59, № 1. – P. 57–64.
24. Berkovic S.F., Harkin L., McMahon J.M. [et al.] De-novo mutations of the sodium channel gene SCN1A in alleged vaccine encephalopathy: a retrospective study // The Lancet Neurology. – 2006. – Vol. 5, № 6. – P. 488–492.