Часть 2/3, начало выше 👆
4. Предвзятость отбора (эффект добровольца).
Выборка состоит из людей, способных оплачивать и посещать 3–5 сеансов в неделю на протяжении 3–4 лет. Это изначально более благополучная, осознанная и ресурсоемкая группа населения по сравнению с обществом в целом, но авторы даже не указывают на это ограничение в отличии, например, от Питера Фонаги и соавторов [5], исследование которых мы разберем следующим.
5. Субъективность оценок и отсутствие ослепления.
Оценка результатов проводилась по опросам пациентов и психотерапевтов. В работах, где была внешняя оценка, оценщик так же не был ослеплен, что, собственно, невозможно в отсутствии контрольной группы. Как следствие, данные искажаются эффектом Розенталя (подсознательное завышение оценок психотерапевтом) и плацебо/Хоторна (пациент склонен оправдывать инвестицию сотен часов и тысяч долларов), что авторы не считают ограничением.
6. Отсутствие математической очистки данных:
а) Публикационное искажение. Поиск непубликуемых отрицательных работ не проводился, математические фильтры не применялись. Авторы прямо сообщают: «There was no systematic effort to find additional unpublished data». Собственно, после таких фраз можно дальше никакой мета-анализ не читать, но, как я уже говорила, работа цитировалась 371 раз, а это огромный показатель цитируемости.
б) Коррекция малых выборок. В расчетах использовался базовый параметр d Коэна вместо g Хеджеса, «штрафующего» малые выборки, в мета-анализе присутствуют работы с очень малыми выборками.
в) Невалидированная шкала качества. Авторы разработали собственную шкалу RQS. При этом статьи, отбракованные как «низкокачественные», показали ровно такую же эффективнсть (67–69%), как и «качественные» (64–67%). Собственно, этим авторы сами доказали неэффективность их фильтрации и указали на низкое качество работ, которые они «назначили» качественными.
Как результат, авторы заявляют о высокой эффективности долгосрочной психотерапии и психоанализа, приводя внушительные внутригрупповые размеры эффекта (до/после d Коэна):
- Симптоматическое улучшение d = 1.03 (для психотерапии) и d = 1.38 (для психоанализа) - «очень крупный эффект»;
- Личностные изменения d = 0.54 (для психотерапии) и d = 0.76 (для психоанализа) - «умеренно-крупный эффект».
Если попробовать применить фильтры очистки, итоговая картина кардинально меняется. Понятно, это примерный расчет, но он показательный.
Авторы опираются на классическую формулу d Коэна, не учитывающую смещение в исследованиях с небольшим объемом участников (например, n = 17 или n = 23). Перевода d Коэна в g Хеджеса сдувает искусственный пузырь малых выборок примерно на 3–4%:
- Симптомы: с d = 1.03 опускается до g 0.99;
- Личность: с d = 0.54 опускается до g 0.52.
В мета-анализе полностью отсутствует поиск неопубликованных отрицательных работ и не применены математические методы их восстановления (например, метод «обрезки и заполнения»). В исследованиях психотерапии «эффект картотечного ящика» завышает итоговые результаты примерно на 15–20%. Применение математической коррекции вычитает из показателей еще порядка 0.15–0.20:
- Симптомы: с g 0.99 опускается до g 0.79;
- Личность: с g 0.52 опускается до g 0.37.
Изоляция базового шума (спонтанная ремиссия + регрессия к среднему + плацебо)
Главный методологический изъян статьи - это отсутствие вычитания контрольных показателей (расчет велся по формуле «до/после», а не сравнением с контрольной группой). В наблюдениях длительностью от 1 года до 4 лет базовый шум, включающий в себя естественную саморегуляцию психики (спонтанную ремиссию ~30%), математический спад симптомов после пикового кризиса (регрессию к среднему), задействование плацебо-эффекта и бытовые изменения среды, суммарно дает размер эффекта порядка g 0.60–0.70. Если очистить показатели от базового шума, то:
- Чистый эффект для симптомов рушится с «огромного» до очень малого, граничного уровня g 0.14 - 0.24;
- Чистый эффект для личностных изменений полностью уходит в статистический ноль от -0.28 - до -0.15.
👇