Ebm_base

Журнальный клуб существует уже почти 6 лет. Почти непрерывно, т.е. не в формате курсов или отдельных потоков. Пройдя отбор, участник может участвовать сколько хочет долго (при соблюдении правил). При этом это полностью бесплатно. А так же всем участникам доступны записи всех предыдущих занятий, дополнительный материалы, записанные лекции (хоть и старые уже). Сколько это требует ресурсов (временных и моральных в основном) даже нет смысла рассказывать. На данный момент я не встречал подобные и настолько долгоживущие журнальные клубы, как минимум вне ВУЗ'ов (возможно я не прав, буду рад если поделитесь).

Но уже более 4 лет я пытаюсь опубликовать свой опыт по журнальному клубу. Текст много раз переписывался, результаты дополнялись, теория пересматривалась. Подавал в журналы с бесплатной и платной (open access) публикацией. В большинстве случаев я получал "reject" от редактора, потому что "не интересно"/"не соответствует тематике журнала"/"не актуально" и прочее. Несколько раз редакторы и рецензенты присылали замечания (и они помогали дополнять статью), но в итоге все равно получал "reject".
Я не хочу переводить и публиковать статью в российском журнале, потому что считаю важным (для себя важным) поделиться им достаточно широко (международно). Но я и устал биться в стену.
В комментах к прошлой статье напомнили, что можно было выложить препринт. И получив очередной "reject" я решил, что это пока лучшее решение для распространения моей публикации.

И вот получил письмо, что препринт размещен, вместе с дополнительными материалами (полностью доступен бесплатно, продублирую текст в комментарии). Я буду рад, если вы прочитаете, расскажете свое впечатление, укажите, что можно ещё поправить (особенно на самом Medrxiv, там можно комментарий оставить) или хотя бы поделитесь, чтобы и другие коллеги увидели, прочитали и оставили впечатление. Мне это важно.

Я продолжу дальше стучаться в разные журналы (надеюсь не попаду на счёт из 3 тыс зелёных). озможно когда-нибудь я смогу с гордостью опубликовать пост, что статья вышла в хорошем журнале, где ее прочитает ещё больше людей...

P.S. в тексте статьи и доп материалах даже есть тесты, которые проходят кандидаты для вступления в ЖК, а участники как срез знаний 😉

P.P.S. в материалах так же расписана вся организация ЖК 😉

P.P.P.S. отдельное спасибо хочу выразить Матвею Славенко. С последней редакцией его взгляд со стороны очень сильно помог (ну и морально поддержал)

Ebm_base

Ооо, теперь тут можно сделать канал публичным и включить комменты

Никита, а как вы используете ИИ?

Что ожидается 😁
Регистрация здесь
Попросили попроще и понятнее 😁

По 3 этапу отбора в ЖК. Собеседования прошли, всех поздравляю! Но сейчас идёт их осмотр и оценка. Поэтому наберитесь терпения)) мы со всеми свяжемся и сообщим результаты!

Не знал, что с конференции RUSSCO по ЖКТ будут выкладывать записи выступлений. Но утром их увидел

Задача "не задушнить за 10 минут" провалилась. Во-первых, я задушнил. Во-вторых, потратил 18 минут 😱
Но надеюсь, что взгляд с другой стороны было интересно послушать (и узнать что-то новое, хотя все есть в протоколе).
Но сначала выступил Трякин Алексей Александрович с рассуждениями о клинической части (рекомендую послушать). Алексею Александровичу я благодарен за приглашение выступить!

P.S. показалось, что здесь я говорю лучше, чем на РОК, но это показалось только на х2 скорости. На х1... Причмокивания, слова-паразиты, запинывания и т.п. Похоже надо думать как и тренироваться ставить грамотную речь

Наткнулся на интересное видео про анализ выживаемости
Базово, но основы рассказаны понятным языком, показаны примеры
Рекомендую

3) Переходим дальше. Интерпретация d Коэна указана стандартная. А вот интерпретация p-value... Это какой-то треш. Был как-то мем, где тоже пытались классифицировать разные уровни p-value. И у данного показателя есть проблема, что его стат значимость не переводится в клиническую (т.е. не соответствует). Поэтому, на мой взгляд, лучше так не делать.
Интересно, чем "очень надежно" отличается от "очень значимо" 🤔

4) Точки в легенде для списка - чрезмерно (особенно где звезды), ИМХО.

5) Визуальную составляющую тоже предлагаю считать спорной. Мне кажется, что график должен отражать идею меры эффекта. Если это накопление доли/частота, то bar plot неплохой вариант. А вот для показателей разниц (особенно с неопределенностью)... Мб рассмотреть варианты point + range (простенько, но понятно), dumbbell (между группами) или другие...
Возможно тут ещё влияет то, что они никак не сортированы (мб смотрелось лучше бы).

Думаю, что тут много еще можно обсудить. Итог? Хороший пример, что без базовых знаний применение LLM бессмысленно.

Увидел я такой график. Опустим, что человек гордится тем, что LLM ему помогает их делать (и не только). Я хочу разобрать методологическую сторону (как я это вижу/пониманию).

1) Мне не очень понятно, зачем в заголовке указывать статистические показатели (ещё и явно другим шрифтом для латиницы). 🤷‍♂️

2) Вопросы, которые представлены на графике, словно подразумевают ответы "да"/"нет", а по цветовой гамме и легенде можно сделать вывод, что это сравнение между мужским и женским полом.

Наиболее вероятно, что по полам был подсчет относительной частоты утвердительных ответов на каждый вопрос с последующим расчетом разницы (мужской - женский). В медицинских исследованиях обычно это обозначается термином разница рисков (risk difference, RD) или абсолютный риск (absolute risk, AR). И это было бы окэй, но...

Здесь зачем-то используется мера эффекта d Коэна (Cohen's d)... Если кто не знает, то обычно она используется для стандартизации разницы средних (если очень упрощенно, подробнее тут). И вроде бы можно сказать, что частота и среднее - это мат ожидание, для бинарных данных они равны (сам же здесь показывал), но...
Зачем нужен этот перерасчёт? Ведь разница рисков итак уже в какой-то мере стандартизирована (она всегда находится на одной шкале, единицы измерения равны). Если сильно хочется, то можно посчитать относительный риск (risk ratio, RR), который лучше (если надо в единых величинах) отражает изменение эффекта (RR может быть равным 2 при RD = 30% или = 5%, зависит от исходной частоты).
А ещё интересный вопрос - как ведёт себя неопределенность?

Давайте проверим, сделаем симуляцию.
```R
library(tidyverse)

# Создаем симуляцию, где мужчины реже ответили "да", чем женщины
set.seed(42)
d_long <- tibble(male = rbinom(1000, 1, 0.4),
female = rbinom(1000, 1, 0.6)) |>
pivot_longer(male:female) |>
mutate(name = factor(name, levels = c("male", "female")),
value = as.numeric(value))

# Посмотрим частоту ответов
d_long |>
summarise(rate = sum(value),
prct = rate/1000,
.by = name)
#> A tibble: 2 × 3
#> name rate prct
#> <fct> <dbl> <dbl>
#> 1 male 377 0.377
#> 2 female 599 0.599

# В целом как и планировалось

# Выводим таблицу сопряженности
d_long |>
mutate(value = factor(value, levels = c(1,0))) |>
select(value, name) |>
table()
#> name
#> value male female
#> 1 377 599
#> 0 623 401

# Рассчитаем разницу рисков с ДИ
RD = 0.377 - 0.599
SE = sqrt((377 * 623)/(377 + 623)^3 + (599 * 401)/(599 + 401)^3)
paste0(RD, " (", round(RD - 1.96*SE, 3), "; ", round(RD + 1.96*SE, 3), ")")
#> [1] "-0.222 (-0.265; -0.179)"

# Проверим через пакет
table(d_long) |>
effectsize::arr()
#> ARR | 95% CI
#> -------------------
#> 0.22 | [0.18, 0.26]

# Все верно, только знака минус нет (потому что это Absolute risk reduction)

# Рассчитаем sd
d_long |>
summarise(rate = sum(value),
prct = rate/1000,
sd = sd(value),
.by = name)
#> A tibble: 2 × 4
#> name rate prct sd
#> <fct> <dbl> <dbl> <dbl>
#> 1 male 377 0.377 0.485
#> 2 female 599 0.599 0.490

# Получим d Коэна
sd_pool = sqrt(((1000 - 1) * 0.485^2 + (1000 - 1) * 0.490^2)/(2000-2))
round(RD/sd_pool, 3)
#> [1] -0.455

# Проверим через пакет
effectsize::cohens_d(value ~ name, data = d_long, pooled_sd = F)
#> Cohen's d | 95% CI
#> --------------------------
#> -0.46 | [-0.54, -0.37]
```

Упс... Какая-то квази/прокси/псевдо-оценка эффекта. Получается, что результаты стандартизации излишни. Они ничего не добавляют, а только усложняют интерпретацию (т.к. это теперь не разница частоты, а ее размер в SD). Сделал бы так человек, который базово что-то прочитал про статистику?