«Учёные доказали»: как читать научные новости

Как появляется научный результат

Учёные ставят опыт или собирают данные и пишут статью. Перед публикацией в серьёзном журнале статью читают другие специалисты, рецензенты. Они ищут ошибки, задают неудобные вопросы и могут отклонить работу. Это называют рецензированием. Оно не гарантирует истину, но отсеивает много брака.

Есть и препринты: статьи, которые выложили в интернет до проверки, чтобы быстрее поделиться результатом. Они полезны учёным, но журналисты иногда пересказывают их как готовое открытие.

Одно исследование почти никогда ничего окончательно не доказывает. Результат должны повторить другие группы в других лабораториях. Самые надёжные выводы дают метаанализы: обзоры, где собраны и сравнены десятки исследований по одному вопросу.

Связь ещё не причина

Летом люди едят больше мороженого. Летом же больше людей тонет. Если построить график, две линии растут вместе. Значит ли это, что мороженое опасно для пловцов? Конечно, нет: оба явления вызывает жара. Люди чаще купаются и чаще покупают мороженое.

Когда две величины меняются вместе, говорят о корреляции. Но причиной может быть третий фактор, случайность или обратная зависимость. Классический пример: исследования находили, что дети, у которых дома больше книг, лучше учатся. Но книги сами по себе не повышают оценки, просто в таких семьях обычно больше разговаривают с детьми и интересуются их учёбой.

Чтобы доказать причину, нужен эксперимент: людей случайно делят на две группы, одной дают «лечение», другой пустышку, и никто не знает, кто в какой группе. Такие испытания дорогие и долгие, поэтому в новостях чаще встречаются наблюдения, где можно найти только связь.

Мышь не человек

Огромная часть новостей о «лекарстве от рака» или «таблетке молодости» на деле описывает опыты на клетках в пробирке или на мышах. Это важный этап, но до лекарства для людей доходит лишь малая доля того, что работает на мышах. Клетки в чашке тем более ведут себя не так, как в живом организме: убить раковую клетку в пробирке может и обычная хлорка.

Хорошее правило: если в новости не сказано, на ком проводили опыт, найдите исходную статью. Часто в первом же абзаце окажутся мыши.

Сколько было участников

Если подбросить монету десять раз, вполне может выпасть семь орлов. Это не значит, что монета нечестная. А вот семьсот орлов из тысячи уже серьёзный повод для подозрений. С исследованиями так же: на маленькой группе случайности легко выдать за закономерность.

В 2015 году журналист Джон Бохэннон решил показать, как это работает. Он провёл настоящее, но нарочно плохое исследование: шестнадцать человек, несколько недель, а измеряли больше десятка показателей сразу, от веса до сна и холестерина. Если мерить так много всего на такой маленькой группе, хоть один показатель случайно окажется «значимым». Повезло весу. Статью «Шоколад ускоряет похудение» опубликовал журнал без нормальной проверки, а дальше новость разлетелась по газетам и телевидению в разных странах. Потом Бохэннон признался в розыгрыше.

Где рождаются преувеличения

Британские исследователи в 2014 году сравнили пресс-релизы университетов о медицинских исследованиях с самими статьями. Примерно в трети пресс-релизов выводы были преувеличены: связь подавалась как причина, результаты на животных как результаты для людей. И если преувеличение было в пресс-релизе, оно почти всегда попадало и в новости.

Цепочка выглядит так: учёный пишет осторожно «наблюдается связь в группе из 200 мышей», пресс-служба пишет «может помочь при болезни», журналист пишет «учёные нашли лекарство», а заголовок в ленте кричит «Болезнь побеждена!». Каждый шаг добавляет немного уверенности, которой в исследовании не было.

Семь вопросов к сенсации

• Есть ли ссылка на исследование, и в каком оно журнале?
• Это опыт на людях, животных или клетках?
• Сколько было участников?
• Это эксперимент или только наблюдение связи?
• Повторили ли результат другие учёные?
• Кто платил за исследование и выгоден ли кому-то такой вывод?
• Что пишут другие специалисты, а не только авторы?

Тот же подход годится и для видео в соцсетях, и для ответов нейросетей, которые тоже могут уверенно ошибаться. Об этом в статье о том, почему нейросеть уверенно врёт.

Где это пригодится в учёбе

Умение отличать связь от причины проверяют в заданиях на анализ графиков и таблиц в ОГЭ и ЕГЭ по биологии, обществознанию и географии, а работа с источниками нужна для индивидуального проекта. Хорошее упражнение: взять одну научную новость в неделю и пройтись по чек-листу. Через месяц сенсации начнут бросаться в глаза сами.

Частые вопросы