Что это за цифры? 4 способа проверить статистические данные в СМИ

Популяризатор науки Том Чиверс дает советы, как не попасться на удочку громких заголовков.

Функционирующее демократическое государство невозможно без грамотного населения. Этот факт признан, по крайней мере, с середины викторианской эпохи. Закон о реформе 1867 года расширил право голоса многих мужчин из рабочего класса, не все из которых были грамотными, и элита была обеспокоена тем, что это затруднит управление страной. «Я считаю, что абсолютно необходимо заставить наших будущих господ выучить буквы», — сказал тогда один политик. Эти опасения частично повлияли на законы об образовании 1870 и 1880 годов, сделавшие начальное обучение обязательным для всех. Словом, избирателям нужно было уметь читать газеты.

Однако в наши дни функционирующее демократическое государство невозможно без населения, умеющего считать. Нам нужно понимать не только написанные слова, но и числа.

Это особенно актуально в последние 12 месяцев — внезапно всем нам пришлось разбираться, чем показатели смертности от инфекций отличаются от общих показателей смертности, или что такое экспоненциальная кривая, и почему важно значение R. Но так должно быть всегда. Если политики говорят, что уровень преступности или бедности повысился или снизился, или что Национальной службе здравоохранения увеличили бюджет, как мы можем им доверять, если не умеем читать числа?

Есть тут и дополнительная проблема. Журналисты тоже не всегда хорошо разбираются в статистике. Многие числа доходят до читателя сильно искаженными.

В нашей новой книге «Как читать числа: руководство по статистике в новостях (и как понять, когда им можно доверять)» мы с моим двоюродным братом Дэвидом объясняем читателям, как лучше понимать цифры в СМИ.

В чем причина?

Вызывает ли освежающий бокал Fanta Orange желание ударить кого-нибудь по лицу? Согласно газетным сообщениям, возможно. «Газированные напитки делают подростков агрессивными», гласили заголовки в 2011 году.

Обратите внимание на причинно-следственную лексику: напитки делают подростков более агрессивными. Но на самом деле в исследовании, на которое опирались эти публикации, такого не говорилось. Там было сказано, что подростки, которые пили газированные напитки, более склонны к насилию. Корреляция есть, но это не значит, что присутствует причинно-следственная связь.

Например: если много людей съест мороженое в один и тот же день, то вероятность того, что кто-то из них утонет, возрастает. Но это не значит, что мороженое приводит к утоплению. Просто в жаркие дни все больше людей едят мороженое, все больше людей плавают, и некоторые из них тонут.

Если два числа увеличиваются и уменьшаются вместе — например, количество выпитых газированных напитков и количество людей, получивших ножевые ранения, — может быть, что A вызывает B, B вызывает A или какой-то третий фактор C вызывает и то, и другое. Очень сложно определить, что есть что, если только вы не проводите рандомизированное контролируемое исследование — а в упомянутой работе этого не было (как и в большинстве других исследований образа жизни людей). Поэтому, если вы видите причинно-следственную лексику — «газированные напитки вызывают насилие», «вейпинг заставляет детей принимать наркотики» — знайте, что часто она неоправданна.

На 50% больше, чем что?

Вот оно, страшное число для потенциальных родителей. Согласно заголовкам, опубликованным несколько лет назад, дети, рожденные от отцов старше 45 лет, на 18% чаще страдают судорожными приступами, чем дети, рожденные от родителей моложе 35 лет.

Звучит устрашающе, но что это значит?

Ничего не понятно, если вы все равно не знаете, сколько детей страдают такими припадками. Если вам предоставляется только такой «относительный риск» — насколько увеличилась опасность по сравнению с тем, что было раньше — и не дают абсолютных значений, вы не понимаете, насколько это важно. В данном случае исследование показало, что такими приступами страдают около 0,024% детей, рожденных от более молодых отцов, и 0,028% — рожденных от родителей постарше. В абсолютном выражении это означает 28 младенцев вместо 24 на 100 тысяч детей: то есть абсолютный риск возрастает примерно на 4 ребенка из 100 тысяч.

Такое встречается довольно часто: например, употребление бекона «повышает риск рака на 20%». Но если вам также не сообщили об абсолютном риске — на 20% больше, чем какой? — эти данные почти бесполезны.

Что мы на самом деле измеряем?

За последние полвека количество случаев диагностированного аутизма увеличилось почти в 100 раз. В 1960-х и 1970-х годах аутизмом страдал 1 человек из 5000, сейчас же риск оценивается как 1 к 54.

Что случилось? Проблема в плохом воспитании? В пестицидах? Или Билл Гейтс вставляет микрочипы в вакцины?

Нет, просто изменилось то, что мы называем «аутизмом». Диагностические критерии аутизма пересматривались несколько раз, и до 1980 года его вообще не признавали отдельным заболеванием. Затем критерии были расширены в 1987, 1994 и 2000 годах, а затем снова в 2013 году. Теперь к аутизму относят детей с поздно поставленным диагнозом, с менее выраженными симптомами. А могло бы быть так, что в наборе черт, которые мы теперь называем «аутизмом», не произошло никаких изменений.

Когда вы видите заголовки вроде «Число преступлений на почве ненависти удвоилось за пять лет», стоит задуматься, почему так произошло. Как выясняется, люди стали охотнее сообщать о преступлениях на почве ненависти, а полиция — чаще их фиксировать. Исследования преступности показывают, что в последние годы количество преступлений на почве ненависти снизилось, а не увеличилось. Всегда стоит задаться вопросом, изменилось ли то, что мы измеряем.

Насколько хорошо исследование?

В большинстве случаев несправедливо обвинять журналистов в неверных цифрах в новостях. Они получают их из опросов и исследовательских работ, но не все исследования одинаковы.

Например, в прошлом году было проведено исследование действия гидроксихлорохина в качестве лекарства от Covid-19: по его результатам, лекарство имело эффект. Но другое испытание не обнаружило такого воздействия. Как же читателям и журналистам понять, какому из них доверять?

Это сложный вопрос. В данном случае есть простой ответ: первое исследование было простым наблюдением, в котором участвовали 42 пациента; второе — полное рандомизированное контролируемое исследование с участием 11 тысяч пациентов. Но часто бывает трудно разобраться. Тем не менее, есть несколько практических правил:

• при прочих равных маленькие испытания обычно хуже крупных;
• если исследование дает неожиданные результаты, которые не стыкуются с результатами других исследований, оно может быть неточным;
• исследования, которые предварительно зарегистрированы, обычно больше заслуживают доверия, чем те, которые не прошли регистрацию.

Источник. Перевод – Идеономика.