О письмах климатологов

[bravchick]

У одного знакомого в лаборатории шеф провел заседание в связи со скандалом с письмами (лаборатория к климату никакого отношение не имеет). Основная тема: "следите за базаром в е-майлах". С примерами того, чего не надо писать, из реальных писем своих сотрудников. Причем он имел ввиду не то, что надо жульничать, но не писать про это в е-майлах, а то, что многое в их деятельности, будучи вырванным из контекста, выглядит не лучше, чем пресловутые письма климатологов. Например, не надо писать "let's play with these data", или "is there any data analysis trick?", или "нам надо срочно что-то сделать, чтобы убедить всех, что этот довод наших опонентов неверен".

PS. Хотя, честно говоря, из того, что я слышу про эту и подобные лаборатории, не будучи вырваными из контекста, их методы обработки данных тоже не из самых честных. Но не настолько, как может показаться по письмам, и, вроде бы, полностью соответствуют стандартам области.

Comments

[potap.livejournal.com]

Глобал ворминг - это мы знаем, когда везде тепло, а у нас реально холодно. Но у нас лес рядом.

[bravchick.livejournal.com]

Не, это когда становится теплее. Но это весной. А сейчас зима начинается.

[spectat.livejournal.com]

Небессмысленное предупреждение. Вообще внутреннее общение в любой профессиональной группе может показаться внешнему наблюдателю несколько циничным (сам пережил это подростком, слушая во время хирургической операции разговор медиков).

Относительно обработки данных -- в любом нетривиальном эксперименте/измерении помимо статистической погрешности бывает и т.н. "систематическая". Точно определить ее невозможно. Обработка также может вносить дополнительные отклонения.

[bravchick.livejournal.com]

под не совсем честными методами я имел ввиду, когда, например, набирают данные до тех пор, пока эффект не станет статистическим значимым. То есть, статистика проводится так, как-будто с самого начал решили провести 180 опытов, а на самом деле, проводили статистическую обработку и после 120, и после 130, но статистически значимый результат получился только после 180. Или, когда проверяют сразы пяток гипотез на одних и тех же данных. Та, которая получила р=0.05, публикуется.

[spectat.livejournal.com]

извините, но приведенные примеры, на мой взгляд, очень даже честные :)

[bravchick.livejournal.com]

Не совсем понял, как надо толковать смайлик в конце. Как частицу "не" перед "честные"?

нет, это извиняющаяся улыбка, за то, что не согласен :)

[spectat.livejournal.com]

1. "...после 180..." -- больше статистики лучше, нет?
2. "...р=0.05, публикуется" -- в феноменологии это один из самых распространенных способов отбора моделей. не вижу причин, по которым от него надо отказываться

Re: нет, это извиняющаяся улыбка, за то, что не согласен :

[bravchick.livejournal.com]

1. Нет. Если я сразу решаю иметь 180 человек, то это лучше, чем 150. А, если я буду проверять гипотезы через каждый десяток, то с вероятностью того, что получится p=0.05 для одного из значений резко возрастает.

2. Честная сттистика получается, когда сначала выпирают нулевую гипотезу, а потом проводят обработку данных. p=0.05 означает, грубо говоря, что вероятность того, что гипотеза подтвердилась случайно не больше 5%. То есть, опять же грубо говоря, из 20 подтвержденных таким образом гипотез, только одна неверна. Если я сразу проверяю десяток гипотез, то почти половина подтвержденных окажется неверной. Вобще если сначала обработать данные, а потом придумывать гипотезу, то, при должной сноровке, всегда можно что-то придумать. Но статистичискую достоверность полученной гипотезы можно будет проверять только на новых данных, собранных уже после того, как гипотеза была предложена.

[veryredcloud.livejournal.com]

А насколько реально корректны исследования, говорящие о глобальном изменении климата?

[bravchick.livejournal.com]

Этот вопрос настолько политизирован, что, не будучи специалистом, на него, видимо, ответить невозможно. Не уверен, что, даже будучи специалистом, можно что-то понять.

[veryredcloud.livejournal.com]

Просто у меня, как неспециалиста, возникает, собственно, один вопрос - достаточно ли данных наблюдений за климатом, чтобы делать корректные статистические обобщения. Это не говоря уже о том, что когда говорят о глобальном потепелении, почему-то забывают, что глобальные потепления / похолодания случаются относительно регулярно.

[bravchick.livejournal.com]

Ответ: не знаю. Несколько лет назад я честно потратил часов 40 на то, чтобы понять, что говорят специалисты. Не понял. У меня сложилось такое, возможно ошибочное ощущение: То, что сейчас происходит глобальное потепление не является строго доказанным фактом, но является весьма вероятной гипотезой, у которой есть довольно много подтверждений. Подавляющее большинство специалистов в нее верят. То, что это потепление вызвано деятельностью человека, является правомерной гипотезой, но никаких прямых поддтверждений у нее нет. Есть очень невнятные косвенные рассуждения, типа того, что происходящее потепление трудно объщснить естественными причинами. Тем не менее, судя по всему, большинство, но не подавляющее большинство, специалистов в эту гипотезу тоже верит.