Текст книги "Путь джедая"

4.2. О том, насколько в реальности полезны научные исследования

Сейчас в интернете есть множество статей со словами «ученые доказали, что…» К сожалению, ученые редко что-либо доказывают. Особенно в социологии, психологии и прочих областях, где объектом исследования являются люди в различных сочетаниях, количествах и проявлениях. Если вы посмотрите на то, что пишут ученые в своих статьях (благодаря scholar.google.com у нас есть доступ к огромному массиву научных исследований из различных областей без необходимости визита в научную библиотеку), вы никогда не увидите что-то вроде: «Мы провели эксперимент и доказали, что кофе полезен» или «Мы долго работали и поняли, что спать нужно восемь часов». Если бы ученые исследовали влияние кофеина на организм человека, то, скорее всего, их вывод звучал бы примерно так: «Мы исследовали столько-то человек, давали им столько-то раз такое-то количество кофе, через столько-то времени мы измеряли такой-то параметр и по сравнению с контрольной группой заметили такое-то изменение этого параметра с таким-то значением доверительного интервала».

Или вот так: «Мы исследовали связь количества потребленного кофеина с ощущением бодрости после обеда, измеряя потребленный кофеин в литрах, а бодрость – при помощи опросов по шкале имени какого-то великого ученого, и увидели связь между этими параметрами – коэффициент корреляции Спирмена ноль целых сколько-то десятых при уровне значимости одна десятитысячная». И тут даже специалист не поймет, что это означает для отдельно взятого человека в обычной жизни. Ученые этим что-то доказали или все еще сомневаются? А если какая-то связь есть, что является причиной, а что следствием? Мало того, потом в этой же статье обязательно напишут: «Мы исследовали бодрость после обеда, но не уверены, что она влияет на бодрость перед ужином. В эксперименте мы использовали молотый кофе и не уверены в том, что аналогичные результаты могут быть получены на растворимом, – это направление нашей дальнейшей работы. А вообще мы благодарим кофейню за углом за поддержку наших исследований и еще сообщаем, что никакого конфликта интересов у нас нет».

Подавляющая часть научных работ в экспериментальной психологии и социологии – это исследование связей или корреляций. И очень часто не отягощенные интеллектом контент-мейкеры[30]30
  Люди, которые пишут статьи в интернете.


[Закрыть], прочитав только аннотацию статьи (а зачастую лишь название), подменяют корреляцию причинно-следственной связью и бегут писать очередную статью с громким заголовком[31]31
  Чтобы было куда навтыкать рекламных баннеров, так как люди почему-то не готовы просматривать страницы, где находятся только рекламные баннеры, но с удовольствием просматривают страницы, где эти баннеры перемешаны с откровенной фигней.


[Закрыть]. Очень хорошую иллюстрацию тонкостей выводов на основе данных корреляционного анализа я нашел в учебнике по матстатистике для психологов Андрея Наследова[32]32
  Андрей Наследов. Математические методы психологического исследования. Анализ и интерпретация данных. Санкт-Петербург: Речь, 2004.


[Закрыть]: исследователь решил сопоставить размер стопы ребенка со скоростью решения арифметических задач и, к своему удивлению, обнаружил очень сильную статистически значимую корреляцию. И пойди пойми, то ли при росте стопы улучшаются способности к математике, то ли наоборот – при накоплении знаний в области математики растет стопа. А может, это просто с возрастом у детей растут и стопы, и математические навыки.

То, что корреляция не говорит о наличии причинно-следственной связи, авторы научных статей знают (это могут забывать те, кто по мотивам аннотации пишут затем статью в популярный блог), но есть еще один момент, который не дает нам прямо воспользоваться результатами исследований, – эргодичность. Точнее, ее отсутствие. Этим словом называют свойство системы, при котором я могу использовать знание, полученное при наблюдении большого количества объектов в один момент времени, для определения результатов большого количества наблюдений, но уже одного объекта. Например, я могу подбросить 100 монеток один раз и результат будет таким же, как если бы я подбросил 100 раз одну монетку. А вот любимый пример Талеба – игра в русскую рулетку – свойством эргодичности не отличается. Если 1000 человек сыграют один раунд в русскую рулетку, то в среднем 870 из них выживут, но если один человек сыграет в эту игру 1000 раз…

Рис. 29. Эргодичность

Примерно то же происходит и с научными изысканиями. Ученые часто исследуют большие выборки людей непродолжительное время, но полученные таким образом результаты далеко не всегда можно транслировать на себя самого (один человек и продолжительное время). Другими словами, если я напою 100 человек кофе и измерю прирост их продуктивности, я получу, скорее всего, не такой результат, как если бы я сам пил кофе 100 дней и усреднял свой прирост производительности. Именно поэтому научные работы могут быть полезными для учителя (имеющего дело со множеством людей), но они не настолько полезны для ученика (желающего изучить и улучшить одного себя).

Из-за отсутствия эргодичности и из-за того, что мы очень сильно отличаемся друг от друга, бывает опасно обобщать свой успешный опыт многих месяцев жизни или опыт каких-то известных личностей на других людей (подробнее об этом еще будет в разделе 4.7). У Андрея Ломачинского есть довольно «чернушная» история, очень хорошо иллюстрирующая последствия неаккуратного переноса своего опыта на других людей. Называется «Метанол на опохмел»[33]33
  Андрей Ломачинский. Вынос мозга. М.: АСТ, 2018.


[Закрыть]. Но предупреждаю: книга в общем и этот рассказ в частности – не для впечатлительных!

Например, рассмотрим некоторое гипотетическое исследование некой гипотетической методики для повышения личной эффективности. Предположим, что кто-то провел исследования и утверждает, что эта методика дает прирост производительности «в среднем на 16 %». Тут стоит заметить, что «на данный момент не существует универсально принятого метода измерения производительности работников умственного труда или даже общего понимания его категорий» (это дословная цитата из исследования Нембарда и Рамиреса, где описаны два с лишним десятка различных подходов к измерению умственного труда с анализом ограниченной области применимости каждого из них[34]34
  David Nembhard, Yuri Ramírez. Measuring knowledge worker productivity: A taxonomy. Journal of Intellectual Capital; 2004; 5, 4; pp. 602–628.


[Закрыть]). Тем не менее на минуту предположим, что авторы этого исследования смогли операционализировать и сделать измеримым это понятие хотя бы в каком-то приближении, пригодном для их собственных целей. Главное не в этом, а в том, что, скорее всего, это среднее было получено путем усреднения по группе испытуемых и, соответственно, ничего не говорит о том, как менялась производительность отдельно взятых людей с течением времени. Еще один момент, который упускается в научно-популярных публикациях, – указание среднего без указания дисперсии. Мой любимый пример (наверняка редактор вырежет): «У среднего человека одно яйцо и одна сиська». Яркий пример, когда дисперсия результата сравнима со средним значением.

В нашем примере среднее повышение производительности на 16 % может быть достигнуто при условии, что в группе из 25 человек один повысил свою производительность в четыре раза, а у остальных не поменялось ровным счетом ничего. Или у пятерых испытуемых производительность повысилась на 240 %, а у остальных снизилась на 40 %. А может, у четверых эффективность повысилась на 625 %, а все остальные вообще умерли и теперь их производительность равна нулю. Это все так же будет означать повышение «в среднем на 16 %».

Результаты исследований (и то не все и не всегда) могут дать намек, куда копать и что попробовать в первую очередь. Но относиться к их итогам как к предсказанию своих результатов не стоит. Чтобы понять, какой результат вы получите в своих условиях, надо взять и попробовать.

Нассим Талеб в «Рискуя собственной шкурой»[35]35
  Нассим Талеб. Рискуя собственной шкурой. Скрытая асимметрия повседневной жизни. М.: КоЛибри, 2018.


[Закрыть] в главе, посвященной «интеллектуальным идиотам», более жестко высказывается о пользе научной работы: «Психологические исследования воспроизводятся с вероятностью менее 40 % (если Талеб имел в виду исследование Джона Боханнона, то 39 %[36]36
  John Bohannon. «Many psychology papers fail replication test.» Science 349.6251 (2015): 910–911.


[Закрыть]), клинические испытания повторяют результаты менее, чем в одном случае из трех, экономические модели проигрывают астрологии в точности предсказаний и вообще надежнее следовать знаниям, доставшиеся нам от наших бабушек».

В пику научным работам у Нассима Талеба есть еще одна статья[37]37
  Nassim Taleb. A short note on p-value hacking: http://links.mnogosdelal.ru/TalebPValue.


[Закрыть], где он показывает, что пресловутый уровень статистической значимости (вероятность того, что найденная в эксперименте связь оказалась случайностью) из-за фундаментальных математических причин завышен, как правило, на один-два порядка[38]38
  Осторожно! Тут уже настоящая наука, и без математической подготовки эту статью не осилить.


[Закрыть]. И если во многих работах по экспериментальной психологии уровень статистической значимости в 5 % считается вполне приемлемым, с учетом поправки Талеба истинная значимость может превышать 50 %, что вполне объясняет низкий уровень воспроизводимости экспериментов. К слову, из-за низкой воспроизводимости экспериментов, особенно в психологии, можно поставить под вопрос вообще всю парадигму экспериментальной науки, основанной на уровнях статистической значимости. Для тех, кому интересно, есть очень доходчивая (относительно, разумеется) статья из разряда «со звездочкой» о превосходстве Байесовской парадигмы над общепринятыми p-уровнями[39]39
  Правдоподобия, P-значения и кризис воспроизводимости: http://links.mnogosdelal.ru/Bayesian.


[Закрыть]. Если вы не готовы знакомиться с этой статьей (а при первом прочтении этой книги и не стоит), то я просто сообщу: в научном сообществе пока нет уверенности, что существующий подход к исследованиям защищен от одурачивания случайностью и ложных выводов. Точнее, не так… Ученые уверены, что текущие методы исследования дырявые и могут (при определенных условиях) знатно дурачить нас. Мы часто и очень сильно переоцениваем результаты, которые способна дать современная наука. Как минимум психология, социология и иже с ними.

Таким образом, если ваша первоочередная задача – повышение своей продуктивности и изменение своей жизни к лучшему, то поиск ответов в научных статьях – не самая плодотворная стратегия. С другой стороны, может возникнуть вопрос: почему тогда я привожу такое количество ссылок на научные работы? У меня другая задача: я хочу помочь многим, а не одному человеку. К тому же отсылка к научным работам используется не для того, чтобы доказать справедливость той или иной практики, а для того, чтобы показать, почему идея попробовать ту или иную практику или вакцину не лишена смысла, несмотря на то, что гарантий успеха нет.

4.3. О заземлении и структуре научного познания

Мне в свое время очень понравилась метафора Талеба про «контакт с землей». В начале книги «Рискуя собственной шкурой»[40]40
  Нассим Талеб. Рискуя собственной шкурой. Скрытая асимметрия повседневной жизни. М.: КоЛибри, 2018.


[Закрыть] он приводит миф об Антее и Геракле. Антей – полубог в греческой мифологии, черпавший силы от своей матери Геи – богини земли. Благодаря таким родственным связям на земле он был неуязвим. Геракл же, сражаясь с ним, оторвал его от земли, лишив тем самым источника силы, и задушил. Этот миф Талеб использует в качестве иллюстрации того, почему нам так важно сохранять контакт с землей. Метафора проходит через всю книгу. Контакт с землей, в оригинале – contact with the ground, можно трактовать как «связь с самой сутью [задачи или проблемы]». Это очень важно – не утрачивать связь с «землей», с основами.

Что это означает для нас?

Каждый раз, когда мы знакомимся с тем, что «доказали ученые» из научно-популярной литературы, мы рискуем утратить контакт с землей. Я ни в коем случае не хочу умалять значимости научно-популярной литературы, на мой взгляд, писать подобного рода произведения еще более сложно, чем научные труды, а результат может оказаться куда более значимым для человечества, чем исходный научный труд. Но есть риск оторваться от земли… В каком-то случае это не страшно, а где-то может привести к неоправданно раздутой истерике.

На картинке ниже схематично представлены несколько степеней отрыва от земли. Существует уровень объективно наблюдаемых явлений и процессов. Зачастую он нам недоступен, и мы можем заметить и осознать лишь какую-то его часть (уровень фильтров восприятия). Дальше на то, что мы заметили и осознали, наслаиваются дополнительные смыслы. Какие-то – обоснованно, какие-то – лишь благодаря устоявшимся стереотипам и заблуждениям. Уже на этом уровне мы можем «приукрасить» картину по разным причинам: где-то из-за нетерпимости к слепым пятнам и непонятному, где-то просто по привычке, где-то – желая хоть как-то использовать имеющееся у нас знание. Но кто-то может пойти и дальше, обобщая и упрощая все до безобразия…

Рис. 30. О заземлении

В качестве примера можно привести довольно громкую шумиху вокруг классической работы Роя Баумайстера об эффекте истощения эго[41]41
  Roy Baumeister, Ellen Bratslavsky, Mark Muraven, Dianne Tice. Ego depletion: Is the active self a limited resource? Journal of Personality and Social Psychology: 1998, 74, 1252–1265. doi: 0.1037/0022-3514.74.5.1252.


[Закрыть] под лозунгом: «Сила воли – бесконечный ресурс»[42]42
  The End of Ego-Depletion Theory? http://links.mnogosdelal.ru/EndOfEgoDepletion.


[Закрыть]. Суть истории такова: Баумайстер в 1998 году опубликовал статью, в которой экспериментально показал, что ресурс силы воли конечен и может истощиться в самый неподходящий момент. Эта работа произвела локальный фурор в научном мире, легла в основу многих статей и книг, в том числе научно-популярных, в частности, о продуктивности. Естественно, нашлось немало людей, решивших поставить результаты статьи под сомнение. Дошло до того, что несколько десятков лабораторий по всему миру решили воспроизвести эксперимент из оригинальной статьи, чтобы наконец расставить все птички над «й». К удивлению многих из них и к радости остальных, результаты Баумайстера воспроизвести не удалось: либо эффект не наблюдался вовсе, либо был очень незначительным. Противники теории Баумайстера восторжествовали и пошли штамповать статьи: «Ученые доказали, что сила воли – бесконечный ресурс» (наверняка многие из авторов подобных статей продолжали тупить в фотографии котиков и развлекательные видео даже с бесконечным ресурсом силы воли). Опустим момент, что отсутствие доказательства конечности силы воли еще не доказывает ее бесконечность. Думаю, это многим понятно… Давайте спустимся с небес на землю и посмотрим, какие физические процессы лежат под этими громкими заявлениями на уровне земли.

В исходной работе[43]43
  Roy Baumeister, Ellen Bratslavsky, Mark Muraven, Dianne Tice. Ego depletion: Is the active self a limited resource? Journal of Personality and Social Psychology: 1998, 74, 1252–1265. doi: 0.1037/0022-3514.74.5.1252.


[Закрыть] описано два эксперимента, но я приведу здесь только один, этого будет достаточно, чтобы понять суть. Команда Баумайстера попросила группу испытуемых (67 студентов) прийти голодными якобы на эксперимент по тестированию вкусовых качеств разной еды. В лаборатории голодных студентов ждал запах шоколадных печенек (они пеклись в духовке в соседней комнате), чтобы еще больше разжечь их аппетит. Испытуемых поделили на три группы. Контрольной еды не дали, а перед двумя другими поставили по две тарелки: одна с редиской, вторая со свежеиспеченными печеньками, и попросили одну группу съесть печенье, а вторую – редиску. Предполагалось, что голодные люди, нанюхавшиеся выпечки, будут вынуждены задействовать силу воли (тем самым истощить ее), чтобы удержаться от сладкого и съесть редиску. А затем всем трем группам давали головоломки, не имеющие решения, и экспериментаторы отмечали, через какое время студенты зазвонят в колокольчик, чтобы оповестить о своей капитуляции. Баумайстер утверждает, что наблюдались статистически значимые различия среднего времени работы над задачей: те, кто ел редиску, сдавались раньше.

Теперь вернемся на шаг назад. Что скрывается под громкими заголовками статей «Ресурс силы воли бесконечен»? На уровне земли происходило следующее: тысячи голодных студентов в десятках лабораторий по всему миру ели редиску или шоколадное печенье и звонили в колокольчики. Оказалось, что студенты звонили в колокольчик примерно через одинаковое время вне зависимости от того, ели они редиску или печеньки. Точка.

Достаточно ли этого для таких громких выводов? Кто знает. Является ли ресурс силы воли конечным или бесконечным? Непонятно. Да и зачем нам это знать? Если спуститься на землю, нам нужно знать примерно следующее: сложнее ли мне думать после того, как я посидел на встрече полтора часа? Сложнее ли мне сконцентрироваться, если я пропустил обед или мало спал? Буду ли я легче отвлекаться на незначимые вещи, если на моем смартфоне установлены приложения для мгновенных сообщений?

Важный момент: все вопросы касаются меня! Не студентов после редиски или печенек, а именно меня в реальной повседневной жизни. Это важно. И это знание можно получить методами, отличными от чтения научных статей.

Часто оказывается полезным навыком задумываться о том, какое конкретное явление скрывается за той или иной фразой. Что происходит здесь, на уровне земли, когда я говорю, например, что «мне не хватило времени»? Мне не хватило бензина: это когда я ехал на автомобиле в сторону заправки, и тут двигатель заглох, а датчик уровня топлива показал ноль. Мне не хватило терпения: это когда я стоял в очереди в магазине, мне надоело, я бросил свою тележку и пошел домой без молока. Как выглядит «мне не хватило времени»? Мы так часто употребляем это словосочетание, что уже не вполне понимаем, какие явления оно описывает. А может быть по-разному.

1. Я делал задачу X; когда закончил, пора было ложиться спать, чтобы завтра с утра вставать и приступать к задаче Y, поэтому я так и не смог приступить к задаче Z. Ведь задачи X и Y нужно обязательно сделать до того, как я приступлю к Z. В ином порядке эти задачи делать нельзя, потому что…

2. Я делал задачу X, после которой планировал приступить к задаче Z, но тут прилетела задача X2, за ней X3, за ней X4… я старательно выполнял их одну за другой, так как каждая из них была важнее Z и обязательно должна была быть выполнена раньше, но потом наступил вечер, и я пошел спать, так как мне требовался отдых.

3. Я пришел делать задачу Z и только взялся за нее, как отвлекся на X. Вовремя себя одернул и вернулся к Z. Но буквально через несколько минут меня переключили на задачу Y. Я приступил к ней, но понял, что Z все же важнее, вернулся к ней, но тут прилетела задача Y2…

Любую из этих ситуаций можно назвать «не хватило времени», но методы работы и подходы в каждой из ситуаций будут различны.

Схожее упражнение может оказаться полезным для словосочетания «найти время». Несложно представить, как ищут ключи от квартиры (ругаясь, поочередно запускают руку в каждый карман каждой куртки, висящей на вешалке), как ищут второй носок (открывают все ящики комода сверху вниз, а потом спрашивают у супруги или родителей), как ищут работу (пишут резюме, идут на сайт hh.ru, рассылают резюме знакомым), даже жену (опять резюме, сайт, знакомые), но кто и как ищет время?

Размышляя, какие реальные действия скрываются за теми или иными словами, нелишним будет заметить, что во многих корпоративных культурах фраза «мне надо подумать» зачастую вовсе не означает, что человеку понравилось ваше предложение и он планирует провести определенного рода когнитивную работу для поиска ответов на ряд конкретных вопросов. В большинстве случаев это лишь социально приемлемая форма ответа «Иди в ж*пу, не до тебя сейчас».

4.4. Люди очень разные

Начну этот раздел с описания одной из интересных дискуссий с моего тренинга. Две участницы группы сошлись не на жизнь, а на смерть, споря о том, нужно ли использовать стикеры различных цветов для личных и рабочих задач. Естественно, каждая жестко и аргументированно отстаивала свою позицию:

– Нет, ты не понимаешь! Мне очень важно соблюдать баланс между работой и личной жизнью! Потому я личные задачи пишу на зеленых стикерах, а рабочие – на желтых. И если я вижу, что зеленых задач сделано мало, то начинаю отдавать предпочтение им. Именно поэтому мне важно, чтобы задачи можно было различить при беглом взгляде на стикеры.

– Нет, это ты не понимаешь! Мне очень важно соблюдать баланс между работой и личной жизнью! И когда я вижу, что личные задачи зеленые, я их в рабочее время как будто не замечаю, моя обезьянка их откладывает на «после работы», а тогда я уже очень устаю[44]44
  По моим наблюдениям, у многих трудоголиков «после работы» – это не после определенного момента времени, а после достижения состояния «Все, я больше не могу ничего делать, ни рабочего, ни личного».


[Закрыть] и ничего не могу делать. Именно поэтому мне важно, чтобы эти задачи не отличались друг от друга, тогда я их начинаю понемногу делать.

Вот так из-за разницы в восприятии мира разным людям могут потребоваться разные подходы (вплоть до диаметрально противоположных) для достижения одного и того же результата.

Позволю себе повторить мысль из предыдущего раздела: выводы по результатам экспериментов носят вероятностный характер. Другими словами, научная работа говорит, с какой вероятностью и в какой степени те или иные результаты наблюдались в ходе эксперимента. Конечно, в статье фигурируют средние значения, и очень часто тем, кто пишет пост в блог, кроме этого среднего значения, больше ничего не интересно, в результате появляются такие высказывания: «человек (средний) удерживает внимание в течение восьми секунд», «человек (в среднем) должен спать восемь часов», «человеку (среднему) требуется в день 2000 килокалорий» и т. д. Это все средние значения, для средних людей (тех, у кого одно яйцо и одна сиська, как вы помните), а реальные люди от них в той или иной степени отличаются. И научная работа – это далеко не всегда норма, которой вы обязаны соответствовать. Нет. Предположим, вы решили отпустить бороду, а вашей супруге это не очень нравится. Неважно, по какой причине, важно, что аргумент «А вот восемь из десяти твоих подруг сказали, что так я выгляжу привлекательнее» вряд ли сделает свое дело. Если вы девушка и пример с бородой для вас неактуален, представьте, что вы приводите аналогичные доводы своему мужчине в пользу операции по увеличению груди.

Даже если вы вполне себе обычный человек, с большой вероятностью найдется немало исследований, по результатам которых вы значительно отклоняетесь от нормы.