Доморощенные эксперты

Публичная лекция

Читает кандидат химических наук Александр ЛЕОНТЬЕВ

 

 

Грош цена

 

В следующий раз, увидев на ТВ очередного эксперта, предрекающего неминуемый крах доллара США или скорый развал России, вспомните, что аккуратность подобных прогнозов не выше, чем если бы их делали вы или случайный человек с улицы. По крайней мере, к такому выводу пришел в своей книге «Экспертные суждения: Насколько им можно верить?» (2005) Филип Тетлок, профессор психологии из Университета Пенсильвании (США).

С конца 1980-х годов, на протяжении почти двух десятков лет он собирал мнения 284 профессиональных аналитиков (правительственных, корпоративных, независимых) по самым различным политико-экономическим вопросам («Будет ли смещен Горбачев в результате военного переворота?», «Отделится ли Квебек от Канады?» и т.д.). К 2003 году в «коллекции» ученого набралось свыше 28 тысяч подобных «предсказаний», статистическая обработка которых выявила нелестную для экспертного сообщества картину.

Люди, зарабатывающие на жизнь анализом и изучением информации в части предвидения ближайшего будущего (5 и менее лет), оказались ничуть не лучше обычных граждан и существенно хуже специализированных компьютерных программ. Более того, чаще остальных ошибались именно известные эксперты, постоянно мелькающие на газетных страницах и телевизионных каналах.

 

Найти выход

 

Полученные данные, меж тем, лишь подтверждают уже известное. Существуют сотни других исследований, свидетельствующих о фактически случайном характере «успешности» прогнозов экспертов. Одной из причин тому, помимо очевидных трудностей прогнозирования будущего, являются многочисленные «ловушки сознания», в кои специалисты попадают столь же легко, что и простые люди.

Известные как когнитивные искажения, ошибки восприятия ведут к ложным умозаключениям, нелогичным решениям или иррациональному ходу мысли, чтобы обернуться в итоге неверными прогнозами. Последнее, впрочем, по мнению Тетлока, ничуть не смущает самих экспертов, готовых громоздить одно оправдание на другое, но не признавать ошибочность сделанных однажды предсказаний.

Вместе с тем, если ненадежность долгосрочных политических прогнозов объяснима, в том, что касается «близлежащего» будущего, хотелось бы видеть в большей точности. И, в принципе, должны существовать способы добиться этого. Например, научив аналитиков избегать вышеупомянутых ментальных ловушек или прибегнув к неким изощренным схемам компьютерного анализа.

В этом смысле интересный проект был запущен три года назад американским правительственным агентством передовых исследований в области разведки. Первоначально в нем участвовало пять университетских команд, которые на практике смогли проверить свои идеи о способах увеличения точности политических и экономических прогнозов. В течение первых двух лет свыше 5 тыс. участников сделали в общей сложности около 1 млн. предсказаний по 200 с лишним темам - от «выйдет ли Греция из еврозоны?» до «когда закончится гражданская война в Сирии?».

По итогам этого этапа победитель проходил в финал и получал двухгодичное финансирование на продолжение исследований. Случайно или нет, но самые точные прогнозы вышли из недр команды под руководством уже известного нам профессора Филипа Тетлока, проект «Здравое суждение» (Good Judgment Project). Осень-весна 2014-2015 годов будут для проекта последними, однако с промежуточными результатами исследования можно ознакомиться уже сегодня.

 

Знания многих

 

Фундаментом, краеугольным камнем «Здравого суждения» служит концепция «мудрости толпы», предложенная в 1906 году британским ученым Фрэнсисом Гальтоном (1822-1911). В тот год он посетил сельскохозяйственную выставку в Плимуте, где всем пришедшим (порядка 800 человек) предложили поучаствовать в конкурсе, определив на глаз вес туши быка.

По окончании шоу Гальтон, получив доступ к карточкам посетителей, рассчитал на их основе среднестатистический (медианный) вес быка (548 кг). К удивлению естествоиспытателя, предложенное «толпой» усредненное значение отличалось от истинного (544 кг) менее чем на 1% (4 кг), в то время как разброс фермерских предположений составлял до 60 кг в обе стороны.

Другими словами, в предсказании веса быка группа людей оказалась успешнее подавляющего большинства экспертов-одиночек. В свою очередь, современный вариант «мудрости толпы» - подсказка «помощь зала» в телевизионной игре «Кто хочет стать миллионером?». Как правило, в 95% случаев коллективный «разум» массовки снабжает участника викторины правильным ответом.

Между тем понятно, что применить напрямую данный метод для политического прогнозирования вряд ли возможно. Что именно необходимо сделать, дабы «мудрость толпы» заработала в мире политики и экономики, и попытался выяснить Филип Тетлок с коллегами в рамках проекта «Здравое суждение».

 

Бриллианты в грязи

 

В первой фазе (2011-2013 гг.) исследования участвовало порядка 2000 человек, набранных через интернет как среди граждан США (76%), так и иностранцев (24%). Все они были распределены случайным образом на группы с целью «обкатать» различные исходные условия и модели (работа в команде/поодиночке, предварительный специальный тренинг/работа с «нуля» и т.д.). В год всем участникам эксперимента предлагалось предсказать исход 60-90 геополитических событий в диапазоне «будущего» от 2 до 418 дней. Например, «потеряет ли Сильвио Берлускони кресло премьер-министра Италии до 1 января 2012 года?».

«Предсказатели», вплоть до определенного срока, могли менять точку зрения, руководствуясь ли свежеполученной информацией, полагаясь ли на массмедиа, мнение коллег, свою интуицию и т.д. Однако каждый раз требовалось ответить не просто «да-нет», но дать вероятностную оценку развитию ситуации (0% - 100%).

При помощи же статистического анализа ученые смогли затем количественно оценить «предсказательную силу» каждого из волонтеров и проверить на практике, насколько действенны те или иные приемы и модели прогнозирования. Таким образом, в первый же год среди участников были выявлены настоящие «самородки», такие, например, как работающая аптекарем, далекая от международной политики 60-летняя Элайн Рич.

Ее прогнозы регулярно оказывались на 30% точнее аналитических сводок, составляемых специалистами ЦРУ, несмотря на все их суперкомпьютеры и доступ к секретной информации. На второй год 60 таких же, как Элайн, «сверхпрогнозистов» (верхних 2% от 2000+ человек) были объединены в 5 команд по 12 человек каждая, дабы проверить, в том числе, не был ли их успех случайностью.

Результаты? Весьма впечатляющие. В целом прогнозы от «Здравого суждения», полагающегося на «мудрость толпы», были примерно на 20-35% точнее, чем у 4 конкурирущих университетских команд. В свою очередь, собранные вместе «сверхпрогнозисты» стабильно оказывались на 60-65% лучше своих соратников по проекту.

 

Сила внутри

 

По мнению профессора Тетлока, несмотря на незавершенность проекта, некоторые выводы о возможности точного краткосрочного политэкономического прогнозирования можно сделать уже сегодня. Во-первых, очевидно, что достаточно большая группа обычных людей с их «разношерстным» набором мнений и знаний о предмете, в целом, лучше «предсказывает» будущее, нежели эксперты-одиночки.

Во-вторых, существует ряд психологических приемов и методов, использование которых позволяет существенно повысить точность прогнозов. В числе наиболее важных Тетлок назвал три – тренинг (обучение), командная работа и обратная связь.

Последнее подразумевает, что все участники проекта регулярно получают отчеты, насколько «хороши» их прогнозы, и стремятся, таким образом, быть еще лучше. В свою очередь, коллектив в качестве «предсказательной» единицы становится особенно эффективным, если его члены знают (обучены), как правильно относиться к критике в свой адрес и как делать это корректно в отношении других.

Не менее важным оказался и тренинг, посвященный основам статистического анализа и наиболее распространенным видам когнитивных искажений («ловушек сознания»).

Согласно полученным результатам, участники проекта, прослушавшие всего один подобный одночасовой модуль, были куда точнее в своих прогнозах, нежели их «нетренированные» собратья. Касательно «суперпрогнозистов», ученые все еще пытаются выяснить, что делает их предсказания столь аккуратными.

С одной стороны, несмотря на разный возраст, уровень образования, жизненный опыт, пол и прочее, все эти люди показывают довольно высокие результаты в тестах на общий интеллект.

С другой - их также объединяют широта взглядов, гибкость и открытость мышления. Другими словами, они способны непредвзято рассматривать проблему с разных сторон и быстро, сколь угодно часто менять свое мнение, если того требуют вновь открывшиеся обстоятельства.

В свою очередь, как отмечают исследователи, «мудрость толпы» вряд ли станет универсальным «оружием» в мире политического прогнозирования. Работоспособность данной модели для среднесрочного временного диапазона (2-5 лет) еще предстоит выяснить, в то время как во многих случаях другие подходы (компьютерный статистический анализ, моделирование сценариев и т.д.) почти гарантированно дадут лучший результат.