Систематические ошибки в рассуждениях, потенциально влияющие на оценку глобальных рисков

При всех прочих равных, не много людей предпочли бы уничтожить мир. Даже безликие корпорации, лезущие не в свои дела правительства, безрассудные учёные и прочие агенты погибели нуждаются в мире, чтобы достигать в нём своих целей наживы, порядка, владения, или других мерзостей. Если наше истребление будет происходить достаточно медленно для того, чтобы успело произойти ужасное осознание этого процесса, деятели, запустившие его, будут, вероятно, ошеломлены пониманием того, что они, в действительности, уничтожили мир. Поэтому я предполагаю, что, если земля будет всё-таки уничтожена, то произойдёт это, вероятно, по ошибке.

Систематическое экспериментальное исследование повторения ошибок в человеческих рассуждениях, и того, что эти ошибки говорят о предшествующих им ментальных процессах, известно, как программа исследований моделей рассуждений и погрешностей в когнитивной психологии.

Эта программа сделала открытия, очень существенные для экспертов по рискам глобальных катастроф. Допустим, вы беспокоитесь о рисках некой субстанции Р, взрывчатого вещества, способного разрушить всю планету, которое взорвётся, если подвергнется достаточно сильному радиосигналу.

  К счастью, имеется знаменитый эксперт, который открыл субстанцию Р, потратил 30 лет, работая с ней, и знает её лучше, чем любой другой на земле. Вы звоните эксперту и спрашиваете, как силён должен быть радиосигнал, чтобы взорвать вещество. Эксперт отвечает, что критический порог находится, вероятно, на уровне 4.000 тераватт. «Вероятно?» - спрашиваете вы. «Можете ли вы мне дать интервал 98 процентной уверенности?» - «Конечно, - отвечает эксперт. – Я на 99 процентов уверен, что критический порог больше 500 тераватт, и на 99 процентов уверен, что он меньше 80.000 тераватт». «А как насчёт 10 тераватт?» – спрашиваете вы. «Невозможно» - отвечает эксперт.

Приведённая выше методология опроса эксперта выглядит совершенно резонной, такой, какой её любой компетентный работник должен делать, когда сталкивается с подобной проблемой. И в действительности, эта методология была использована в исследовании безопасности реакторов (Rasmussen 1975), ныне считающемся в качестве первой большой попытки вероятностной оценки рисков.

Но исследователь моделей рассуждений и погрешностей может распознать по крайней мере два больших недостатка в этом методе, - не логических слабых места, а обстоятельства, чрезвычайно уязвимых к человеческой ошибке. ...