Рассмотрим следующий ряд гипотетических ситуаций:
- тот, кто хочет, чтобы в мире было как можно меньше несправедливости, разрабатывает модель утопического общества и решает любой ценой воплотить эту модель в отдельно взятой стране (или по всей планете);
- тот, кто хочет, чтобы в мире было как можно меньше несправедливости и считает, что определенный политический деятель очень несправедлив, решает любой ценой его убить;
- тот, кто хочет, чтобы в мире было как можно меньше несчастья, решает любой ценой заняться убийством недостаточно счастливых людей;
- тот, кто хочет, чтобы в его жизни было как можно больше счастья, решает любой ценой найти и употребить вещество, которое доставит ему большое счастье;
- тот, кто хочет как можно большего экономического, культурного или какого-то иного рода процветания для своей страны, решает любой ценой выиграть войну, в которой она участвует;
- тот, кто хочет, чтобы в мире было как можно меньше тех или иных человеческих проблем, решает любой ценой ускорить вымирание человечества;
- тот, кто хочет, чтобы человечество просуществовало как можно дольше, решает любой ценой предотвратить риск вымирания человечества в 21-м веке;
- тот, кто хочет, чтобы в мире было как можно больше счастья, придумывает очень счастливую форму организации материи (например, гедониум/оргазмиум) и решает любой ценой заполнить ей мир.
Что объединяет все эти ситуации? Они кажутся довольно разными, но везде мы видим, что:
- людьми как будто движет определенная ценность (или ценности), положительная или отрицательная;
- они могли бы, как консеквенциалисты, сравнивать все релевантные варианты будущего с точки зрения этой ценности, но они этого не делают;
- вместо этого они выделяют во всем мыслимом будущем лишь специфические сценарии или события, которые, по их мнению, имеют высокую положительную (или отрицательную) ценность, и в дальнейшем целиком фокусируются на достижении (или предотвращение) избранного ими вида сценариев/событий;
- при этом у избранного вида сценариев/событий наблюдается как минимум одна (а обычно — сразу все) из следующих черт: а) они отложены во времени (т. е. произошли бы не прямо сейчас); б) они имеют конечную или неопределенную длительность; в) они затрагивают лишь некоторую часть пространства вселенной, либо их протяженность в пространстве не определена.
В дальнейшем мы постараемся подробно продемонстрировать, почему все эти агенты ведут себя неразумно с точки зрения ценностей, которых они сами, как им кажется, придерживаются. Мышление этих агентов проблематично во многих аспектах, включая необоснованный выбор определенных сценариев развития событий из всего их возможного многообразия, нечувствительность к рискам и затратам, и отсутствие когнитивной гибкости.
Хотя перечисленные выше случаи редки в реальной жизни, можно наблюдать множество примеров, когда люди совершают те или иные отдельные ошибки, схожие с ошибками этих гипотетических агентов. Таким образом, на их примере можно многому научиться.
Проблемы
1. Отсутствие сравнений
Ключевая ошибка, к которой можно свести многие другие, заключается в том, что агент не сравнивает предложенный курс действий с какими-либо другими. Рассуждения описанного нами вида могут создавать впечатление самоочевидности, но в действительно они не содержат никаких обоснований предлагаемому ими курсу действий по сравнению с альтернативами — потому что никакого сравнения с альтернативами в них просто нет.
Однако, они создают иллюзию обоснованности за счет фокусировки нашего внимания на некоторой предполагаемой области пространства-времени, в рамках которой значение функции полезности достаточно велико.
В дальнейших разделах мы рассмотрим отдельные вариации этой ошибки.
2. Выделение из подобных
Предположим, что агент сфокусирован на достижении в некоторой области пространства-времени какого-то положения дел, хорошесть которого достигает отметки T.
Но если таких положений дел может быть множество, каковы причины выбирать то или иное из них? Они могут быть взаимоисключающими, и при этом различаться по легкости своего достижения и другим параметрам, которые агент мог бы счесть релевантными, если бы начал их сравнивать.
3. Нечувствительность к окружению
Этот вид ошибки состоит в необоснованном отказе от анализа последствий, не попадающих в рамки некоторой изолированной области пространства-времени.
К примеру, если цель агента состоит в уменьшении суммарного насилия между людьми, но он фокусируется лишь на той области пространства-времени, в которой может быть реализована гипотетическая анархическая утопия, он может упускать из виду то,
а) какой ценой (в количестве причиненного насилия) эта утопия была достигнута;
б) какой будет параллельная ситуация с насилием в других местах, вне этой утопии;
в) сколько такая утопия просуществует и что ее заменит;
г) каким был бы мир, в котором эта утопия вообще не наступала.
4. Нечувствительность к вероятностям
Этот вид ошибки весьма схож с предыдущим, но связан с игнорированием неопределенности будущего. Мы не можем предсказывать будущее детально, поэтому нам следует учитывать возможность его вариативности в тех или иных аспектах.
К примеру, если цель агента состоит в увеличении суммарного благополучия на планете, и он фокусируется лишь на достижении гедонистической утопии тем или иным путем, он может упускать, какие виды возможного ужасного, несчастного будущего он одновременно с этим приближает на выбранном пути.
Например, может получиться так, что (а) будущее, которое наступит, если агент не будет пытаться построить утопию, даже если и не является утопическим, окажется лучше, чем (б) попытка построить утопию, которая будет успешна в 80%, но в 20% приведет к трагедии, намного худшей, чем будущее из пункта (а).
Кроме того, даже среди стратегий достижения утопии одни могут быть лучше, чем другие, но агент может отказываться от их сравнительного анализа.
Наконец, агент может плохо оценивать вероятность того, что выбранный им образ утопии а) описывает технически возможное положение дел и что б) вообще существуют те или иные стратегии ее реального достижения, доступные для людей.
5. Нечувствительность к различиям агентов
Отдельного внимания заслуживает ошибка “если бы все думали как я”.
<…>
6. Конфликт гарантированности и скорости
(Пока не уверен насчет этого пункта.)
Пусть U — некоторая область пространства, а S — положение дел, наступление которого в A интересует данного агента. Не все обращают внимание на то, что если разница между следующими двумя целями:
A. Повышение вероятности наступления S в U;
B. Ускорение наступления S в U.
Чтобы понять разницу, рассмотрим пример, когда агенту нужно выбрать из следующих вариантов:
- S наступит через год с вероятностью 20%, либо не наступит никогда.
- S наступит сейчас с вероятностью 10%, либо не наступит никогда.
Если агент преследует цель А, ему следует выбрать первый вариант, если же цель B — то второй.
<…>