Кирдан

блог · темы · описание · ссылки

Это черновик!

Искусственный интеллект и страдание

2021.06.01-2024.06.19

Как людям, желающим (главным образом) уменьшения страданий во вселенной, относиться к разработке все более и более мощных форм искусственного интеллекта? ИИ может стать причиной многих страданий (в частности, сам их испытывать), или же напротив — может сыграть какую-то роль в их уменьшении. Особенное беспокойство вызывают идеи общего искусственного интеллекта (ОИИ) и/или сверхинтеллекта.

Я изложу здесь некоторые из своих соображений по этой теме и предоставлю ссылки для более глубокого изучения.

Статья сейчас находится в процессе переписывания.

Содержание

1. О чем идет речь

Общий искусственный интеллект (ОИИ, который еще часто называют “сильным” ИИ) — это гипотетический вид искусственного интеллекта, способный понимать и обучаться решению любых интеллектуальных задач, которые способны решать люди. Этот вид ИИ противопоставляется тем, которые запрограммированы на решение наперед определенного узкого класса задач.

Некоторые считают, что создание все более и более развитых форм ИИ может привести к неконтролируемой технологической сингулярности, которая неузнаваемо изменит наш мир. Так это или нет, но подобно любым другим технологиям, ИИ уже меняет наш мир, и это влияние может значительно вырасти в будущем.

Что почитать:

2. Когда ждать

В нашем мире есть множество проблем, с которыми люди справляются с трудом или не могут справиться вовсе — из-за ограничений в вычислительных ресурсах, знаниях и времени, а также из-за конкуренции — поэтому у разных групп людей есть сильная мотивация для создания все более совершенных интеллектуальных систем для оптимизации тех или иных сфер. ОИИ — это естественный итог роста такой оптимизации.

Так что думаю, что с большой вероятностью ОИИ будет создан, рано или поздно, если только для этого нет каких-то принципиальных технических ограничений, непреодолимых людьми вовсе (я думаю, что таких нет), или если прежде человечество не остановит какой-нибудь катаклизм, который приведет к вымиранию.

Но гораздо менее понятно, как скоро появится ОИИ, и каковы будут темпы роста его возможностей — т. е. насколько контролируемым будет процесс его дальнейшего развития.

Что почитать:

3. Роль ценностей

3.1. Кто у руля

Если по крайней мере две причины, по которым ценности разработчиков ИИ (как и всех прочих влияющих на ход разработки людей — например, политиков-регуляторов и спонсоров) важны для того, каким этот ИИ в итоге окажется.

Во-первых, ценности влияют на то, какие возможные риски людей будут больше волновать, а какие меньше, — что повлияет на ход разработки.

Во-вторых, сами цели ИИ в той или иной степени будут определяться разработчиками. В частности, они могут напрямую попытаться передать ИИ некоторый набор ценностей.

3.2. Связь с интеллектом

Широко распространено заблуждение о том, что с какого-то (не особенно далекого) порога интеллектуально развитые существа автоматически за счет своего интеллекта будут приобретать некие “правильные” терминальные ценности и цели. По видимому, это связано с ошибкой проецирования ума и некритичной приверженностью сильным формам морального реализма: верой в существование объективных моральных истин (о том, какие поступки правильны, а какие нет), знание которых мотивировало бы любой развитый ум вести себя морально (поступать правильно).

В действительности сейчас нет никаких серьезных оснований полагать, что принципиально невозможны сверхинтеллектуальные (т. е. превосходящие интеллектом любого человека) существа, преследующие странные и “скучные” цели вроде превращения как можно большего количества материи во вселенной в канцелярские скрепки, или получающие удовольствие от чужих страданий. Конечно, некоторые сочетания целей и интеллекта невозможны или крайне неустойчивы, но без них пространство возможных умов едва ли заметно обеднеет.

Что почитать:

3.3. Если связь сильна

Однако, если бы связь между высоким интеллектом и ценностями все же была, что бы это значило? Рассмотрим здесь вариант, что начиная с какого-то гипотетического порога развития интеллекта — назовем его порогом X — цели обладателя этого интеллекта по какой-то неведомой причине либо а) быстро сходятся к некоторой конкретной функции полезности (или системе предпочтений) S, либо б) сочетание этого интеллекта с отличающимися от S целями оказывается попросту невозможным на этапе проектирования.

Было бы рано расслабляться, ведь остаются следующие возможности:

  1. Порог X может оказаться труднодостижимым и иррелевантным в контексте ближайших столетий. Например, может оказаться, что его достижение требует вычислительных ресурсов, получаемых из целой солнечной системы.
  2. ИИ может не дотягивать до порога X, но все же очень сильно влиять на мир — например, если его производство будет поставлено на поток и в мире будет достаточно много его экземпляров, или ему доверят большую власть, или им будут пользоваться отдельные влиятельные группы людей.
  3. Если есть возможность узнать о существовании такого порога X и примерно определить его, создатели ИИ могут препятствовать развитию интеллекта до этого порога, чтобы ИИ не вышел из под их контроля.
  4. Цель S, которую обретает ИИ по достижению порога X, может оказаться далекой от уменьшения страданий во вселенной. Например, он мог бы максимизировать число скрепок (или иной странной ерунды) во вселенной, или число доказанных математических теорем, или по иным причинам быть равнодушным к благополучию других.
  5. Даже если достижение порога X приводит к благой цели вроде уменьшения страданий во вселенной, такой ИИ может быть косвенно подчинен неблагим целям. Например, он может содержаться в виртуальной реальности, не имея представления о внешнем мире, в то время как создатели, вводящие его в заблуждение, извлекают какую-то выгоду из его работы и используют в не столь благих целях.

4. Возможные последствия

4.1. Хорошие сценарии?

Может ли ИИ сделать мир лучше? На ум приходит множество направлений оптимизации человеческого общества, биосферы планеты и более широких областей вселенной, где пригодился бы контролируемый ИИ:

  • Развитие медицины и генной инженерии, а также попытки в целом победить болезни, старость и смерть, или биологические страдания как таковые.
  • Развитие взаимопонимания, сострадания и сотрудничества, предотвращение конфликтов, приближение всеобщего мира.
  • Исследование страданий животных (особенно в дикой природе, где их намного больше) и поиск социально и технологически реалистичных подходов к их уменьшению.
  • Развитие астробиологии и космических технологий с целью оценки распространенности страданий в космосе и поиска способов их уменьшить.

Не дописано.

4.2. Плохие сценарии

Я рассмотрю три категории связанных с ИИ рисков значительных страданий по их происхождению. Первая категория связана с успешной реализацией через ИИ каких-либо человеческих ценностей, но за счет увеличения страданий. Вторая связана с ошибками в проектировании ИИ, приводящими к нежелательным вариантам оптимизации окружающей его среды. Третья — с тем, что сам ИИ может испытывать страдание или содержать страдающих существ внутри.

Что почитать:

4.2.1. Конфликтующие ценности

Есть много пугающих сценариев развития будущего, которые, тем не менее, будут считаться сравнительно хорошими с точки зрения тех или иных этических систем, и если соответствующие этические взгляды унаследует могущественный ИИ — мы можем с какой-то вероятностью ожидать реализации этих сценариев.

Простейший вариант — реализация систем ценностей, в которых никакое страдание не является отрицательно ценным (и, может быть, вообще нет ничего отрицательно ценного).

Например, панбиотическая этика объявляет положительно ценной жизнь, и в чистом виде может не предполагать ничего отрицательно ценного. Таким образом, с точки зрения панбиотической этики идея засевать все доступные планеты вселенной жизнью звучит хорошо, но с точки зрения негативного утилитаризма это звучит как катастрофа.

Значительно более мягким примером могут служить системы ценностей, приоритизирующие невмешательство в жизнь других видов. Они могут выступать против заселения необитаемых планет кем-либо кроме представителей нашего вида — что хорошо, но в то же время они будут выступать против гедонистической оптимизации жизни других видов. Кроме того, возможно, что они будут довольно равнодушными к судьбе нашего собственного вида.

Менее очевиден конфликт в случае системы ценностей, диктующей максимизацию усредненной длительности жизни достаточно разумных существ (например, не менее разумных, чем люди). Может быть, в реальности такое увеличение продолжительности жизни будет хорошо коррелировать с уменьшением страданий. Но это необязательно так.

Возможно, ведомые такими ценностями цивилизации не будут заинтересованы в гедонистической оптимизации окружающей их биосферы (и тем более — биосферы других планет). Более того, могут существовать пути увеличения средней длительности жизни, требующие интенсивных и/или длительных страданий. Что, если хорошим способом увеличить среднюю продолжительность жизни окажется создание и обслуживание специальных тюрем, в которых содержатся страдающие пост-люди, лишенные возможности умереть?

Рассмотрим также системы ценностей, которые признают отрицательность тех или иных классов страданий, но допускают моральную компенсируемость страданий какими-нибудь положительными явлениями. Например, бентамовский классический утилитаризм подразумевает положительную ценность любого удовольствия и отрицательную ценность любого страдания.

Один из классических примеров — это так называемое «отвратительное следствие» (англ. repugnant conclusion), согласно которому правильным будет неограниченное увеличение популяции живых существ с одновременным снижением их благополучия, пока оно остается выше нуля и пока суммарное благополучие растет.

Другие примеры: садизм и утилитарный монстр. Не дописано.

Что почитать:

4.2.2. Отклонения в оптимизации среды

Не дописано.

Что почитать:

4.2.3. Внутренние проблемы

Не дописано.

Что почитать:

4.3. Неоднозначность

Итак, успешная реализация ряда человеческих систем ценностей могла бы привести к большим страданиям. С другой стороны, и неудача такой реализации из-за неверного согласования тоже может привести к большим страданиям. И даже если история человечества окончится созданием крайне далекого от согласованности с кем-либо ОИИ (например, максимизатора скрепок), он тоже может создать массу страданий по инструментальным причинам.

Наконец, если представить, что человечество вымрет, не создав никакого ОИИ, этот сценарий тоже не будет свободным от страданий. Во-первых, страдают не только (и возможно, не столько) люди, но и другие животные на этой планете. Более того, в доступной для захвата и оптимизации области пространства-времени могут быть другие населенные дикими страдающими животными планеты в неизвестном количестве. Во-вторых, близлежащий космос может быть в будущем захвачен другими разумными существами и неясно, хуже был бы этот сценарий в сравнении с захватом людьми, или лучше.

Короче говоря, довольно сложно судить о том, как различные исходы упорядочены между собой с точки зрения количества ожидаемых в них страданий. Сложно судить и о том, каковы вероятности наступления этих исходов. И в конце концов нам нужно понять, что мы вообще можем сделать и какова величина нашего потенциального влияния на те или иные исходы.

Что почитать:

5. Как быть

5.1. Что можно сделать

Самое очевидное, что можно сделать — это вкатываться в тему безопасности ИИ и заниматься рисками, которые нас интересуют, или поддерживать работу в этой сфере других людей с близкими нам ценностями.

Если вы считаете, что согласованный ИИ в среднем лучше несогласованного, можно заняться проблемой согласования (например, поддерживая работу MIRI и подобных центров). Если же наоборот, то лучше заняться направлениями безопасности ИИ, фокусирующимися не на согласованности как таковой, а на избегании наихудших сценариев вроде s-рисков.

С другой стороны, можно пытаться влиять на ценности тех, кто может заниматься разработкой ИИ или иным образом существенно влиять на нее. Это могут быть ценности человечества в целом, или же населения более технологически продвинутых стран и/или представителей каких-то отдельных социальных групп (технические эксперты, политики).

Другой вариант — вместо влияния на фундаментальные ценности повышать у этих людей видимость и степень важности рисков, которые нас больше всего беспокоят, и к которым они тоже неравнодушны. Таким образом, принимая решения, они уделят больше внимания соответствующим направлениям безопасности.

Что почитать:

5.1. Чего делать не стоит

Вряд ли на пользу пойдет активная конфронтация с другими системами ценностей, представители которых хотят получить свой кусок общего пирога.

В частности, пытаться единолично создать ОИИ, преследуя цель уменьшения страданий (или такую, которую вы считаете ее аппроксимацией) — вряд ли хорошая идея, и тому есть куча причин.

Не дописано.

Что почитать:

искусственный_интеллект, глобальные_риски, счастье_и_несчастье