Арбитал — это круто

Я тут параллельно с администрированием Reducing Suffering решил позаниматься небольшими переводами с сайта arbital.com. Пока не знаю что из этого выйдет, но воспользуюсь моментом, чтобы порекомендовать этот ресурс.

Если вы уже знакомы с LessWrong, то вам будет проще понять, к чему это все: Арбитал был посвящен в первую очередь проблемам согласования искусственного интеллекта (если не понимаете что это и зачем — см. ссылки в конце). Кроме того, там было много объясняющих материалов по математике.

Сайт задумывался как что-то среднее между Вики и платформой для блогинга. Похоже, где-то с 2017-го он больше вообще не развивается, но к этому моменту было проделано уже немало работы и его до сих пор можно использовать в качестве справочника по некоторым вопросам. Например, там хорошо описаны темы вроде ортогональности ценностей и интеллекта и теории вероятностей. Одним из наиболее активных авторов на сайте был Элиезер Юдковский. Если вам не нравится как он пишет, то нужно отметить, что стиль постов на Арбитале заметно отличается от стиля “Цепочек” на LessWrong. Возможно, это так не только из-за того, что он писал с учетом специфики проекта, но и потому, что посты в дальнейшем редактировались другими людьми — ведь там что-то типа Вики.

К сожалению, оригинальный сайт ужасно тормозит и иногда вообще не подгружает контент. И поиск там не работает. Может, эти проблемы появились уже в связи с закрытием проекта, я не в курсе. Но выход есть: все материалы можно читать через GreaterWrong без каких-либо тормозов. Правда, есть и недостаток: иногда GreaterWrong одним текстом вместе с контентом поста отображает и рабочие комментарии типа “to do” (впрочем, их обычно легко распознать).

Я давно хотел перевести пару важных штук с Арбитала, но на больших текстах мне сложно удерживать мотивацию, поэтому я решил начать с чего-то попроще. И вот, в течение всего нескольких дней я перевел 14 небольших постов. В частности, в этой серии постов рассматривается ряд вопросов, названных в честь Вернона Винджа, и касающихся проблемы предсказания поведения более умных агентов (в том числе будущих версий вас самих). Еще, например, я переводил посты о максимизаторе скрепок, об отличии инструментальных ценностей/целей от терминальных, а также шуточный пост об инопланетном философе-тролле (которого вы раньше могли встречать в дилеммах вроде задачи Ньюкома).

Поскольку многие посты на Арбитале связаны друг с другом ссылками и иерархическими отношениями, мне пришло в голову, что было бы неплохо не просто переводить отдельные тексты, но и попробовать воспроизвести структуру исходного сайта. Здесь можно посмотреть, что у меня получается и чем-нибудь помочь.

Вы также можете помочь развить русскоязычную LessWrong Вики, адаптируя под нее идеи с Арбитала.

Наконец, Ян Лютнев хочет поснимать для YouTube ролики с озвучиванием текстов по безопасности ИИ — вроде тех что я перевожу — и ему тоже можно чем-нибудь помочь.

Дополнение

Почему вам может быть интересна тема согласования ИИ? Предлагаю начать с этих материалов:

  1. Келси Пайпер, Почему стоит работать над вопросами безопасности искусственного интеллекта уже сейчас
  2. Дэн Хендрикс и другие, Обзор катастрофических рисков ИИ
  3. Люк Мюльхаузер, Перед лицом сингулярности
  4. Ник Бостром, Искусственный интеллект (книга)
  5. Андрей Ведерников, Искусственный интеллект и экзистенциальные риски
  6. Список материалов про согласование ИИ на русскоязычном LessWrong
  7. Сайт “Безопасность искусственного интеллекта

P.S. Если же вас интересует именно негативно-утилитарная перспектива на этот вопрос (т. е. уменьшение страданий), рекомендую свою статью на эту тему.