Когда миньон перестает быть миньоном?

Обри Ди Грей

Геронтолог; старший научный сотрудник SENS Foundation; автор книги «Отмена старения» (Ending Aging)

Если бы меня попросили перечислить проблемы человечества в порядке их остроты, то серебряную медаль я бы отдал необходимости проводить очень много времени за занятиями, которые не дают нам чувства удовлетворения, – словом, за работой. Я считаю, что конечная цель искусственного интеллекта – переложить это бремя на роботов, у которых будет достаточно здравого смысла, чтобы выполнять такие задачи с минимальным объемом контроля с нашей стороны.

Но намерения некоторых исследователей ИИ в отношении машин будущего еще более благородны. Они предсказывают создание компьютеров, которые значительно превзойдут нас во всех сферах познания. Эти машины будут не только выполнять задачи, которыми люди предпочли бы не заниматься, но и выяснять, как делать такие вещи, на которые пока не способен никто. Процесс может, в принципе, развиваться итеративно: чем больше умеют машины, тем больше открытий они совершат.

Так что тут плохого? Почему бы не рассматривать это в качестве главной исследовательской задачи при создании машин, обладающих здравым смыслом (которых я назову миньонами)?

Во-первых, есть широко обсуждаемая боязнь, что машины могут взбеситься, в особенности если набор их навыков («саморазвитие») имеет характер не итеративный, а рекурсивный. Под этим исследователи подразумевают, что у машины будет не только база данных о тех действиях, что она может выполнять, но и алгоритмы, чтобы самостоятельно решать, чем ей заниматься. Некоторые считают, что рекурсивное самосовершенствование может происходить экспоненциально (или быстрее), создавая функционал, который нам даже отдаленно не понять до того момента, когда процесс уже будет не остановить. Это звучало бы грандиозно, если бы не мысль о том, что траектория самосовершенствования может выйти из-под контроля, так что сверхразумные машины начнут тяготеть к тем «задачам» (метрикам, по которым они определяют, чем им заниматься), что нам не нравятся. Была проделана большая работа по предотвращению такого «смещения задач» и созданию надежной, перманентно «дружественной», рекурсивно-самосовершенствующейся системы, но результаты оказались крайне скромными.

Я считаю, что рекурсивное самосовершенствование не должно быть конечной целью исследований в области искусственного интеллекта не потому, что есть риск создать недружественный ИИ, а скорее потому, что у меня есть сильное подозрение: рекурсивное самосовершенствование математически невозможно. По аналогии с так называемой проблемой остановки – определением того, завершается программа или нет, – я считаю, что есть еще не открытая мера вычислительной сложности, в соответствии с которой никакая программа не сможет написать другую, более совершенную программу (включая версии самой себя).

Написанная программа обязательно будет проще, в четком числовом выражении, чем программа, которая ее пишет. Действительно, программы могут получать из внешнего мира информацию о том, как им себя улучшить, но я утверждаю, что (а) это приведет лишь значительно менее «страшному» итеративному самосовершенствованию, а не к рекурсивному и (б) они все равно будут нести в себе внутренние самоограничения, поскольку в тот момент, когда машины станут настолько же умны, как и человечество, у них не будет больше новой информации для изучения. Я знаю, что этот аргумент, конечно, нельзя назвать железобетонным, и мне горько от того факта, что (насколько мне известно) никто не работает над тем, чтобы обнаружить подобную меру глубины или доказать, что таковой не существует. Но это только начало.

И наоборот, меня очень беспокоит другая причина, по которой я придерживаюсь мнения, что создание миньонов – естественная задача при разработке ИИ. Любая машина для творчества, касается ли это технологий, искусства – да чего угодно, разрушает границу между человеком и машиной. Мы уже испытываем сильнейшую неопределенность относительно того, какими правами обладают различные виды существ. Поскольку объективные этические суждения построены на общепринятых нормах, которые, в свою очередь, возникают при рассмотрении вопроса о том, какого отношения мы бы хотели к себе, видимо, в принципе невозможно сформировать такие суждения в отношении сущностей, которые отличаются от нас еще сильнее, чем животные друг от друга. Вот почему, как я считаю, нам не нужно ставить себя в такое положение, где нам придется пытаться это сделать. К примеру, рассмотрим право на воспроизводство в условиях ограниченности ресурсов. Экономически мотивированные компромиссные решения, похоже, работают надлежащим образом. Но как нам определить компромиссные решения для «видов» с практически неограниченным потенциалом воспроизводства?

Я утверждаю, что наличие у них здравого смысла само по себе этих проблем не порождает. Я определяю здесь здравый смысл как способность обрабатывать крайне неполную информацию для установления достаточно близких к оптимальным методов достижения конкретной цели, выбираемых из набора альтернатив, сформулированных в ходе предварительного параметрического исследования. Это явным образом исключает вариант «мышления» – поиска новых методов, находящихся за пределами предварительно составленного набора, которые могли бы оказаться эффективнее.

Следовательно, опять же для примера, если достичь цели нужно быстро и множество машин справятся быстрее, чем одна, ИИ все равно не будет рассматривать вариант создания собственной копии, если только эта опция для него не прописана как допустимая, даже если он «знает», что это хорошая идея. Поскольку допустимость определяется скорее включением в список некой возможности, а не ее исключением, риск «смещения методов», я уверен, легко устраняется. Важнее всего то, что это позволяет полностью исключить рекурсивное саморазвитие (если окажется, что оно вообще реально).

Доступность бесконечного множества способов достичь цели – хорошее рабочее определение «осознанности» этой цели. Осознанность предполагает умение обдумывать цель и способы ее достижения, а значит, учитывать, что всегда остаются нерассмотренные варианты.

Я мог бы закончить простой фразой: «Так давайте не будем создавать обладающие самосознанием машины», – но любая возможная технология, которую кто-то захочет создать, в определенный момент будет разработана, так что не все так просто. Вместо этого я скажу: давайте крепко подумаем о правах мыслящих машин, чтобы мы могли проверить наши выводы на практике задолго до появления рекурсивного самосовершенствования на машинах, которые лишь отдаленно сознают свои цели. Если, согласно моим прогнозам, все наши усилия по выработке такой этики окажутся провальными с самого начала, то, возможно, мы оставим эту идею.

Недостаточно забагованный

Майкл Нортон

Преподаватель бизнес-администрирования в Гарвардской школе бизнеса; автор, совместно с Элизабет Данн, книги «Счастье в деньгах: Наука тратить с умом» (Happy Money: The Science of Smarter Spending)

Всепроникающий людской страх, возникший в XX веке, усиливается с каждым новым предсказанием о Судном дне: дескать, в ходе развития искусственного интеллекта некий непредвиденный компьютерный баг неизбежно приведет к тому, что машины взбунтуются и захватят весь мир.

Я опасаюсь обратного – того, что развивающийся искусственный интеллект окажется недостаточно забагованным. Мыслящие машины, которые превосходно справляются с саморегуляцией, самооптимизацией, так что квадратный штырь всегда идеально заходит в квадратное отверстие, также окажутся лишены случайных вспышек озарения, обусловленных человеческой склонностью к багам – к попыткам вставить квадратные штыри в круглые отверстия, или, проще говоря, нашим умением замечать случайные, но мощные идеи, которые между делом возникают в ходе решения задачи «Форма предмета / форма отверстия».

Рассмотрим, насколько важно замечать что-либо. По какой причине мы можем полакомиться макаронами с сыром всего за несколько секунд? Когда Перси Спенсер работал в Raytheon, он проходил мимо одной машины и заметил, что его шоколадка расплавилась. Почему? Машина генерировала микроволны. Вместо того чтобы пытаться оптимизировать магнетрон и избежать в будущем проблем с шоколадками, Спенсер воспользовался внезапным озарением и догадался, что расплавившийся шоколад может оказаться предвестником чего-то большего.

Рассмотрим, насколько важны случайности. Резина была обречена на узкоспециализированное применение, поскольку не выдерживала высоких температур, пока Чарльз Гудьир не поскользнулся и не уронил кусок каучука на горячую плиту. Вместо того чтобы постараться предотвратить такие ошибки в будущем, он заметил, что произошло нечто интересное, а результатом стала вулканизированная, водонепроницаемая резина.

Наконец, рассмотрим то, насколько важны человеческие «баги» – наши когнитивные искажения. Например, оптимизм заставляет нас верить, что мы можем добраться до Луны, вылечить все болезни и начать успешный бизнес в ужасном месте, откуда предыдущий арендатор сбежал. Эффект владения заставляет нас высоко ценить то, что мы имеем, что сами придумываем и создаем, даже когда с нами никто не согласен. Но можно ли считать, что при первых признаках неудачи отказываться от любого начинания в пользу того, что кажется более успешным, – всегда оптимальное решение? Упрямые ученые (к примеру, Галилей и Дарвин), которые остаются при своем вопреки общепринятым теориям и проявляют строптивый нрав, – это такой баг, но результат может оказаться гениальным. В значительной мере именно баги делают нас – как и любую форму интеллекта – людьми.