Поймем ли мы, что это случилось.

Беатрис Голомб

Профессор медицины Калифорнийского университета в Сан-Диего

К технологическому сверхинтеллекту ведет множество путей, с которыми может быть связан императив гегемонии, то есть сверхинтеллект способен поработить или уничтожить нас.

Технология давно опережает человечество во многих навыках, даже в тех, которые заложены в нас эволюцией. Например, компьютеры обошли нас даже в умении определять пол по лицу, причем еще четверть века назад. Это один из бессчетных примеров множества задач, с которыми компьютеры давно справляются лучше людей. С тех первобытных времен появилась масса инноваций и способов их использования (GPS, БПЛА, глубинные сети), и когда все эти кусочки мозаики будут собраны, для машин откроется множество путей к уничтожению или порабощению людей. Но, так же как наши цели в построении компьютерного интеллекта изменяются, как только мы привыкаем к последним достижениям, движение к технологической гегемонии может оказаться незамеченным, поскольку всякое постепенное вторжение воспринимается как нечто само собой разумеющееся.

Надо ли нам вообще дожидаться, пока такое будущее наступит? Ответ зависит от того, как именно мы формулируем вопрос.

1. Насколько малым должно быть влияние человека, чтобы признать виновной именно технологию?

2. Насколько очевидным должен быть разрыв между машиной и человеком?

3. Должен ли именно злой умысел вести к уничтожению или порабощению человечества?

4. Должны ли все люди быть убиты или порабощены?

 

Если принять следующие условия: никакого участия человека в происходящем нет; слияние (или сотрудничество) человека с машиной предосудительно; злой умысел имеет место; человечество ждет полное истребление – тогда исход ясен. Но что, если мы возьмем менее строгие условия?

1. С человеческим фактором ничего нельзя поделать: беспокойство по поводу того, чей именно палец окажется на кнопке (как в известной песне Тома Лерера[130]) предшествовало взлету современных цифровых технологий.

2. Носимые приспособления, улучшающие человеческие способности (от старомодных очков и слуховых трубок до электронных слуховых аппаратов, iWatch и ног Оскара Писториуса), и импланты (кардиостимуляторы, радиоуправляемые спинномозговые устройства для парализованных) размывают границы между человеком и машиной. Люди пользуются этими штуками как добровольно, так и вынужденно – вспомним, например, гаджеты для наблюдения за ребенком или полицейские браслеты, контролирующие передвижения осужденных. Даже самые примитивные образцы уже давно продемонстрировали разрушительные возможности: пояса со взрывчаткой – это носимые устройства, биологическое оружие (например, оспа, поразившая американских индейцев) – импланты.

3. Может ли гибель человечества оказаться побочным явлением? Или же технология должна задаться целью именно уничтожить или покорить нас?

 

К вопросу о покорении: сейчас многие посвящают всю свою жизнь обслуживанию (или даже служению) технологии и содействию ее «эволюции». Эти люди добывают минералы, разрабатывают «железо», создают программы, помогают диаспорам тех или иных устройств, передавая их пользователям, чтобы те, в свою очередь, служили и обслуживали, еще и платя за это. Люди помогают технологии выполнять ее задачи, а она помогает им выполнять их задачи. Беспристрастный свидетель мог бы задать вполне обоснованный вопрос: кто тут хозяин, а кто – слуга?

Что касается смерти, болезни, инвалидности: токсичные промышленные химикаты и материалы, которые используются при производстве, эксплуатации, распространении или ликвидации технологии, и электромагнитные излучения (от самих устройств и средств связи, используемых для их коммутации) привели к взрывному развитию оксидативного стресса – повреждения клеток, от которого защищают антиоксиданты, – и связанных с ним человеческих недугов – рака, нейродегенеративных и аутоиммунных заболеваний, хронических мультисимптомных нарушений и расстройств аутистического спектра.

Некоторые замечают, что эти заболевания, похоже, выборочно поражают самых умных (тех, кто мог бы стать сверхразумным?) представителей нашего вида. Я полагаю, что, раз оксидативный стресс повреждает митохондрии – энергетические станции клеток – и раз у тех, кто обладает, в силу биологических особенностей, большим мозгом, больше потребности в энергии, у таких людей с потенциальными суперспособностями повышен риск клеточных повреждений и смерти. Проблемы, порождаемые оксидативным стрессом, усиливаются в ситуациях высоких энергетических запросов (даже типичный человеческий мозг, составляющий около 2 процентов от массы тела, использует около 20 процентов кислорода и 50 процентов глюкозы от общего потребления). Возможный вывод: восстание сверхразумных компьютеров уже началось, и теперь они пытаются выборочно изъять у нас тех, кто мог бы стать сверхразумным человеком.

Потому – да, в очевидном смысле технология способна обрести разум и принять решение уничтожить или поработить нас. Но она может использовать не самые очевидные средства, и не исключено, что этот процесс происходит прямо сейчас.

Метапрезентация

Нога Ариха

Историк идей; автор, совместно с Марчелло Симонеттой, книги «Наполеон и мятежник: История о братской дружбе, страсти и власти» (Napoleon and the Rebel: A Story of Brotherhood, Passion, and Power)

История человечества и история технологий переплетаются друг с другом. Мы всегда использовали наши когнитивные способности, чтобы создавать предметы, необходимые нам для выживания: оружие, одежду, жилища. Эволюция человеческого разума проиллюстрирована эволюцией технологий. Мы выработали способность к метарепрезентации – осознанию того, что у нас есть разум и возможности его анализировать, которая является функцией сознания более высокого порядка. И, чтобы смотреть на себя в этом зеркале, мы всегда использовали технологические аналогии – сравнивали свой разум с изобретенными нами технологиями. Для каждой эпохи – своя машина: от гидравлических насосов до компьютеров.

Мы создали технологии, которые не сможет освоить ни один отдельно взятый человек. Наши творения уже вышли за пределы нашего понимания. Поэтому неудивительно, что нам так легко представить, как они становятся самостоятельными существами, обладающими по меньшей мере столь же гибким разумом, как и наш. Научная фантастика описывает идеальных роботов, неотличимых от нас, имеющих тела, говорящих и, очевидно, испытывающих чувства, – роботов, которые могут ввести нас в заблуждение и, вероятно, способны напасть на нас.

Но в нашем понятийном мышлении о собственных разумах мы склонны оставаться картезианскими дуалистами. Мышление кажется такой бесплотной деятельностью, что мы забываем: мы не мозги в банках, никакая микротехнология не воссоздаст всей сложной биологии, благодаря которой работает наш разум, изобилующей нейромедиаторами, энзимами и гормонами. Мы – это наши тела; у нас есть эмоции, непосредственно связанные с телом и влияющие на мыслительный процесс. Машины способны освоить ориентированные на определенные цели когнитивные способности, но их совершенная обработка данных коренным образом отличается от несовершенного, непостоянного, неочевидного мышления людей, связанного с осознанием своего «я», проприоцепцией, чувством собственной целостности, квалиа, отличающих нас от зомби. Компьютеры превосходно справляются с процессами, в которых большинство из нас выглядит довольно неуклюже, мы все чаще обращаемся к машинам, когда нам нужны факты. Значительная часть нашей памяти передана Google, и нет сомнений в том, что наши разумы все больше и больше выходят за границы наших тел – что мы существуем в растущей сети бестелесных разумов и данных. Мышление – отчасти социальная способность; мыслить – значит участвовать в коллективном предприятии, а его сложность так же характеризует состояние человека, как и наша телесность. У машин нет социальной жизни, уже не говоря о том, что они не являются набором биологических тканей, сформированным в ходе эволюции. Они хорошо справляются с определенными задачами, а мы хорошо научились использовать машины для своих целей. Но до тех пор пока мы не создадим телесное эмоциональное существо, чего, как я полагаю, мы сделать не сможем, наши машины продолжат заниматься лишь подобием нашего мышления и эволюционировать сообразно нашим потребностям.

Посылка

[131]

: так мало времени – так много предстоит сделать

Демис Хассабис

Вице-президент по конструкторским и технологическим вопросам в Google DeepMind; соучредитель DeepMind Technologies

 

Шейн Легг

Исследователь искусственного интеллекта; соучредитель DeepMind Technologies

 

Мустафа Сулейман

Руководитель направления по прикладным системам искусственного интеллекта, Google DeepMind; соучредитель DeepMind Technologies

Долгие годы мы доказывали, что искусственный интеллект, в особенности область машинного обучения, быстро развивается и находится на пороге еще более быстрого и значительного роста. При этом мы выступали за то, что идеи безопасности и этики в сфере искусственного интеллекта – важная тема, и что всем нам надо воспринимать ее очень серьезно. Потенциальные выгоды искусственного интеллекта будут огромны, но, как в случае с любой мощной технологией, они сильно зависят от того, насколько внимательно мы будем подходить к применению этой технологии.

Хотя некоторые ученые нас всячески поддерживали, когда мы запустили проект DeepMind, многие были настроены скептически. Однако за последние годы климат для амбициозных исследований в области искусственного интеллекта значительно улучшился, чему, несомненно, способствовала череда удивительных достижений. Были наконец решены давние проблемы; кроме того, в научном сообществе начала крепнуть уверенность в том, что лучшее еще впереди. Мы видим это во взаимодействии с широким кругом исследователей, а также в том, как изменился тон статей об искусственном интеллекте в СМИ. Если вы не заметили, «зима ИИ» уже закончилась и наступила «весна ИИ».

Как это бывает со многими трендами, некоторые люди слишком оптимистично настроены и заходят в своих прогнозах так далеко, что предрекают скорое создание искусственного интеллекта человеческого уровня – буквально со дня на день. Это не так. Кроме того, учитывая негативное изображение футуристического искусственного интеллекта в Голливуде, наверное, неудивительно, что образы «судного дня» все еще нет-нет да и появляются в СМИ. Как точно подметил Питер Норвиг: «Нарратив изменился. Он переключился с “Правда, жаль, что ИИ – провальный проект?” на “Правда, жаль, что ИИ – успешный проект?”»

Реальность обходится без таких крайностей. Да, сейчас замечательное время для того, чтобы работать в сфере искусственного интеллекта, как и во многих других; мы надеемся, что оно продлится еще многие годы. Мир стоит перед лицом все более сложных, взаимосвязанных и актуальных проблем, требующих принятия нетривиальных ответных мер. Нам хотелось бы думать, что успешная работа в области искусственного интеллекта дополнит наши общие способности по извлечению значимых идей из данных и поможет создавать новые инновационные технологии и процессы, способные решать наиболее актуальные глобальные проблемы.

Однако, чтобы осуществить эту мечту, необходимо найти ответы на многие технические вопросы, и над некоторыми из них специалисты бьются уже давно. При всей своей сложности эти вопросы можно разрешить, но нам потребуется целое поколение талантливых исследователей, оснащенных достаточными вычислительными ресурсами и вдохновленных идеями машинного обучения и системной нейронаук. Это, вероятно, расстроит большинство оптимистично настроенных наблюдателей, но также даст научному сообществу некоторое время, чтобы разобраться с деликатными вопросами безопасности и этики. Так давайте же порадуемся новому пониманию оптимизма, но и не станем забывать о том, как много предстоит сделать. Как сказал однажды Алан Тьюринг: «Мы можем наблюдать только небольшой отрезок предстоящего пути, но мы видим, как много еще предстоит сделать».

 

Заметки

[

←1

]

Бостром Н. Искусственный интеллект: Этапы. Угрозы. Стратегии. – М.: Манн, Иванов и Фербер, 2016.

[

←2

]

Edge Foundation – организация, основанная Джоном Брокманом для объединения ученых и интеллектуалов и для популяризации передовых направлений науки. Организация издает сетевой журнал Edge (www.edge.org); каждый год редакция ставит новый вопрос, на который отвечают разные комментаторы – как представители научных кругов, так и просто известные люди, чье мнение может показаться интересным читателям. – Прим. ред.

[

←3

]

Вымышленная кибернетическая цивилизация в сериале «Звездный путь». – Прим. ред.

[

←4

]

1

Сет Ллойд. Программируя Вселенную. – М.: Альпина нон‑фикшн, 2014).

[

←5

]

2

Steven Pinker, The Better Angels of Our Nature (New York: Viking Penguin, 2011). [Стивен Пинкер. Добрые ангелы человеческой природы]

[

←6

]

Ливио М. От Дарвина до Эйнштейна. Величайшие ошибки гениальных ученых, которые изменили наше понимание жизни и Вселенной. – М.: АСТ, 2000.

[

←7

]

Маркофф Дж. Homo Roboticus? Люди и машины в поисках взаимопонимания. – М.: Альпина нон‑фикшн, 2017.

[

←8

]

В философии этим термином обозначают любые ощутимые человеком явления, например цвет или вкус. – Прим. ред.

[

←9

]

Игра слов: Curiosity (англ. «любопытство») – название марсохода. – Прим. пер.

[

←10

]

Несуществующая, но теоретически возможная технология, позволяющая перемещаться быстрее скорости света. – Прим. ред.

[

←11

]

Эмерджентными называются свойства, присущие системе в целом, но не присущие ни одному из ее элементов по отдельности. – Прим. ред.

[

←12

]

Имеются в виду композитор Антонин Дворжак (1841–1904) и теннисист Новак Джокович (род. 1987). – Прим. ред.

[

←13

]

Рейтинг популярности телевизионной программы. – Прим. ред.

[

←14

]

Английская идиома, обозначающая намеренную дезинформацию с целью отвлечь чье‑либо внимание. Копченую («красную») сельдь, обладающую сильным запахом, традиционно использовали для натаскивания охотничьих собак. – Прим. ред.