Нарративы и наша цивилизация

Лука де Бьазе

Журналист; редактор газет Nova 24 и Il Sole 24 Ore

В понедельник 19 октября 1987 года волна биржевых продаж, начавшаяся в Гонконге, пересекла Европу и ударила по Нью-Йорку, вызвав падение индекса Доу – Джонса на 22 %. «Черный понедельник» стал одним из величайших падений в истории финансовых рынков, и было в нем кое-что особенное. Впервые, по мнению большинства экспертов, виноваты во всем оказались компьютеры: именно алгоритмы решали, когда и сколько покупать и продавать на бирже. Компьютеры должны были помочь трейдерам минимизировать риски, но в действительности увеличивали их, поскольку двигались все в одном направлении. В то время широко обсуждалась идея о прекращении автоматизированных торгов, но в итоге этого не случилось.

Напротив, мы наблюдаем обратную тенденцию: с момента кризиса доткомов в марте 2000 года компьютеры все больше участвуют в принятии сложных решений на финансовом рынке. Они теперь просчитывают всевозможные корреляции между невероятными массивами данных. Они анализируют эмоции, выражаемые людьми в интернете, распознавая значение слов; они находят паттерны и прогнозируют поведение; им позволено автономно выбирать сделки; они создают новые машины – ПО, называемые «деривативами», которые уже ни один человек не в силах понять.

Искусственный интеллект координирует действия своеобразного коллективного разума, работая в тысячи раз быстрее, чем человеческий мозг, и это влияет на нас множеством способов. Признаки последнего кризиса появились в Соединенных Штатах в августе 2007 года, и он произвел ужасное воздействие на жизнь людей в Европе и во всем мире. Многие чрезвычайно пострадали из-за принимаемых компьютерами решений. Эндрю Росс Соркин в своей книге «Слишком большие, чтобы рухнуть» (Too Big to Fail)[60] показал, что даже самые могущественные банкиры оказались бессильны перед последствиями кризиса. Ни один человеческий мозг, по-видимому, не мог управлять ходом событий, чтобы попытаться предотвратить кризис.

Может этот пример нас научить тому, как нужно думать о мыслящих машинах?

Они автономно осмысливают контекст и принимают решения. И они контролируют множество сфер жизни человека. Это ли не начало постчеловеческой эры? Нет, мыслящие машины – человеческие творения, они созданы инженерами, программистами, математиками, экономистами, менеджерами. Не являются ли они еще одним инструментом, который мы можем использовать во вред или во благо? Нет, на самом деле особого выбора у нас нет: мы создаем машины, не думая о последствиях, мы просто обслуживаем нарратив. Эти машины сформированы нарративом, который мало кто ставил под сомнение.

Согласно этому нарративу, рынок есть лучший способ распределение ресурсов, никакое политическое решение неспособно улучшить ситуацию, риском можно управлять, неограниченно увеличивая прибыли, а банкам должно быть позволено делать все, что они пожелают. Есть только одна цель и одно мерило успеха: прибыль.

Не машины изобретали финансовый кризис, о об этом нам напоминает биржевой крах 1929 года. Без компьютеров никто не справится со сложностью современных финансовых рынков. Лучшие искусственные интеллекты создавались усилиями лучших умов благодаря крупнейшим инвестициям. Они не находятся под управлением какого-то одного человека. Они не разработаны каким-то одним человеком. Они сформированы определенным нарративом и делают этот нарратив эффективнее. И он довольно ограничен.

Если имеет значение только прибыль, экстерналии[61] не важны. Культурные, социальные и экологические экстерналии не интересуют финансовые институты. Искусственные интеллекты, сформированные этим нарративом, создадут контекст, в котором люди не будут чувствовать никакой ответственности. И тут появляется риск: машины настолько могущественны и так хорошо обслуживают нарратив, что препятствуют тому, чтобы мы задавали вопросы по поводу общей картины, снижая тем самым вероятность появления новых точек зрения на существующие проблемы. Точнее, так происходит до очередного кризиса.

То же самое верно и для других проблем. Медицина, электронная торговля, национальная и международная безопасность, даже знакомства и обмен информацией стали территориями, где начинает работать тот же вид искусственного интеллекта. Он сформирован в соответствии с узким нарративом; он имеет склонность сводить к минимуму человеческую ответственность и не учитывает экстерналии. Каким окажется медицинский искусственный интеллект? Будет ли он сформирован нарративом, который стремится спасать жизни, или тем, что экономит деньги?

О чем нам это говорит? Это говорит нам о том, что искусственный интеллект – вещь человеческая, а не постчеловеческая и что люди могут уничтожить себя и свою планету множеством способов, из которых ИИ – еще не самый извращенный.

Умные машины сформированы человеческим образом мышления, а также тем, о чем люди недостаточно глубоко задумываются. Все нарративы освещают одни вещи и игнорируют другие. Машины реагируют и находят ответы в определенном контексте, подкрепляя тем самым его основные принципы. Но задавать фундаментальные вопросы – все еще человеческая функция. И люди никогда не устанут это делать, даже если их вопросы не согласуются с господствующим нарративом.

Без мыслящих машин нам, видимо, не обойтись во все усложняющемся мире. Но всегда будут разные нарративы, с помощью которых их можно формировать. В естественных экосистемах монокультура[62] уязвима, хоть и является более эффективным решением; подобным образом в культурной экосистеме единственная линия мышления даст эффективные, но хрупкие отношения между людьми и их средой, какие бы искусственные интеллекты люди ни строили. Многообразие в экосистемах и плюрализм мнений в человеческой истории – вот источники различных проблем и вопросов, генерирующих обильные результаты.

Думать о мыслящих машинах – значит думать о создающем их нарративе. Если новые нарративы возникают в рамках открытого, экологичного подхода, если они могут взрастить нейтральную сеть, то они сформируют новое поколение искусственных интеллектов – многообразных и готовых помогать людям в понимании экстерналий. Искусственный интеллект поставит под сомнение не существование человека как вида, но его цивилизацию.

Ответственность человека

Маргарет Леви

Директор Центра специальных исследований в области наук о поведении, Стэнфордский университет; заслуженный профессор факультета международных отношений, Вашингтонский университет

Есть такие задачи, даже профессии, с которыми лучше всего справляются мыслящие машины, – по крайней мере, это задачи, связанные с сортировкой, сопоставлением, принятием определенного рода решений и постановкой проблем, выходящих за пределы когнитивных возможностей большинства (всех?) людей. Алгоритмы Amazon, Google, Facebook и др. построены на основе коллективного разума, но превосходят его в быстродействии и, возможно, в точности. С машинами, способными выполнять за нас часть умственной и физической работы, мы приблизимся к марксистской утопии, освободившись от нудного и унижающего человеческое достоинство труда.

Но у свободы есть цена. Для благополучия людей мало заменить рабочих машинами. Важно и то, как те, кто потеряет работу, будут содержать себя и своих детей, как будут проводить появившееся время. Первую проблему потенциально можно решить внедрением безусловного базового дохода – ответ, который вызывает встречный вопрос: как мы, наши общества, распределяем и перераспределяем материальные блага и организуем самоуправление? Вторая проблема еще сложнее. Реальность, конечно, сильно отличается от марксистских представлений о рыбной ловле днем и философских размышлениях за ужином. Люди, а не машины, должны тщательно обдумывать образование, досуг и те виды работ, с которыми машины справляются плохо или не справляются вовсе. Хлеб и зрелища способны задобрить население, но в таком случае мыслящие машины могут создать общество, которого мы не желаем, – антиутопическое или безобидно-бездеятельное. Работа механизмов определяется их архитектурой; то же верно и для социума. И за нее отвечают люди, а не машины.

Есть еще вопрос о том, какими ценностями обладают машины и какому господину они служат. Многие – хотя и не все – решения предполагают наличие определенных убеждений и ценностей. Их машинам тоже придется их привить, а следовательно, они будут зависеть (по крайней мере, первоначально) от ценностей тех людей, которые их конструируют и управляют ими. «Беспилотники» создаются для того, чтобы атаковать и наблюдать – но кого атаковать и за кем наблюдать? Если у нас будут соответствующие машины, это поможет нам распространять грамотность и знания среди населения. Но кто определяет, чему именно мы будем учиться и что считать истиной? При поверхностном взгляде на проблему может показаться, будто децентрализованная конкуренция позволит нам самим выбирать, что учить и по какой программе. Но конкуренция скорее будет поддерживать существующие закоснелые убеждения и представления. Проблема заключается в том, как научить людей интересоваться конкурирующими парадигмами и думать так, чтобы верно их оценивать.

Мыслящие машины могут – и должны – взять на себя задачи, которые они выполняют лучше, чем люди. Освобождение от ненужной, унижающей человеческое достоинство работы долгое время было главной целью и основной движущей силой инноваций. Дополнить ограниченные способности людей в области анализа информации и принятия решений – задачи, в равной степени заслуживающие внимания. Однако, пусть искусственный интеллект и способен снизить познавательную нагрузку на людей, он не отменяет нашей ответственности за то, чтобы развивать свои мыслительные способности и выносить разумные суждения, основываясь на определенных ценностях и эмпатии. Мыслящие машины ставят нас перед необходимостью выработать новые системы подотчетности, а также социальной (то есть человеческой) ответственности за последствия, которые мы пока не можем предвидеть.