Ноам Хомский: где искусственный интеллект пошел не туда.

Ноам Хомский: где искусственный интеллект пошел не туда?

Noam Chomsky on Where Artificial Intelligence Went Wrong

Есть ли в этом концептуальная ошибка?

Хомский: Ну, вы можете получить полезную информацию. Но если там действительно происходит какой-то род вычислений, задействующий атомарные единицы, вы их не найдёте таким способом. Это примерно как искать потерянные ключи под другим фонарем, только потому, что там светлее (отсылка к известному анекдоту — прим. перев.). Это дискуссионный вопрос… Я не думаю, что позиция Галлистела широко воспринята нейробиологами, но это правдоподобная позиция, и она сделана в духе анализа Марра. Так что когда вы изучаете зрение, говорит он, вы вначале спрашиваете, какие вычислительные задачи решает система. Затем вы ищете алгоритм, который мог бы осуществлять эти вычисления, и в конце концов вы ищете механизмы, которые позволяют произвести работу такого алгоритма. Иначе, вы можете никогда ничего не найти. Есть много примеров этого, даже в точных науках, и совершенно точно в гуманитарных. Люди стараются изучать то, что знают, как изучать — я имею в виду, это выглядит разумно. У вас есть определенные техники экспериментов, у вас есть определенный уровень понимания, вы пытаетесь раздвигать границы возможного — и это хорошо, я не критикую, люди делают, что могут. С другой стороны, хорошо бы знать, в правильном ли направлении двигаешься. И может так случиться, что если взять за основу точку зрения Марра-Галлистела, которой я лично симпатизирую, то вы будете работать по-другому, искать эксперименты другого рода.

Итак, я думаю, ключевая идея Марра в том, чтобы, как вы сказали, найти подходящие атомарные единицы для описания проблемы, иначе говоря, подходящий «уровень абстракции», если так можно сказать. А если мы возьмем конкретный пример новой области нейронаук под названием Коннектомика, где цель — найти диаграмму связей очень сложных организмов, найти соединения всех нейронов коры мозга человека или мыши. Этот подход был раскритикован Сиднеем Бреннером, который в большой степени [исторически] один из его авторов. Защитники этой области не останавливаются и не спрашивают, является ли диаграмма связей подходящим уровнем абстракции — может, и не является. А каково ваше мнение об этом?

Хомский: Есть гораздо более простые вопросы. Например, здесь, в MIT, была междисциплинарная программа по изучению нематоды (круглого червя — прим. перев.) C. elegans на протяжении нескольких десятилетий, и, как я понимаю, даже с этим крошечным существом, у которого вы знаете всю диаграмму связей, там 800 нейронов или около того …

Я думаю, 300..

Хомский: … Всё равно, вы не можете предсказать, что оно [нематода C. elegans] собирается делать. Может быть, вы просто ищете не там.

Я бы хотел перейти на тему различных методологий в ИИ. Итак, «Старый добрый искусственный интеллект» (GOFAI), как его называют теперь, основывался на строгих формализмах в традиции Готлоба Фреге и Бертрана Рассела, на математической логике, к примеру, или её ответвлениях, как немонотонные рассуждения, и так далее. С точки зрения истории науки, интересно, что эти подходы были практически полностью исключены из мейнстрима и были заменены — в сфере, которая теперь называет себя ИИ — вероятностными и статистическими моделями. Мой вопрос: как можно объяснить этот сдвиг, и является ли это шагом в нужном направлении?

Хомский: Я слушал доклад Пэта Уинстона об этом год назад. Один из тезисов у него был: ИИ и робототехника дошли до стадии, где вы можете делать действительно полезные вещи, таким образом внимание переключилось на практическое применение, и поэтому были отложены в стороны более фундаментальные научные вопросы, просто потому, что все захвачены успехом технологии и достижением определенных целей.

То есть всё ушло в инженерию….

Хомский: Да, так и есть… И это вполне можно понять, но, конечно, это уводит людей в сторону от изначальных вопросов. Я должен сам признать, что я был очень скептично настроен по поводу этих оригинальных работ (в новой парадигме вероятностного ИИ — прим. перев.). Мне казалось, что всё было чересчур оптимистично, предполагалось, что вы сможете достичь результатов, которые требуют реального понимания едва изученных систем, и что вы не можете прийти к их пониманию, просто вбросив туда сложную машину. Если вы это попробуете делать, вы приходите к концепции самоподкрепляющегося успеха, потому что вы получаете результат, но это очень сильно отличается от того, как это делается в науках.

Например, возьмем предельный случай, предположим, что кто-то хочет упразднить факультет физики, и сделать это правильно. А «правильно» — это взять множество видеозаписей о том, что происходит во внешнем мире, и скормить их самому большому и быстрому компьютеру, гигабайты данных, и сделать комплексный статистический анализ — ну, вы понимаете, байесовские методы, туда-сюда. (современный подход к анализу данных, основанный на теории вероятности — прим. ред) — и вы получите что-то вроде предсказания о том, что случится у вас за окном в следующую секунду. Фактически, вы получите гораздо лучшего качества предсказание, чем физический факультет мог бы вам дать. Ну, если успех определяется в том, чтобы получить наиболее близкую аппроксимацию на массе хаотических необработанных данных, тогда, конечно, это гораздо более лучший способ, чем как обычно работают физики — ну, знаете, никаких больше мысленных экспериментов об идеально ровной поверхности и так далее. Но вы не получите тот уровень понимания, который всегда был целью науки — вы лишь получите аппроксимацию к тому, что происходит.

И так делается везде. Предположим, вы хотите предсказать погоду на завтра. Один способ: ОК, у меня есть статистические априорные вероятности, например: высокая вероятность, что завтра погода будет такая же, как была вчера в Кливленде, и я использую её, и ещё некоторое влияние окажет положение солнца, и это я тоже использую, итак, вы сделали несколько таких предположений, вы проводите эксперимент, вы смотрите на результаты снова и снова, вы корректируете байесовскими методами, вы получаете лучшие априорные вероятности. Вы получаете довольно хорошую аппроксимацию того, какая будет завтра погода. Но это не то, что делают метеорологи — они-то хотят понять, как это работает. И это просто две разных концепции того, что такое успех, что такое достижение. В моей науке, науке о языке, это сплошь и рядом. В вычислительной когнитивной науке, примененной к языку, концепт успеха именно такой. То есть вы получаете всё больше данных, лучше статистику, получаете всё более точную аппроксимацию к какому-то гигантскому корпусу текста, например, все архивы Wall Street Journal — но вы не узнаёте ничего о языке.

Совершенно другой подход, который я считаю правильным — попробовать посмотреть, можете ли вы понять, в чем фундаментальные принципы и их связь с ключевыми свойствами, и увидеть, что в реальной жизни, вам будут мешать тысячи разных переменных — вроде того, что происходит сейчас за окном — и вы разберетесь с ними позже, если захотите более точной аппроксимации. Это просто две разных концепции науки. Вторая — это то, чем наука была со времен Галилея, это современная наука. Аппроксимация необработанных данных — это вроде бы новый подход, но вообще-то, подобные вещи существовали и в прошлом. Это новый подход, который ускорен существованием больших объёмов памяти, очень быстрой обработки, которые позволяют вам делать вещи, которых вы раньше не могли сделать вручную. Но я думаю, что это ведет области наподобие вычислительной когнитивной науки в направлении, может быть, практической применимости…

… в инженерии?

Хомский: … Но уводит от понимания. Да, может быть, даже эффективной инженерии. И это, кстати, интересно, что произошло с инженерией. Когда я попал в MIT в 1950-е, это был инженерный вуз. Там был очень хороший факультет математики, физики, но они были обслуживающими факультетами. Они обучали инженеров всяким трюкам, которые они могли бы использовать. На факультете электронной инженерии вы учились, как собрать схему. Но начиная с 1960-х и по сей день, всё совсем по-другому. Неважно, какая ваша инженерная специальность — вы изучаете всё те же самые базовые науки и математику. И потом, возможно, вы изучаете немного о том, как её применять. Но это совсем другой подход. Он стал возможным, благодаря тому факту, что первый раз в истории человечества базовые науки, как физика, действительно могли помочь инженерам. Кроме того, технологии начали очень быстро изменяться, поэтому мало смысла изучать технологии сегодняшнего дня, если через 10 лет они всё равно изменятся. Поэтому вы изучаете фундаментальную науку, которая будет применима, независимо от того, что будет дальше. И примерно то же самое случилось и в медицине. Итак, в последнем столетии, опять же, в первый раз, биологии было что сказать практической медицине, и поэтому вам необходимо было знать биологию, если вы хотели стать врачом, плюс технологии менялись. Я думаю, что это переход от чего-то наподобие искусства, которое вы учитесь применять — аналогией будет сопоставление непонятных вам данных, каким-то особым способом, и может быть даже построение чего-то работающего — переход к науке, которая появилась в Новое время, грубо говоря, наука Галилея.

Понятно. Возвращаясь к теме байесовской статистики в моделях языка и познания. Был известный спор с вашим участием, вы утверждали, что говорить о вероятности предложения неразумно само по себе…

Хомский: … Ну, вы можете получить число, если захотите, но оно ничего не значит.

Оно ничего не значит. Но кажется, что есть почти тривиальный способ унифицировать вероятностный метод, если предположить, что есть очень богатые внутренние ментальные представления, состоящие из правил и других символических структур, и цель теории вероятности просто в том, чтобы связать зашумлённые, фрагментарные данные нашего мира с этими внутренними символическими структурами. И от вас не требуется говорить что-то о том, как эти структуры появились — они могли существовать изначально, или там подстраиваются некоторые параметры — зависит от вашей концепции. Но теория вероятности работает как клей между зашумлёнными данными и очень богатыми ментальными представлениями.

Хомский: Нет ничего плохого в теории вероятности, статистике.

Но есть ли у неё роль?

Хомский: Если вы её можете использовать, прекрасно. Но вопрос, для чего вы её используете? Прежде всего, самый первый вопрос, есть ли какой-то смысл в понимании зашумлённых данных? Есть ли смысл понимать, что происходит снаружи, за окном?

Но нас ведь бомбардируют этими данными. Это один из примеров Марра: мы встречаем зашумлённые данные постоянно, начиная с нашей сетчатки и до...

Хомский: Это так. Но вот, что он говорит: Давайте спросим себя, как биологическая система выбирает из шума важное. Сетчатка не пытается дублировать входящий шум. Она говорит: я сейчас буду искать на изображении вот это, вот это и это. Это примерно как с обучением языку. Новорожденный ребенок окружен разнообразным шумом, как говорил Уильям Джеймс, «цветущий и жужжащий беспорядок». Если обезьяна, котенок, птица, кто угодно, слышит этот шум, на этом всё и заканчивается. Однако ребенок каким-то образом, немедленно, рефлекторно, выбирает из шума отдельную часть, которая связана с языком. Это первый шаг. Как он это делает? Не при помощи статистического анализа, потому что обезьяна тоже может в грубой форме проводить тот же самый вероятностный анализ. Он ищет конкретную вещь. Итак, психолингвисты, нейролингвисты и прочие пытаются открыть конкретные детали вычислительной системы и нейропсихологии, которые каким-то образом связаны с конкретными аспектами окружающей среды. Так вот, выходит, что действительно есть нейронные схемы, которые реагируют на определенные виды ритма, который и проявляется в языке — как длина слогов и так далее. И есть некоторые свидетельства того, что одна из первых вещей, которые ищет мозг ребенка — это ритмические структуры. И возвращаясь к Галлистелу и Марру, у мозга есть внутри некая вычислительная система, которая говорит: «Окей, вот что я буду делать с этими штуками», и примерно через девять месяцев типичный ребенок уже исключил — убрал из своего запаса — те фонетические различия, которых нет в его собственном языке. То есть, получается, с самого начала любой ребенок настроен на любой язык. Но, скажем, японский ребенок в возрасте девяти месяцев не будет реагировать на различие «Р» и «Л», оно как бы отсеялось. Так что система рассматривает множество возможностей и ограничивает их только до тех, которые являются частью языка, а это уже вполне узкое множество. Вы можете придумать анти-язык, в котором ребенок никогда не сможет это сделать, и еще много чего интересного. Например, если говорить о более абстрактной стороне языка, на настоящий момент есть твердое свидетельство того, что такая простая вещь, как линейный порядок слов — что идёт за чем — не входит в синтаксическую и семантическую вычислительную системы, их устройство просто таково, что они не ищут линейный порядок. Видно, что преимущественно используются более абстрактные понятия расстояния и это не линейное расстояние, и этому можно найти нейрофизиологическое подтверждение. Можно привести пример: если придумать искусственный язык, в котором используется линейный порядок слов, как, к примеру, вы делаете из утвердительного предложения отрицательное, делая что-то с третьим по счету словом. Люди смогут разгадать эту головоломку, но по-видимому, стандартные языковые участки мозга не активируются — активируются другие зоны, то есть люди воспринимают это как головоломку, а не как языковую задачу. И чтобы её разгадать, людям приходиться напрягаться больше…

Вы считаете это убедительным свидетельством того, что активация или отсутствие активации участка мозга...

Хомский: … Это свидетельство, и конечно, вам хочется большего. Но это свидетельство такое, что вы смотрите со стороны лингвистики, как работают языки — в них нет таких вещей, как третье слово в предложении. Возьмем простое предложение: «Инстинктивно летающие орлы плавают», здесь «инстинктивно» связано со словом «плавают», а не со словом «летающие», даже хотя всё предложение и не имеет смысла. И вот действие рефлекса. «Инстинктивно», наречие, не ищет ближайший глагол, оно ищет структурно более подходящий глагол. Это гораздо более сложное вычисление. Но это единственное вычисление, которое вообще используется. Линейный порядок — это очень простое вычисление, но оно никогда не используется. Есть множество свидетельств наподобие этого, и очень мало нейролингвистических свидетельств, но они указывают в одном и том же направлении. И когда вы смотрите на более сложные структуры, вы находите всё больше и больше подобного.

Это, по моему мнению, способ понять, как система работает на самом деле, как это произошло с системой зрения в лаборатории Марра: люди наподобие Шимона Ульмана открыли довольно примечательные вещи вроде принципа ригидности. Вы не сможете этого найти при помощи статистического анализа данных. Он нашёл это при помощи тщательно спланированных экспериментов. Потом вы ищете в нейрофизиологии и смотрите, можете ли что-то найти, что выполняет эти вычисления. Я думаю, что то же самое в языке, то же самое в изучении наших арифметических способностей, планирования, почти везде. Просто работать с сырыми данными — вы никуда с этим не придете, и Галилей бы не пришёл. Фактически, если к этому вернуться, в 17 веке людям, таким как Галилей и другие великие ученые, было непросто убедить Национальный научный фонд тех времен — а именно, аристократов — в том, что в их работах был смысл. Я имею в виду: зачем изучать, как шар катится по идеально ровной плоскости без трения, ведь их не существует. Почему не изучать, как растут цветы? Если бы вы попробовали изучать рост цветов в те времена, вы бы, возможно, получили статистический анализ того, как всё устроено.

Важно помнить, что в когнитивной науке мы ещё в до-Галилеевой эпохе, мы только начинаем делать открытия. И я думаю, что можно кое-чему научиться из истории науки. Один из основных экспериментов в истории химии в 1640 году или около того, когда кто-то доказал, к удовольствию всего научного мира вплоть до Ньютона, что воду можно превратить в живую материю. Вот как они это делали — конечно, никто ничего не знал о фотосинтезе — они брали кучу земли, и нагревали её так, чтобы вся вода испарялась. Её взвешивали, вставляли в неё ветку ивы, и поливали сверху водой, измерив объём этой воды. Когда всё готово и ивовое дерево выросло, вы опять берете землю и выпариваете из неё воду — так же, как и раньше. Таким образом, вы показали, что вода может превратиться в дуб или что-то ещё. Это эксперимент, и он вроде бы даже верный, но вы не знаете, что вы ищете. И это было неизвестно до тех пор, пока Пристли не открыл, что воздух — это компонент мира, в нем есть азот, и так далее, и вы узнавали про фотосинтез и прочее. Тогда вы можете повторить эксперимент и понять, что происходит. Но вас легко может увести не в ту сторону эксперимент, который кажется успешным из-за того, что вы недостаточно хорошо понимаете, что вам следует искать. И вы ещё больше уйдёте не в ту сторону, если попробуете изучать рост деревьев так: просто взять массив данных о том, как деревья растут, скормить его мощному компьютеру, провести статистический анализ и получить аппроксимацию того, что произошло.

В биологии, расцениваете ли вы работу Менделя как успешный пример того, как можно взять зашумлённые данные — важно, что численные — и перескочить к постулированию теоретического объекта…

Хомский: … И выбрасывая огромное количество данных, которые не сработали.

… Но увидев соотношение, которое имело смысл, выработать теорию.

Хомский: Да, он делал всё правильно. Он позволил теории управлять данными. Были ещё данные, противоречащие теории, которые более-менее отбрасывались, ну вы понимаете — которые обычно в статью не включишь. И он, конечно, говорил о вещах, которые никто не мог найти, как нельзя было найти единицы, существование которых он доказывал. Но да, именно так работает наука. Так же и в химии. Химия, до моего детства, не так уж давно, рассматривалась как наука о вычислениях. Потому что её нельзя низвести до физики. Поэтому это просто способ вычислить результат экспериментов. Атом Бора так воспринимали. Способ вычислить результат экспериментов, но это не может быть настоящей наукой, потому что её нельзя низвести до физики, и внезапно, это оказалось правдой, потому что физика ошибалась. Когда появилась квантовая физика, её стало возможно объединить с никак не изменившейся химией. То есть весь проект с редукцией был просто неверным. Правильный проект был — посмотреть, как можно объединить эти два взгляда на мир. И оказалось, что, сюрприз — их объединили радикальные изменения в нижестоящей науке. Может быть, ровно то же самое с психологией и нейронауками. Я имею в виду, нейронаука даже близко не такая развитая сейчас, как физика век назад.

И это будет отходом от редукционистского подхода с поиском молекул....

Хомский: Да. Фактически, редукционистский подход ошибался уже несколько раз. Унификационный подход имеет смысл. Но унификация может отличаться от редукции, поскольку в основной науке может быть изъян, как в случае с физикой и химией, и я подозреваю с большой степенью вероятности то же самое в случае нейронауки и психологии. Если Галлистел прав, то будет смысл утверждать, что да, их можно объединить, но с иным подходом к нейронауке.

Но если вы делаете объяснение в терминах «вещество X должно быть активировано» или «ген Х должен присутствовать», вы ведь на самом деле не объясняете, как устроен организм. Вы просто нашли рычажок, и нажимаете на него.

Хомский: Но затем вы смотрите дальше, и находите, что заставляет этот ген так работать в таких условиях, или работать иначе в других условиях.

Хотелось бы сместить беседу в сторону эволюции. Вы критиковали очень интересную точку зрения, которую назвали «филогенетический эмпиризм». Вы критиковали эту позицию за недостаток объяснительной силы. Она просто утверждает следующее: итак, мышление такое, какое оно есть, потому что были выбраны такие адаптации к окружающей среде. Выбраны естественным отбором. Вы утверждали, что это ничего не объясняет, поскольку всегда можно апеллировать к этим двум принципам — мутации и отбору.

Хомский: Ну, вы можете и махнуть на них рукой, но они могут оказаться правы. Может так случиться, что развитие ваших арифметических способностей выросло из случайных мутаций и отбора. Если окажется, что это так, ну и прекрасно.

Это звучит как трюизм (общеизвестная истина — прим. перев.).

Хомский: А я и не говорю, что это неверно. Трюизмы — это истина [смеется].

Но они ничего не объясняют.

Хомский: Может быть, это самый высокий уровень объяснения, который вы можете получить. Вы можете изобрести мир — я не думаю, что это будет наш мир — но вы можете изобрести мир, в котором ничего не происходит, кроме случайных изменений в объектах и отбора на основе внешних сил. Я не думаю, что наш мир так устроен, и я не думаю, что есть хоть один биолог, который так думает. Есть много способов, как естественные силы определяют те каналы, в которых может происходить отбор, некоторые вещи происходят, некоторые не происходят. Очень многие вещи в организме работают не так. Возьмите хотя бы первый шаг, мейоз: почему клетки разделяются на сферы, а не кубы? Это не случайные мутации и не естественный отбор: это законы физики. Нет резона думать, что законы физики здесь останавливаются, они работают везде.

Как в Аристотелевой физике?

Хомский: Это и есть Аристотелева физика. Лучшие и величайшие ученые считали, что ответ именно такой. Галилей позволил себе усомниться. Как только вы разрешаете себе усомниться, вы немедленно обнаруживаете, что ваша интуиция неверна. Как падение малой массы и большой массы, и так далее. Все ваши интуиции вас обманывают — загадки повсюду, куда ни посмотри. В истории науки есть, что изучить. Возьмите тот же пример, который я вам привел, «инстинктивно летающие орлы плавают». Никто никогда не думал, что это загадка. Но если вы подумаете, то это очень загадочно, вы используете сложные вычисления вместо простых. Если вы даете себе удивиться этому, как падению чашки, вы задаете вопрос «Почему?», и затем вы попадаете на путь довольно интересных ответов. Как, к примеру: линейный порядок не часть вычислительной системы, что является важным допущением об архитектуре мышления — оно говорит, что линейный порядок лишь часть системы экстернализации, то есть второстепенной системы. И это открывает огромное количество других путей.

Или возьмите другой пример: разница между редукцией и унификацией. История науки дает некоторые очень интересные иллюстрации в химии и физике, и я думаю, они вполне релевантны для состояния когнитивных и нейрофизиологических наук современности.

Послесловие переводчика: за время, прошедшее с выхода интервью, у Хомского вышли другие интересные материалы — можно предложить ознакомиться с 2,5-часовой беседой с американским физиком Лоуренсом Крауссом, или с новой книгой Хомского и Бервика «Человек говорящий», если вас интересуют вопросы эволюции и языка.

Автор перевода — Волкова Татьяна.

Ноам Хомский: где искусственный интеллект пошел не туда?

Noam Chomsky on Where Artificial Intelligence Went Wrong