Конец Просвещения (перевод Thе Аtlаntiс)

Текст: Генри Киссинджер (род. 1923, патриарх американской политики, дипломат, советник по нацбезопасности США и госсекретарь при администрациях Никсона и Форда), для Thе Аtlаntiс. Перевод: Александр Заворотний, «Спутник и Погром»

С философской, интеллектуальной и любой другой точки зрения человеческое общество не готово к появлению искусственного интеллекта.

Три года назад, на конференции по трансатлантическим вопросам, в повестке дня всплыла тема искусственного интеллекта. Я собирался её пропустить, поскольку она лежала за пределами моих обычных интересов, но начало презентации заставило меня задержаться.

Докладчик описывал поведение компьютерных программ, которые вскоре смогли бы бросить вызов международным чемпионам по игре в го. Я был изумлён, что компьютер способен хорошо освоить эту игру, которая считается более сложной, чем шахматы. В го у каждого игрока есть 180 или 181 камень (в зависимости от выбранного цвета), которые надо поочерёдно размещать на исходно чистой доске; победа присуждается той стороне, которая благодаря более разумным стратегическим решениям обездвижит камни соперника и сможет более эффективно контролировать пространство доски.

Выступавший настаивал на том, что такие способности запрограммировать невозможно. По его словам, машина училась играть в го на основе тренировки практикой. Учитывая, что правила игры довольно просты, компьютер мог сыграть бесчисленное количество партий против самого себя, изучая ошибки и подстраивая алгоритмы. В конечном итоге он превзошёл бы умение своих наставников-людей. Это оказалось правдой: через несколько месяцев после презентации компьютерная программа под названием AlphaGo нанесла сокрушительное поражение ряду лучших в мире игроков.

Пока я слушал дифирамбы техническому прогрессу, моё чутьё историка и отчасти государственного деятеля заставило меня призадуматься. Как повлияют на историю самообучающиеся машины — машины, которые постигают знания согласно собственным внутренним процессам и которые применяют эти знания такими способами, понять которые люди, быть может, окажутся неспособны? Научатся ли машины общаться друг с другом? Как они будут делать выбор среди множества возможностей? Что если после этого история человечества воспроизведёт сценарий с инками, для которых испанская культура оказалась непостижимой и внушающей благоговение? Оказались ли мы на краю новой ступени человеческой истории?

Сознавая свой недостаток технических знаний, я организовал ряд неформальных дебатов по данной теме при участии знакомых, сведущих в технических и гуманитарных вопросах. Эти дебаты заставили меня встревожиться ещё больше.

До настоящего момента изобретением, которое, пожалуй, сильнее прочих повлияло на ход новой истории, был печатный пресс (XV век). Он позволил эмпирическому знанию постепенно вытеснить церковные доктрины, и эпоха разума пришла на смену эпохе религии. Личностное постижение и научное знание сменили веру в качестве основного критерия человеческого сознания. Информация начала скапливаться и систематизироваться в библиотеках. Век разума породил идеи, из которых прямо проистекает весь современный порядок вещей.

Но теперь этот порядок затягивает в водоворот новая, ещё более фундаментальная техническая революция, чьи последствия мы плохо понимаем, и которая может привести к созданию мира машин, информации и алгоритмов, свободных от любых этических и философских норм.

Эпоха интернета, в которую мы уже вступили, породила определённые вопросы и проблемы, которые ИИ многократно усугубит. Просвещение стремилось подчинить традиционные догмы свободному аналитическому разуму человека. Цель интернета — утвердить знание накоплением и манипуляциями со всё более обширными наборами данных. Человеческое познание теряет личностный характер. Индивидуумы превращаются в данные, и данные начинают править миром.

Интернет-пользователи делают акцент на получении и обработке информации, а не на осмыслении и анализе в контексте. Редко затрагиваются вопросы философии или истории; как правило, предпочтение отдаётся информации, затрагивающей непосредственные практические нужды. При этом поисковые алгоритмы обретают способность предсказывать предпочтения отдельных пользователей; алгоритмы подбирают результаты индивидуально и передают их третьим лицам в политических и коммерческих целях. Истина становится относительным понятием. Информация грозит захлестнуть мудрость.

Бомбардируемые бесчисленными мнениями других людей в соцсетях пользователи всё меньше внимания обращают на самоанализ; фактически многие технофилы используют интернет, чтобы убежать от одиночества, которого так опасаются. Всё это ослабляет силу духа, необходимую для рождения и закалки убеждений, свойственных тем, кто странствует в одиночку — творческим умам.

Особенно заметно влияние интернет-технологий на политику. Возможность обращаться к микрогруппам уже сломала весь предыдущий политический дискурс, поскольку это позволило сосредотачиваться на отдельных целях, и у политических лидеров, попавших под этот каток, не остаётся времени обдумывать и анализировать ситуацию в целом — их поле зрения постоянно сужается.

Акцент цифровых технологий на скорости подавляет анализ; они дают радикалам преимущество над мыслителями; ценности формируются через консенсус микрогрупп, а не всестороннее осмысление. Несмотря на все преимущества, эти технологии могут восстать против самих себя, когда их недостатки перевесят преимущества.

Интернет и всевозрастающие вычислительные мощности значительно облегчили накопление и анализ больших массивов информации, но одновременно они поставили перед человечеством нетривиальные вопросы. Важнейшим следует считать проект, направленный на создание искусственного интеллекта, — эта технология призвана выдвигать и решать сложные абстрактные проблемы способами, которые, казалось, повторяют логику человеческого разума.

Это уже совсем не та автоматизация, к которой мы привыкли. Автоматизация — всего лишь способ выполнить задачу; она её выполняет с помощью более рациональных или усовершенствованных механизмов. ИИ, напротив, в состоянии сам ставить себе задачи и цели. Поскольку эти достижения отчасти обусловлены им самим, ИИ по определению является нестабильным феноменом. ИИ по самой своей сути непрерывно изменчив: он получает и немедленно анализирует всё новую информацию, а затем пытается улучшить себя на основе этого анализа. При этом ИИ получает способности, которые раньше, казалось, были свойственны исключительно людям. Он в состоянии принимать стратегические решения о будущем — некоторые из них основаны на информации в виде кода (например, правила игры), а некоторые основаны на информации, собираемой самим ИИ (например, в ходе 1 миллиона итераций игры).

Беспилотные автомобили могут проиллюстрировать разницу между привычными управляемыми людьми на основе программного обеспечения компьютерами и новым миром ИИ. Управление автомобилем подразумевает множество ситуаций, которые невозможно предвидеть и, следовательно, заранее запрограммировать. Что произойдёт в неоднократно приводимом случае — если беспилотному автомобилю придётся делать выбор между убийством пожилого человека и ребёнка? Кого он выберет? Почему? Какие факторы он будет учитывать при таком выборе? Как он объяснит своё решение? Если бы он умел общаться с людьми и был вынужден дать ответ, то самым честным, наверное, стал бы такой: «Не знаю (поскольку я следую математическим, а не человеческим принципам)» или «вы всё равно не поймёте (поскольку меня обучили действовать определёнными способами, а не объяснять их)». А ведь в течение 10 лет беспилотные автомобили появятся на каждой дороге.

Если раньше исследования в этой области были направлены на отдельные функции, то теперь пытаются получить «ИИ, который был бы умён во всём» и в состоянии выполнять задачи в самых различных сферах. В обозримом будущем всё бо́льшая доля человеческой деятельности будет определяться алгоритмами ИИ. Но эти алгоритмы, будучи математическими интерпретациями имеющихся данных, никак не объясняют реальность, которая их породила. Парадоксально, но по мере того, как мир становится всё более прозрачным, он одновременно становится и всё более мистическим. Что будет отличать этот дивный новый мир от того, к которому мы привыкли? Как мы будем в нём жить? Как мы будем управлять ИИ, улучшать его, или как минимум не давать ему вредить — и, наконец, самая зловещая перспектива: ИИ будет учиться быстрее и лучше, чем люди, что с течением времени обессмыслит человеческие способности и само существование людей сведётся к потоку данных.

ИИ со временем способен принести колоссальную пользу в медицине, производстве чистой энергии, экологии и множестве других областей. Но именно потому, что ИИ способен принимать решения о событиях в их развитии, о ещё не предопределённом будущем, результаты его решений не могут не быть неопределёнными и неясными. Есть три соображения внушают особую тревогу.

Во-первых, ИИ может достичь непредвиденных результатов. Научная фантастика полна описаний того, как ИИ восстаёт против своих создателей. Более вероятно, однако, что он просто неверно поймёт человеческие инструкции из-за того, что он не анализирует ситуацию в контексте. В качестве недавнего примера можно привести нашумевший случай с ИИ-чатботом Тэй, который замышлялся для ведения дружеских бесед на основе речевых шаблонов 19-летней девушки. Но чатбот не сумел понять, что значит быть «дружелюбным», как подразумевали создатели, и вместо этого принялся делать расистские, сексистские и иные оскорбительные высказывания. Кое-кто в техномире заявляет, что этот эксперимент просто был плохо задуман и неверно поставлен, но он доказывает существование бесспорной неясности: до какой степени мы в состоянии научить ИИ понимать контекст в получаемых им инструкциях? Что повлияло на понимание Тэй слова «оскорбительный» — особенно учитывая то, что и сами люди трактуют его весьма неоднозначно? Можем ли мы на ранней стадии заметить и исправить ИИ, который действует не так, как мы это задумывали? Или же этот ИИ, будучи предоставлен сам себе, будет накапливать мелкие отклонения, которые со временем, однако, приведут к катастрофическим последствиям?

Во-вторых, достигая поставленных целей, ИИ может изменить человеческие мыслительные процессы и ценности. AlphaGo нанёс поражение чемпионами мира по игре в го, поскольку совершал стратегически немыслимые ходы — ходы, которые люди не могли предвидеть и не научились успешно отражать. Находятся ли такие ходы за пределами возможностей человеческого мозга? Или же люди тоже смогут им научиться под руководством нового наставника?

До того, как в го начал играть ИИ, игра преследовала сложные цели: игрок старался не только выиграть, но и изучить новые стратегии, которые потенциально были бы применимы и в других областях жизни. Напротив, ИИ руководствуется единственной целью: победить. Он «учится» не в рамках концепций, а строго математически, внося небольшие изменения в собственные алгоритмы. Таким образом, учась выигрывать в го с целью, отличной от человеческих, ИИ может повлиять и на сам характер этой игры. Можно ли утверждать, что эта узкая направленность на победу характерна для ИИ вообще?

Другие ИИ работают над изменением человеческого мышления, разрабатывая устройства, которые могут давать веер ответов на запросы людей. Если не принимать во внимание сугубо практические вопросы («какая температура на улице?»), то определённые опасения внушают вопросы о природе нашей реальности и смысле жизни. Хотим ли мы, чтобы наши дети постигали жизненные ценности, общаясь с алгоритмами? Не следует ли нам защитить свою конфиденциальность, ограничив возможность ИИ изучать тех, кто задаёт ему вопросы? Если да, то как этого достичь?

Если ИИ способен учиться неизмеримо быстрее людей, то мы можем ожидать, что методом проб и ошибок, который обычно используют люди для принятия решений, он тоже будет пользоваться неизмеримо быстрее: ИИ будет делать ошибки чаще и масштабнее, чем люди. Возможно, мы не сумеем ограничить эти ошибки, как предлагают исследователи в области ИИ, включая в программу «этические» и «рациональные» требования. Из-за того, что человечество не смогло предельно чётко описать данные категории, возникли целые академические дисциплины. Станет ли ИИ судьёй над ними?

В-третьих, ИИ может достичь необходимых целей, но не сумеет объяснить принцип своих решений. В определённых областях — распознавание образов, анализ больших данных, игры — способности ИИ могут превосходить человеческие. Если вычислительные мощности будут быстро расти, ИИ вскоре научится оптимизировать различные ситуации способами, которые будут несколько отличаться, а возможно радикально отличаться от способов оптимизации, характерных для людей. Но если до этого дойдёт, то сможет ли ИИ объяснить людям, почему его решения оптимальны? Или же процесс принятия таких решений окажется за пределами человеческого языка и разумения? На протяжении всей человеческой истории различные цивилизации старались различными способами объяснять мир вокруг себя: в Средневековье — религией, в эпоху Просвещения — разумом, в XIX веке — историей, в XX веке — идеологией. Сложнейшим, но и важнейшим вопросом о том новом мире, в который мы идём, является следующий: что случится с человеческим сознанием, если ИИ превзойдёт его объяснительные способности, и наше общество больше не сможет описывать мир, в котором живёт, в понятных для себя терминах?

Как будет определяться сознание в мире машин, которые переведут человеческий опыт в математические данные, выраженные через собственную память? Кто будет нести ответственность за действия ИИ? Как определять сферу ответственности за ошибки ИИ? Сможет ли созданная людьми правовая система поспеть за действиями ИИ, который в состоянии молниеносно отыскивать увёртки и лазейки в ней?

В конечном итоге термин «искусственный интеллект» может оказаться ошибочным. Разумеется, машины в состоянии решать сложные абстрактные проблемы, которые ранее поддавались только человеческому разуму. Но они на самом деле не думают в том смысле, который мы вкладываем в это слово. Скорее речь идёт о невероятной способности к запоминанию и вычислению. Из-за своего врождённого превосходства в данных областях ИИ, скорее всего, в состоянии выиграть любую игру, которую ему дадут. Но с человеческой точки зрения, смысл игр не только в выигрыше, а в способности мыслить. Если мы относимся к математическим процессам как к мыслительным, если мы сами либо пытаемся подражать этим процессам или просто принимаем их результаты, то мы подвергаемся опасности потерять те способности, которые всегда были самой сутью человеческого мышления.

Последствия такой эволюции можно показать на примере недавно созданной программы AlphaZero, которая играет в шахматы лучше гроссмейстеров, и при этом в таком стиле, который в истории шахмат ранее не встречался. Всего за несколько часов игры сама с собой программа достигла уровня мастерства, для которого человечеству понадобилось 1500 лет. AlphaZero научили лишь основным правилам игры. Ни люди, ни созданное ими знание не принимали участие в самообучении ИИ. Если AlphaZero поднялся к вершинам мастерства за такой срок, то на что он будет способен через пять лет? Какое влияние это окажет на человеческую способность к познанию? Какую роль может играть этика в процессе, который по сути сводится к сверхбыстрому перебору возможностей?

Обычно такие вопросы отдают на откуп техническим специалистам и интеллигенции из смежных научных дисциплин. Философы и прочие гуманитарии, которые заложили основы нынешнего миропорядка, оказываются в невыгодной позиции, поскольку у них нет понимания основ ИИ, и зачастую они склонны сильно переоценивать его возможности. В таких условиях научный мир обязан исследовать технические возможности собственного изобретения, но научный мир слишком озабочен коммерческими выгодами невиданного масштаба. В результате обе стороны расширяют границы изведанного, не вполне понимая, что именно они открывают. Правительство же, насколько оно вообще занимается этим вопросом, куда более склонно анализировать его с точки зрения применения ИИ в охране правопорядка и разведке вместо того, чтобы отслеживать те изменения в обществе, которые уже вызывает к жизни это изобретение.

Просвещение началось тогда, когда философские концепции сделались общедоступными благодаря новым технологиям. Сейчас мы движемся в обратном направлении. Мы изобрели могущественную технологию, но не нашли для неё философских принципов. Другие страны сделали создание ИИ общенациональным проектом. Соединённые Штаты на правительственном уровне пока не приступили к полномасштабному изучению ИИ и возможных последствий его применения. Этот вопрос следует сделать приоритетным, и прежде всего с точки зрения связи ИИ с гуманистическими традициями.

Разработчики ИИ, столь же неискушённые в политике и философии, как я сам в технологиях, должны задать себе ряд вопросов, которые я упомянул выше, чтобы встроить ответы в своё детище. Американскому правительству следует учредить президентскую комиссию из числа выдающихся мыслителей, чтобы выработать национальную политику по отношению к ИИ. Одно можно утверждать со всей уверенностью: если мы не приступим к этой задаче как можно скорее, то уже в ближайшем будущем обнаружим, что стало слишком поздно.

Оригинал текста