Book: Искусственный интеллект. Этапы. Угрозы. Стратегии



Искусственный интеллект. Этапы. Угрозы. Стратегии
Искусственный интеллект. Этапы. Угрозы. Стратегии

Ник Бостром

Искусственный интеллект

Этапы. Угрозы. Стратегии


Эту книгу хорошо дополняют


Теория игр

Авинаш Диксит и Барри Нэлбафф


Brainiac

Кен Дженнингс


Удовольствие от x

Стивен Строгац

Nick Bostrom


Superintelligence

Paths, Dangers, Strategies

Информация от издательства

Научные редакторы М. С. Бурцев, Е. Д. Казимирова, А. Б. Лаврентьев

Издано с разрешения Alexander Korzhenevski Agency

На русском языке публикуется впервые



Бостром, Ник

Искусственный интеллект. Этапы. Угрозы. Стратегии / Ник Бостром ; пер. с англ. С. Филина. — М. : Манн, Иванов и Фербер, 2016.

ISBN 978-5-00057-810-0

Все права защищены.

Никакая часть данной книги не может быть воспроизведена в какой бы то ни было форме без письменного разрешения владельцев авторских прав.

Правовую поддержку издательства обеспечивает юридическая фирма «Вегас-Лекс»

This book was originally published in English in 2014. This translation is published by arrangement with Oxford University Press. Publisher is solely responsible for this translation from the original work and Oxford University Press shall have no liability for any errors, omissions or inaccuracies or ambiguities in such translation or for any losses caused by reliance thereon.

© Nick Bostrom, 2014

© Перевод на русский язык, издание на русском языке, оформление. ООО «Манн, Иванов и Фербер», 2016

Предисловие партнера

…У меня есть один знакомый, — сказал Эдик. — Он утверждает, будто человек — промежуточное звено, необходимое природе для создания венца творения: рюмки коньяка с ломтиком лимона.

Аркадий и Борис Стругацкие. Понедельник начинается в субботу

Компьютеры, а точнее алгоритмы, опирающиеся на непрерывно растущие вычислительные мощности, лучше людей играют в шахматы, шашки и нарды. Они очень неплохо водят самолеты. Они смогли пройти тест Тьюринга, убедив судей в своей «человечности». Однажды таксист в Дублине — городе, где расположены европейские штаб-квартиры многих глобальных IT-компаний, — сказал мне, что приветствует бурное развитие технологического сектора своей страны, но потом с сожалением добавил: «Одна беда — из-за этих умных ребят довольно скоро таксисты будут не нужны». Автомобили без водителей, управляемые компьютерами, уже проходят испытания на обычных дорогах в нескольких странах. По мнению философа Ника Бострома, чью книгу вы держите в руках, — все это звенья одной цепи и довольно скоро из-за развития компьютерных технологий нам всем, человеческому роду, может прийти конец.

Автор считает, что смертельная угроза связана с возможностью создания искусственного интеллекта, превосходящего человеческий разум. Катастрофа может разразиться как в конце XXI века, так и в ближайшие десятилетия. Вся история человечества показывает: когда происходит столкновение представителя нашего вида, человека разумного, и любого другого, населяющего нашу планету, побеждает тот, кто умнее. До сих пор умнейшими были мы, но у нас нет гарантий, что так будет длиться вечно.

Ник Бостром пишет, что если умные компьютерные алгоритмы научатся самостоятельно делать еще более умные алгоритмы, а те, в свою очередь, еще более умные, случится взрывной рост искусственного интеллекта, по сравнению с которым люди будут выглядеть приблизительно как сейчас муравьи рядом с людьми, в интеллектуальном смысле, конечно. В мире появится новый, хотя и искусственный, но сверхразумный вид. Неважно, что ему «придет в голову», попытка сделать всех людей счастливыми или решение остановить антропогенное загрязнение мирового океана наиболее эффективным путем, то есть уничтожив человечество, — все равно сопротивляться этому у людей возможности не будет. Никаких шансов на противостояние в духе кинофильма про Терминатора, никаких перестрелок с железными киборгами. Нас ждет шах и мат — как в поединке шахматного компьютера «Дип Блю» с первоклассником.

За последнюю сотню-другую лет достижения науки у одних пробуждали надежду на решение всех проблем человечества, у других вызывали и вызывают безудержный страх. При этом, надо сказать, обе точки зрения выглядят вполне оправданными. Благодаря науке побеждены страшные болезни, человечество способно сегодня прокормить невиданное прежде количество людей, а из одной точки земного шара можно попасть в противоположную меньше чем за сутки. Однако по милости той же науки люди, используя новейшие военные технологии, уничтожают друг друга с чудовищной скоростью и эффективностью.

Подобную тенденцию — когда быстрое развитие технологий не только приводит к образованию новых возможностей, но и формирует небывалые угрозы, — мы наблюдаем и в области информационной безопасности. Вся наша отрасль возникла и существует исключительно потому, что создание и массовое распространение таких замечательных вещей, как компьютеры и интернет, породило проблемы, которые было бы невозможно вообразить в докомпьютерную эру. В результате появления информационных технологий произошла революция в человеческих коммуникациях. В том числе ею воспользовались разного рода киберпреступники. И только сейчас человечество начинает постепенно осознавать новые риски: все больше объектов физического мира управляются с помощью компьютеров и программного обеспечения, часто несовершенного, дырявого и уязвимого; все большее число таких объектов имеют связь с интернетом, и угрозы кибермира быстро становятся проблемами физической безопасности, а потенциально — жизни и смерти.

Именно поэтому книга Ника Бострома кажется такой интересной. Первый шаг для предотвращения кошмарных сценариев (для отдельной компьютерной сети или всего человечества) — понять, в чем они могут состоять. Бостром делает очень много оговорок, что создание искусственного интеллекта, сравнимого с человеческим разумом или превосходящего его, — искусственного интеллекта, способного уничтожить человечество, — это лишь вероятный сценарий, который может и не реализоваться. Конечно, вариантов много, и развитие компьютерных технологий, возможно, не уничтожит человечество, а даст нам ответ на «главный вопрос жизни, Вселенной и всего такого» (возможно, это и впрямь окажется число 42, как в романе «Автостопом по Галактике»). Надежда есть, но опасность очень серьезная — предупреждает нас Бостром. На мой взгляд, если вероятность такой экзистенциальной угрозы человечеству существует, то отнестись к ней надо соответственно и, чтобы предотвратить ее и защититься от нее, следует предпринять совместные усилия в общемировом масштабе.

Завершить свое вступление хочется цитатой из книги Михаила Веллера «Человек в системе»:



Когда фантастика, то бишь оформленная в образы и сюжеты мысль человеческая, долго и детально что-то повторяет — ну так дыма без огня не бывает. Банальные голливудские боевики о войнах людей с цивилизацией роботов несут в себе под шелухой коммерческого смотрива горькое зернышко истины.

Когда в роботы будет встроена передаваемая программа инстинктов, и удовлетворение этих инстинктов будет встроено как безусловная и базовая потребность, и это пойдет на уровень самовоспроизводства — вот тогда, ребята, кончай бороться с курением и алкоголем, потому что будет самое время выпить и закурить перед ханой всем нам.


Евгений Касперский,


генеральный директор «Лаборатории Касперского»

Неоконченная история о воробьях

Однажды, в самый разгар гнездования, утомленные многодневным тяжким трудом воробьи присели передохнуть на заходе солнца и пощебетать о том о сем.

— Мы такие маленькие, такие слабые. Представьте, насколько проще было бы жить, держи мы в помощниках сову! — мечтательно прочирикал один воробей. — Она могла бы вить нам гнезда…

— Ага! — согласился другой. — А еще присматривать за нашими стариками и птенцами…

— И наставлять нас, и защищать от соседской кошки, — добавил третий.

Тогда Пастус, самый старший воробей, предложил:

— Пусть разведчики полетят в разные стороны на поиски выпавшего из гнезда совенка. Впрочем, подойдет и совиное яйцо, и вороненок, и даже детеныш ласки. Эта находка обернется для нашей стаи самой большой удачей! Вроде той, когда мы обнаружили на заднем дворе неоскудевающий источник зерна.

Возбудившиеся не на шутку воробьи расчирикались что было мочи.

И только одноглазый Скронфинкл, въедчивый, с тяжелым нравом воробей, похоже, сомневался в целесообразности данного предприятия.

— Мы избрали гибельный путь, — убежденно промолвил он. — Разве не следует сначала серьезно проработать вопросы укрощения и одомашнивания сов, прежде чем впускать в свою среду такое опасное существо?

— Сдается мне, — возразил ему Пастус, — искусство приручения сов — задача не из простых. Найти совиное яйцо — и то чертовски сложно. Так что давайте начнем с поиска. Вот сумеем вывести совенка, тогда и задумаемся о проблемах воспитания.

— Порочный план! — нервно чирикнул Скронфинкл.

Но его уже никто не слушал. По указанию Пастуса воробьиная стая поднялась в воздух и отправилась в путь.

На месте остались лишь воробьи, решившие все-таки выяснить, как приручать сов. Довольно быстро они поняли правоту Пастуса: задача оказалась неимоверно сложной, особенно в отсутствие самой совы, на которой следовало бы практиковаться. Однако птицы старательно продолжали изучать проблему, поскольку опасались, что стая вернется с совиным яйцом прежде, чем им удастся открыть секрет, каким образом можно контролировать поведение совы.

Автору неизвестно, чем закончилась эта история, но он посвящает свою книгу Скронфинклу и всем его последователям.

Введение

Внутри нашего черепа располагается некая субстанция, благодаря которой мы можем, например, читать. Указанная субстанция — человеческий мозг — наделена возможностями, отсутствующими у других млекопитающих. Собственно, своим доминирующим положением на планете люди обязаны именно этим характерным особенностям. Некоторых животных отличает мощнейшая мускулатура и острейшие клыки, но ни одно живое существо, кроме человека, не одарено настолько совершенным умом. В силу более высокого интеллектуального уровня нам удалось создать такие инструменты, как язык, технология и сложная социальная организация. С течением времени наше преимущество лишь укреплялось и расширялось, поскольку каждое новое поколение, опираясь на достижения предшественников, шло вперед.

Если когда-нибудь разработают искусственный разум, превосходящий общий уровень развития человеческого разума, то в мире появится сверхмощный интеллект. И тогда судьба нашего вида окажется в прямой зависимости от действий этих разумных технических систем — подобно тому, как сегодняшняя участь горилл в большей степени определяется не самими приматами, а людскими намерениями.

Однако человечество действительно обладает неоспоримым преимуществом, поскольку оно и создает разумные технические системы. В принципе, кто мешает придумать такой сверхразум, который возьмет под свою защиту общечеловеческие ценности? Безусловно, у нас имеются весьма веские основания, чтобы обезопасить себя. В практическом плане нам придется справиться с труднейшим вопросом контроля — как управлять замыслами и действиями сверхразума. Причем люди смогут использовать один-единственный шанс. Как только недружественный искусственный интеллект (ИИ) появится на свет, он сразу начнет препятствовать нашим усилиям избавиться от него или хотя бы откорректировать его установки. И тогда судьба человечества будет предрешена.

В своей книге я пытаюсь осознать проблему, встающую перед людьми в связи с перспективой появления сверхразума, и проанализировать их ответную реакцию. Пожалуй, нас ожидает самая серьезная и пугающая повестка, которую когда-либо получало человечество. И независимо от того, победим мы или проиграем, — не исключено, что этот вызов станет для нас последним. Я не привожу здесь никаких доводов в пользу той или иной версии: стоим ли мы на пороге великого прорыва в создании искусственного интеллекта; возможно ли с определенной точностью прогнозировать, когда свершится некое революционное событие. Вероятнее всего — в нынешнем столетии. Вряд ли кто-то назовет более конкретный срок.

В первых двух главах я рассмотрю разные научные направления и слегка затрону такую тему, как темпы экономического развития. Однако в основном книга посвящена тому, что произойдет после появления сверхразума. Нам предстоит обсудить следующие вопросы: динамику взрывного развития искусственного интеллекта; его формы и потенциал; варианты стратегического выбора, которыми он будет наделен и вследствие которых получит решающее преимущество. После этого мы проанализируем проблему контроля и попытаемся решить важнейшую задачу: возможно ли смоделировать такие исходные условия, которые позволят нам сохранить собственное превосходство и в итоге выжить. В последних главах мы отойдем от частностей и посмотрим на проблему шире, чтобы охватить в целом ситуацию, сложившуюся в результате нашего изучения. Я предложу вашему вниманию некоторые рекомендации, что следует предпринять уже сегодня, дабы в будущем избежать катастрофы, угрожающей существованию человечества.

Писать эту книгу было нелегко. Надеюсь, что пройденный мною путь пойдет на пользу другим исследователям. Они без лишних препятствий достигнут новых рубежей и полные сил смогут быстрее включиться в работу, благодаря которой люди полностью осознают всю сложность стоящей перед ними проблемы. (Если все-таки дорога изучения покажется будущим аналитикам несколько извилистой и местами изрытой ухабами, надеюсь, они оценят, насколько непроходимым был ландшафт прежде.)

Невзирая на сложности, связанные с работой над книгой, я старался излагать материал доступным языком; правда, сейчас вижу, что не вполне с этим справился. Естественно, пока я писал, то мысленно обращался к потенциальному читателю и почему-то всегда в данной роли представлял себя, только несколько моложе настоящего, — получается, я делал книгу, которая могла бы вызвать интерес прежде всего у меня самого, но не обремененного прожитыми годами. Возможно, именно это определит в дальнейшем малочисленность читательской аудитории. Тем не менее, на мой взгляд, содержание книги будет доступно многим людям. Надо лишь приложить некоторые умственные усилия, перестать с ходу отвергать новые идеи и воздерживаться от искушения подменять все непонятное удобными стереотипами, которые мы все легко выуживаем из своих культурных запасов. Читателям, не обладающим специальными знаниями, не стоит пасовать перед встречающимися местами математическими выкладками и незнакомыми терминами, поскольку контекст всегда позволяет понять основную мысль. (Читатели, желающие, напротив, узнать больше подробностей, найдут много интересного в примечаниях[1].)

Вероятно, многое в книге изложено некорректно[2]. Возможно, я упустил из виду какие-то важные соображения, в результате чего некоторые мои заключения — а может быть, и все — окажутся ошибочными. Чтобы не пропустить мельчайший нюанс и обозначить степень неопределенности, с которой мы имеем дело, мне пришлось обратиться к специфическим маркерам — поэтому мой текст перегружен такими уродливыми словесными кляксами, как «возможно», «могло бы», «может быть», «похоже», «вероятно», «с большой долей вероятности», «почти наверняка». Однако я всякий раз прибегаю к помощи вводных слов крайне осторожно и весьма продуманно. Впрочем, для обозначения общей ограниченности гносеологических допущений одного такого стилистического приема явно недостаточно; автор должен выработать системный подход, чтобы рассуждать в условиях неопределенности и прямо указывать на возможность ошибки. Речь ни в коей мере не идет о ложной скромности. Искренне признаю, что в моей книге могут быть и серьезные заблуждения, и неверные выводы, но при этом я убежден: альтернативные точки зрения, представленные в литературе, — еще хуже. Причем это касается и общепринятой «нулевой гипотезы», согласно которой на сегодняшний день мы можем с абсолютным основанием игнорировать проблему появления сверхразума и чувствовать себя в полной безопасности.



Глава первая

Прошлые достижения и сегодняшние возможности

Начнем с обращения к далекому прошлому. В общих чертах история представляет собой последовательность различных моделей роста, причем процесс носит прогрессивно ускоряющийся характер. Эта закономерность дает нам право предполагать, что возможен следующий — еще более быстрый — период роста. Однако вряд ли стоит придавать слишком большое значение подобному соображению, поскольку тема нашей книги — не «технологическое ускорение», не «экспоненциальный рост» и даже не те явления, которые обычно подаются под понятием «сингулярность». Далее мы обсудим историю вопроса: как развивались исследования по искусственному интеллекту. Затем перейдем к текущей ситуации: что сегодня происходит в этой области. И наконец, остановимся на некоторых последних оценках специалистов и поговорим о нашей неспособности прогнозировать сроки дальнейшего развития событий.


Модели роста и история человечества

Всего несколько миллионов лет назад предки людей еще жили в кронах африканских деревьев, перепрыгивая с ветки на ветку. Появление Homo sapiens, или человека разумного, отделившегося от наших общих с человекообразными обезьянами предков, с геологической и даже эволюционной точки зрения происходило очень плавно. Древние люди принимали вертикальное положение, а большие пальцы на их кистях стали заметно отстоять от остальных. Однако самое главное — происходили относительно незначительные изменения в объеме мозга и организации нервной системы, что в конце концов привело к гигантскому рывку в умственном развитии человека. Как следствие, у людей появилась способность к абстрактному мышлению. Они начали не только стройно излагать сложные мысли, но и создавать информационную культуру, то есть накапливать сведения и знания и передавать их от поколения к поколению. Надо сказать, человек научился делать это значительно лучше любых других живых существ на планете.

Древнее человечество, используя появившиеся у него способности, разрабатывало все более и более рациональные способы производства, благодаря чему смогло мигрировать далеко за пределы джунглей и саванн. Сразу после возникновения земледелия стремительно начали расти величина населения и его плотность. Больше народа — больше идей, причем высокая плотность способствовала не только быстрому распространению новых веяний, но и появлению разных специалистов, а это означало, что в среде людей шло постоянное совершенствование профессиональных навыков. Данные факторы повысили темпы экономического развития, сделали возможным рост производительности и формирование технического потенциала. В дальнейшем такой же по значимости прогресс, приведший к промышленной революции, вызвал второй исторический скачок в ускорении темпа роста.

Такая динамика темпа роста имела важные последствия. Например, на заре человечества, когда Землю населяли прародители современных людей, или гоминиды[3], экономическое развитие происходило слишком медленно, и потребовалось порядка миллиона лет для прироста производственных мощностей, чтобы население планеты позволило себе увеличиться на миллион человек, причем существовавших на грани выживания. А после неолитической революции, к 5000 году до н. э., когда человечество перешло от охотничье-собирательского общества к сельскохозяйственной экономической модели, темпы роста выросли настолько, что для такого же прироста населения хватило двухсот лет. Сегодня, после промышленной революции, мировая экономика растет примерно на ту же величину каждые полтора часа[4].

Существующий темп роста — даже если он законсервируется на относительно продолжительное время — приведет к впечатляющим результатам. Допустим, мировая экономика продолжит расти со средним темпом, характерным для последних пятидесяти лет, все равно население планеты в будущем станет богаче, чем сегодня: к 2050 году — в 4,8 раза, а к 2100 году — в 34 раза[5].

Однако перспективы стабильного экспоненциального роста меркнут в сравнении с тем, что может произойти, когда в мире свершится следующее скачкообразное изменение, темп развития которого по значимости и последствиям будет сравним с неолитической и промышленной революциями. По оценкам экономиста Робина Хэнсона, основанным на исторических данных о хозяйственной деятельности и численности населения, время удвоения экономик охотничье-собирательского общества эпохи плейстоцена составляло 224 тысячи лет, аграрного общества — 909 лет, индустриального общества — 6,3 года[6]. (В соответствии с парадигмой Хэнсона современная экономическая модель, имеющая смешанную аграрно-индустриальную структуру, еще не развивается в удвоенном темпе каждые 6,3 года.) Если в мировом развитии уже случился бы такой скачок, сопоставимый по своему революционному значению с двумя предыдущими, то экономика вышла бы на новый уровень и удваивала бы темпы роста примерно каждые две недели.

С точки зрения сегодняшнего дня подобные темпы развития кажутся фантастическими. Но и свидетели минувших эпох тоже вряд ли могли предположить, что темпы роста мировой экономики когда-нибудь будут удваиваться несколько раз на протяжении жизни одного поколения. То, что для них представлялось совершенно немыслимым, нами воспринимается как норма.

Идея приближения момента технологической сингулярности стала чрезвычайно популярной после появления новаторских работ Вернона Винджа, Рэя Курцвейла и других исследователей[7]. Впрочем, понятие «сингулярность», которое используется в самых разных значениях, уже приобрело устойчивый смысл в духе технологического утопизма и даже обзавелось ореолом чего-то устрашающего и в тоже время вполне величественного[8]. Поскольку большинство определений слова сингулярность не имеют отношения к предмету нашей книги, мы достигнем большей ясности, если избавимся от него в пользу более точных терминов.

Интересующая нас идея, связанная с понятием сингулярности, — это потенциальное взрывоподобное развитие интеллекта, особенно в перспективе создания искусственного сверхразума. Возможно, представленные на рис. 1 кривые роста убедят кого-то из вас, что мы стоим на пороге нового интенсивного скачка в темпе развития — скачка, сопоставимого с неолитической и промышленной революциями. Скорее всего, людям, доверяющим диаграммам, даже трудно вообразить сценарий, в котором время удвоения мировой экономики сокращается до недель без участия сверхмощного разума, во много раз превосходящего по скорости и эффективности своей работы наш привычный биологический ум. Однако не обязательно упражняться в рисовании кривых роста и экстраполяции исторических темпов экономического развития, чтобы начать ответственно относиться к революционному появлению искусственного интеллекта. Эта проблема настолько серьезна, что не нуждается в аргументации подобного рода. Как мы увидим, есть гораздо более веские причины проявлять осмотрительность.


Искусственный интеллект. Этапы. Угрозы. Стратегии

Искусственный интеллект. Этапы. Угрозы. Стратегии

Рис. 1. Динамика мирового ВВП за длительный исторический период. На линейной шкале история мировой экономики отображена как линия, сначала почти сливающаяся с горизонтальной осью, а затем резко устремляющаяся вертикально вверх. А. Даже расширив временные границы до десяти тысяч лет в прошлое, мы видим, что линия делает рывок вверх из определенной точки почти под девяносто градусов. Б. Линия заметно отрывается от горизонтальной оси только на уровне приблизительно последних ста лет. (Разность кривых на диаграммах объясняется разным набором данных, поэтому и показатели несколько отличаются друг от друга[9].)


Завышенные ожидания

С момента изобретения в 1940-х годах первых электронно-вычислительных машин люди не перестают прогнозировать появление компьютера, уровень интеллекта которого будет сравним с человеческим. Имеется в виду разумная техническая система, наделенная здравым смыслом, обладающая способностью к обучению и размышлению, умеющая планировать и комплексно обрабатывать информацию, собранную по самым разным источникам — реальным и теоретическим. В те времена многие ожидали, что такие машины станут реальностью уже лет через двадцать[10]. С тех пор сроки сдвигаются со скоростью одного года в год, то есть сегодня футурологи, убежденные в вероятности создания искусственного интеллекта, продолжают верить, что «умные машины» появятся через пару десятков лет[11].

Срок в двадцать лет любим всеми предсказателями коренных перемен. С одной стороны, это не слишком долго — и потому предмет обсуждения привлекает к себе широкое внимание; с другой стороны, это не так быстро, что дает возможность помечтать о целом ряде важнейших научных открытий — правда, представления о них на момент прогнозирования весьма расплывчаты, но их реализация практически не вызывает сомнения. Сопоставим это с более короткими прогностическими сроками, установленными для разных технологий, которым суждено оказать значительное влияние на мир: от пяти до десяти лет — на момент прогнозирования большинство технических решений уже частично применяются; пятнадцать лет — на момент прогнозирования эти технологии уже существуют в виде лабораторных версий. Кроме того, двадцатилетний срок чаще всего близок к средней продолжительности оставшейся профессиональной деятельности прогнозиста, что уменьшает репутационный риск, связанный с его дерзким предсказанием.

Впрочем, из-за слишком завышенных и несбывшихся ожиданий прошлых лет не следует сразу делать вывод, что создание искусственного интеллекта невозможно в принципе и что никто никогда не будет его разрабатывать[12]. Основная причина, почему прогресс шел медленнее, чем предполагалось, связана с техническими проблемами, возникавшими при разработке разумных машин. Первопроходцы не предусмотрели всех трудностей, с которыми им пришлось столкнуться. Причем вопросы: велика ли степень серьезности этих препятствий и насколько мы далеки от их преодоления — до сих пор остаются открытыми. Порою задачи, первоначально кажущиеся безнадежно сложными, имеют удивительно простое решение (хотя чаще, пожалуй, бывает наоборот).

Мы рассмотрим пути, которые могут привести к появлению искусственного интеллекта, не уступающего человеческому, в следующей главе. Но уже сейчас хотелось бы обратить ваше внимание на один важный аспект. Нас ожидает много остановок между нынешним отправным пунктом и тем будущим, когда появится искусственный интеллект, но этот момент — отнюдь не конечная станция назначения. Довольно близкой от нее следующей остановкой будет станция «Сверхразум» — осуществление искусственного интеллекта такого уровня, который не просто равен человеческому уму, а значительно превосходит его. После последней остановки наш поезд разгонится до такой степени, что у станции «Человек» не сможет не только остановиться, но даже замедлить ход. Скорее всего, он со свистом промчится мимо. Британский математик Ирвинг Джон Гуд, работавший во времена Второй мировой войны шифровальщиком в команде Алана Тьюринга, скорее всего, был первым, кто изложил важнейшие подробности этого сценария. В своей часто цитируемой статье 1965 года о первых сверхразумных машинах он писал:

Давайте определим сверхразумную машину как машину, которая в значительной степени превосходит интеллектуальные возможности любого умнейшего человека. Поскольку создание таких машин является результатом умственной деятельности человека, то машина, наделенная сверхразумом, будет способна разрабатывать еще более совершенные машины; вследствие этого, бесспорно, случится такой «интеллектуальный взрыв», что человеческий разум окажется отброшенным далеко назад. Таким образом, первая сверхразумная машина станет последним достижением человеческого ума — правда, лишь в том случае, если она не обнаружит достаточную сговорчивость и сама не объяснит нам, как держать ее под контролем[13].

Взрывное развитие искусственного интеллекта может повлечь за собой один из главных экзистенциальных рисков[14]— в наши дни такое положение вещей воспринимается как тривиальное; следовательно, перспективы подобного роста должны оцениваться с крайней серьезностью, даже если было бы заведомо известно (но это не так), что вероятность угрозы относительно низка. Однако пионеры в области искусственного интеллекта, несмотря на всю убежденность в неминуемом появлении искусственного интеллекта, не уступающего человеческому, в массе своей отрицали возможность появления сверхразума, превосходящего человеческий ум. Создается впечатление, что их воображение — в попытках постичь предельную возможность будущих машин, сравнимых по своим мыслительным способностям с человеком, — просто иссякло, и они легко прошли мимо неизбежного вывода: дальнейшим шагом станет рождение сверхразумных машин.

Большинство первопроходцев не поддерживали зарождавшееся в обществе беспокойство, считая полной ерундой, будто их проекты несут в себе определенный риск для человечества[15]. Никто из них ни на словах, ни на деле — ни одного серьезного исследования на эту тему — не пытался осмыслить ни тревогу по поводу безопасности, ни этические сомнения, связанные с созданием искусственного интеллекта и потенциального доминирования компьютеров; данный факт вызывает удивление даже на фоне характерных для той эпохи не слишком высоких стандартов оценки новых технологий[16]. Остается только надеяться, что ко времени, когда их смелый замысел в итоге воплотится в жизнь, мы не только сумеем достичь достойного научно-технического опыта, чтобы нейтрализовать взрывное развитие искусственного интеллекта, но и поднимемся на высочайший уровень профессионализма, которое совсем не помешает, если человечество хочет пережить пришествие сверхразумных машин в свой мир.

Но прежде чем обратить свой взор в будущее, было бы полезно коротко напомнить историю создания машинного интеллекта.


Путь надежды и отчаяния

Летом 1956 года в Дартмутском колледже собрались на двухмесячный семинар десять ученых, объединенных общим интересом к нейронным сетям, теории автоматов и исследованию интеллекта. Время проведения Дартмутского семинара обычно считают точкой отсчета новой области науки — изучения искусственного интеллекта. Большинство его участников позднее будут признаны основоположниками этого направления. Насколько оптимистично ученые глядели в будущее, говорит текст их обращения в Фонд Рокфеллера, собиравшийся финансировать мероприятие:

Нами предполагается провести семинар по исследованию искусственного интеллекта, который продлится два месяца и в котором примут участие десять ученых… Изучение вопроса будет опираться на предположение, что на сегодняшний день существует принципиальная возможность моделирования интеллекта, поскольку теперь мы в состоянии точно описать каждый аспект обучения машины и любые отличительные признаки умственной деятельности. Будет предпринята попытка определить пути, как разработать машину, способную использовать язык, формировать абстракции и концепции, решать задачи, сейчас доступные лишь человеческому уму, и саморазвиваться. Считаем, что добьемся существенного прогресса в решении отдельных указанных проблем, если тщательно отобранная группа специалистов получит возможность трудиться сообща в течение лета.

После эпохального события, отмеченного столь энергичным прологом, прошло шестьдесят лет, за которые исследования в области искусственного интеллекта преодолели нелегкий путь: от громогласного ажиотажа до падения интереса, от завышенных ожиданий к обманутым надеждам.

Первый период всеобщего воодушевления начался с Дартмутского семинара. Позднее его главный организатор Джон Маккарти описал это время как эпоху вполне успешного освоения в духе детского «смотри, мам, без рук могу!». В те далекие годы ученые выстраивали системы, целью которых было опровергнуть довольно часто звучавшие утверждения скептиков, будто машины «ни на что не способны». Чтобы парировать удар, исследователи искусственного интеллекта разрабатывали небольшие программы, которые выполняли действие Х в условном микромире (четко определенной ограниченной области, предназначенной для демонстрации упрощенной версии требуемого поведения), тем самым доказывая правильность концепции и показывая принципиальную возможность выполнения действия Х машинами. Одна из таких ранних систем, названная «Логик-теоретик» (Logical Theorist), смогла доказать большую часть теорем из второго тома «Оснований математики» (Principia Mathematica) Альфреда Уайтхеда и Бертрана Рассела[17]; причем одно из доказательств оказалось изящнее оригинального. Тем самым ученые, продемонстрировав способность машины к дедукции и созданию логических построений, сумели развеять миф, будто она «мыслит лишь цифрами»[18]. За «Логик-теоретик» последовала программа «Универсальный решатель задач» (General Problem Solver, GPS), предназначенная решать, в принципе, любую формально определенную задачу[19]. Были созданы системы, которые справлялись с такими проблемами, как: математические задачи университетских курсов первого года обучения; визуальные головоломки по выявлению геометрических аналогий, применяемые при проверке показателя интеллекта; простые вербальные задачи по алгебре[20]. Робот «Трясучка» (Shakey) — названный так из-за вибрации во время работы — показал, что машина может продумывать и контролировать свою двигательную активность, когда логическое мышление совмещено с восприятием окружающей действительности[21]. Программа ELIZA прекрасно имитировала поведение психотерапевта[22]. В середине 1970-х годов программа SHRDLU продемонстрировала, как смоделированный робот в смоделированном мире спокойно манипулирует объемными геометрическими фигурами, не только выполняя инструкции пользователя, но и отвечая на его вопросы[23]. В последующие десятилетия были созданы программы, способные сочинять классическую музыку разных жанров, решать проблемы клинической диагностики быстрее и увереннее врачей-стажеров, самостоятельно управлять автомобилями и делать патентоспособные изобретения[24]. Появилась даже интеллектуальная система, выдававшая оригинальные шутки[25] (не сказать, чтобы уровень был высок, но дети, как говорят, находили их забавными).



Однако методы, хорошо зарекомендовавшие себя при разработке тех первых, практически демонстрационных, образцов интеллектуальных систем, не удавалось применить в тех случаях, когда речь заходила о широком спектре проблем и более трудных задачах. Одна из причин заключалась в комбинаторном взрыве, то есть скачкообразном росте количества возможных вариантов, которые приходилось изучать с помощью средств, основанных на простейшем методе перебора. Этот метод хорошо себя проявил на примере несложных задач, но не подходил для чуть более трудных. Например, для решения теоремы с доказательством длиной в пять строк системе логического вывода с одним правилом и пятью аксиомами требовалось просто пронумеровать все 3125 возможных комбинаций и проверить, какая из них приведет к нужному заключению. Исчерпывающий поиск также работал для доказательств длиной в шесть или семь строк. Но поиск методом полного перебора возможных вариантов начинал пробуксовывать, когда проблема усложнялась. Время для решения теоремы с доказательством не в пять, а пятьдесят строк будет отнюдь не в десять раз больше: если использовать полный перебор, то потребуется проверить 550 ≈ 8,9 × 1034 возможных последовательностей — вычислительно немыслимая задача даже для самого сверхмощного компьютера.

Чтобы справиться с комбинаторным взрывом, нужны алгоритмы, способные анализировать структуру целевой области и использовать преимущества накопленного знания за счет эвристического поиска, долгосрочного планирования и свободных абстрактных представлений, — однако в первых интеллектуальных системах все перечисленные возможности были разработаны довольно плохо. Кроме того, из-за ряда обстоятельств — неудовлетворительные методы обработки неопределенности, использование нечетких и произвольных символических записей, скудость данных, серьезные технические ограничения по объему памяти и скорости процессора — страдала общая производительность этих систем. Осознание проблем пришло к середине 1970-х годов. Осмысление того, что многие проекты никогда не оправдают возложенных на них ожиданий, обусловило приход первой «зимы искусственного интеллекта»: наступил период регресса, в течение которого сократилось финансирование и вырос скептицизм, а сама идея искусственного интеллекта перестала быть модной.

Весна вернулась в начале 1980-х годов, когда в Японии решили приступить к созданию компьютера пятого поколения. Страна собиралась совершить мощный бросок в будущее и сразу выйти на сверхсовременный уровень технологического развития, разработав архитектуру параллельных вычислительных систем для сверхмощных компьютеров с функциями искусственного интеллекта. Это была хорошо финансируемая правительственная программа с привлечением крупных частных компаний. Появление проекта совпало со временем, когда японское послевоенное чудо приковывало к себе внимание всего западного мира: политические и деловые круги с восхищением и тревогой следили за успехами Японии, стремясь разгадать секретную формулу ее экономического взлета и надеясь воспроизвести ее у себя дома. Как только Япония решила инвестировать огромные средства в изучение искусственного интеллекта, ее примеру последовали многие высокоразвитые страны.

В последующие годы широкое распространение получили экспертные системы, призванные заменить специалистов-экспертов при разрешении проблемных ситуаций. Они представляли собой автоматизированные компьютерные системы, программы которых базировались на наборе правил, позволяющих распознавать ситуации и делать простые логические умозаключения, выводя их из баз знаний, составленных специалистами в соответствующих предметных областях и переведенных на формальный машинный язык. Были разработаны сотни таких экспертных систем. Однако выяснилось, что от небольших систем толку мало, а более мощные оказались слишком громоздкими в применении и дорогостоящими в разработке, апробации и постоянном обновлении. Специалисты пришли к выводу, что непрактично использовать отдельный компьютер для выполнения всего одной программы. Таким образом, уже к концу 1980-х годов этот период подъема тоже выдохся.

Японский проект, связанный с появлением компьютера пятого поколения, в принципе, провалился, как и аналогичные разработки в США и Европе. Наступила вторая зима искусственного интеллекта. Теперь маститый критик мог вполне обоснованно посетовать, что, мол, «вся история исследований искусственного интеллекта вплоть до сегодняшнего дня складывается из череды отдельных эпизодов, когда, как правило, очень умеренная удача на исключительно узком участке работы довольно скоро оборачивается полной несостоятельностью на более широком поле, к исследованию которого, казалось бы, поощрял первоначальный успех»[26]. Частные инвесторы старались держаться на почтительном расстоянии от любых начинаний, имевших малейшее отношение к проблеме искусственного интеллекта. Даже в среде ученых и финансировавших их организаций сам этот термин стал нежелательным[27].

Однако технический прогресс не стоял на месте, и к 1990-м годам вторая зима искусственного интеллекта сменилась оттепелью. Всплеску оптимизма способствовало появление новых методов, которые, казалось, придут на смену привычному логическому программированию — обычно его именуют или «старый добрый искусственный интеллект, или «классический искусственный интеллект» (КИИ). Эта традиционная парадигма программирования была основана на высокоуровневой манипуляции символами и достигла своего расцвета в 1980-е годы, в период увлечения экспертными системами. Набиравшие популярность интеллектуальные методы, например, такие как нейронные сети и генетические алгоритмы, подавали надежду, что все-таки удастся преодолеть присущие КИИ недостатки, в частности, его «уязвимость» (машина обычно выдавала полную бессмыслицу, если программист делал хотя бы одно ошибочное предположение). Новые методы отличались лучшей производительностью, поскольку больше опирались на естественный интеллект. Например, нейронные сети обладали таким замечательным свойством, как отказоустойчивость: небольшое нарушение приводило лишь к незначительному снижению работоспособности, а не полной аварии. Еще важнее, что нейронные сети представляли собой самообучающиеся интеллектуальные системы, то есть накапливали опыт, умели делать выводы из обобщенных примеров и находить скрытые статистические образы во вводимых данных[28]. Это делало сети хорошим инструментом для решения задач классификации и распознавания образов. Например, создав определенный набор сигнальных данных, можно было обучить нейронную сеть воспринимать и распознавать акустические особенности подводных лодок, мин и морских обитателей с большей точностью, чем это могли делать специалисты, — причем система справлялась без всяких предварительных выяснений, какие нужно задать параметры, чтобы учитывать и сопоставлять те или иные характеристики.

Хотя простые модели нейронных сетей были известны с конца 1950-х годов, ренессанс в этой области начался после создания метода обратного распространения ошибки, который позволил обучать многослойные нейронные сети[29]. Такие многослойные сети, в которых имелся как минимум один промежуточный («скрытый») слой нейронов между слоями ввода и вывода, могут обучиться выполнению гораздо большего количества функций по сравнению с их более простыми предшественниками[30]. В сочетании с последним поколением компьютеров, ставших к тому времени намного мощнее и доступнее, эти усовершенствования алгоритма обучения позволили инженерам строить нейронные сети, достаточно успешно решающие практические задачи во многих областях применения.

По своим свойствам и функциональному сходству с биологическим мозгом нейронные сети выгодно отличались от жестко заданной логики и уязвимости традиционных, основанных на определенных правилах систем КИИ. Контраст оказался настолько сильным, что даже возникла очередная концепция коннективистской модели; сам термин коннективизм[31] особенно подчеркивал важность массово-параллельной обработки субсимвольной информации. С тех пор об искусственных нейронных сетях написано более ста пятидесяти тысяч научных работ, а сами сети продолжают оставаться важным методом в области машинного обучения.

Еще одним фактором, приблизившим приход очередной весны искусственного интеллекта, стали генетический алгоритм и генетическое программирование. Эти разновидности методов эволюционных вычислений получили довольно широкую известность, хотя, возможно, с научной точки зрения не приобрели столь большого значения, как нейронные сети. В эволюционных моделях в первую очередь создаются начальные популяции тех или иных решений (могут быть либо структуры данных, либо программы обработки данных), затем — в результате случайной мутации и размножения («скрещивания») имеющихся популяций — генерируются новые популяции. Периодически вследствие применения критерия отбора (по наличию целевой функции, или функции пригодности) количество популяций сокращается, что позволяет войти в новое поколение лишь лучшим решениям-кандидатам. В ходе тысяч итераций среднее качество решений в популяции постепенно повышается. С помощью подобных алгоритмов генерируются самые продуктивные программы, способные ориентироваться в весьма широком круге вопросов; причем отобранные решения иногда на удивление получаются новаторскими и неожиданными, чаще напоминающими естественную систему, нежели смоделированную человеком структуру. Весь процесс может происходить, по сути, без участия человека, за исключением случаев, когда необходимо назначить целевую функцию, которая, в принципе, определяется очень просто. Однако на практике, чтобы эволюционные методы работали хорошо, требуются и профессиональные знания, и талант, особенно при создании понятного формата представления данных. Без эффективного метода кодирования решений-кандидатов (генетического языка, адекватного латентной структуре целевой области) эволюционный процесс, как правило, или бесконечно блуждает в открытом поисковом пространстве, или застревает в локальном оптимуме. Но даже когда найден правильный формат представления, эволюционные вычисления требуют огромных вычислительных мощностей и часто становятся жертвой комбинаторного взрыва.

Такие примеры новых методов, как нейронные сети и генетические алгоритмы, сумели стать альтернативой закосневшей парадигме КИИ и потому вызвали в 1990-е годы новую волну интереса к интеллектуальным системам. Но у меня нет намерений ни воздавать им хвалу, ни возносить на пьедестал в ущерб другим методам машинного обучения. По существу, одним из главных теоретических достижений последних двадцати лет стало ясное понимание, что внешне несходные методы могут считаться особыми случаями в рамках общей математической модели. Скажем, многие типы искусственных нейронных сетей могут рассматриваться как классификаторы, выполняющие определенные статистические вычисления (оценка по максимуму правдоподобия)[32]. Такая точка зрения позволяет сравнивать нейронные сети с более широким классом алгоритмов для обучения классификаторов по примерам — деревья принятия решений, модели логистической регрессии, методы опорных векторов, наивные байесовские классификаторы, методы ближайшего соседа[33]. Точно так же можно считать, что генетические алгоритмы выполняют локальный стохастический поиск с восхождением к вершине, который, в свою очередь, является подмножеством более широкого класса алгоритмов оптимизации. Каждый из этих алгоритмов построения классификаторов или поиска в пространстве решений имеет свой собственный набор сильных и слабых сторон, которые могут быть изучены математически. Алгоритмы различаются требованиями ко времени вычислений и объему памяти, предполагаемыми областями применения, легкостью, с которой в них может быть включен созданный вовне контент, а также тем, насколько прозрачен для специалистов механизм их работы.

За суматохой машинного обучения и творческого решения задач скрывается набор хорошо понятных математических компромиссов. Вершиной является идеальный байесовский наблюдатель, то есть тот, кто использует доступную ему информацию оптимальным с вероятностной точки зрения способом. Однако эта вершина недостижима, поскольку требует слишком больших вычислительных ресурсов при реализации на реальном компьютере (см. врезку 1). Таким образом, можно смотреть на искусственный интеллект как на поиск коротких путей, то есть как на способ приблизиться к байесовскому идеалу на приемлемое расстояние, пожертвовав некоторой оптимальностью или универсальностью, но при этом сохранив довольно высокий уровень производительности в интересующей исследователя области.

Отражение этой картины можно увидеть в работах, выполненных в последние двадцать лет на графовых вероятностных моделях, таких как байесовские сети. Байесовские сети являются способом сжатого представления вероятностных и условно независимых отношений, характерных для определенной области. (Использование таких независимых отношений критически важно для решения проблемы комбинаторного взрыва, столь же важной в случае вероятностного вывода, как и при логической дедукции.) Кроме того, они стали значимым инструментом для понимания концепции причинности[34].


ВРЕЗКА 1. ОПТИМАЛЬНЫЙ БАЙЕСОВСКИЙ АГЕНТ

Идеальный байесовский агент начинается с задания «априорного распределения вероятности», то есть функции, приписывающей определенную вероятность всем «возможным мирам» — иначе говоря, результатам всех сценариев, по которым может меняться мир[35]. Априорное распределение вероятности включает в себя индуктивное смещение, то есть более простым возможным мирам присваивается более высокая вероятность. (Один из способов формально определить простоту возможного мира — использовать показатель колмогоровской сложности, основанный на длине максимально короткой компьютерной программы, генерирующей полное описание этого мира[36].) При этом в априорном распределении вероятности учитываются любые знания, которые программисты желают передать агенту.

После того как агент получает со своих сенсоров новую информацию, он меняет распределение вероятности, «обусловливая» распределение с учетом этой новой информации в соответствии с теоремой Байеса[37]. Обусловливание — это математическая операция, которая заключается в присвоении нулевых значений вероятности тем мирам, которые не согласуются с полученной информацией, и нормализации распределения вероятности оставшихся возможных миров. Результатом становится «апостериорное распределение вероятности» (которое агент может использовать в качестве априорного на следующем шаге). По мере того как агент проводит свои наблюдения, распределение вероятности концентрируется на все сильнее сжимающемся наборе возможных миров, которые согласуются с полученными свидетельствами; и среди этих возможных миров наибольшую вероятность всегда имеют самые простые.

Образно говоря, вероятность похожа на песок, рассыпанный на большом листе бумаги. Лист разделен на области различного размера, каждая из которых соответствует одному из возможных миров, причем области большей площади эквивалентны более простым мирам. Представьте также слой песка или любого порошка, покрывающего бумагу, — это и есть наше априорное распределение вероятности. Когда проводится наблюдение, в результате которого исключаются какие-то из возможных миров, мы убираем песок из соответствующих областей и распределяем его равномерно по областям, «остающимся в игре». Таким образом, общее количество песка на листе остается неизменным, просто по мере накопления наблюдений он концентрируется во все меньшем количестве областей. Здесь представлено описание обучения в его самом чистом виде. (Чтобы рассчитать вероятность гипотезы, мы просто измеряем количество песка во всех областях, соответствующих возможным мирам, в которых эта гипотеза истинна.)

Итак, мы определили правило обучения. Чтобы получить агента, нам потребуется также правило принятия решений. Для этого мы наделяем агента «функцией полезности», которая присваивает каждому возможному миру определенное число. Это число представляет собой желательность соответствующего мира с точки зрения базовых предпочтений агента[38]. (Чтобы выявить действие с максимальной ожидаемой полезностью, агент мог бы составить список всех возможных действий. А затем рассчитать условное распределение вероятности с учетом каждого действия — то есть распределение вероятности, которое стало бы следствием обусловливания текущего распределения вероятности после наблюдения за результатами этого действия. И наконец, рассчитать ожидаемую ценность действия можно как сумму ценностей всех возможных миров, умноженных на условную вероятность этих миров с учетом осуществления действия[39].)

Правило обучения и правило принятия решений задают «определение оптимальности» агента. (В сущности такое же определение оптимальности широко используется в искусственном интеллекте, эпистемологии, философии науки, экономике и статистике[40].) В реальном мире такого агента получить невозможно, поскольку для проведения необходимых расчетов не хватит никаких вычислительных мощностей. Любая попытка сделать это приводит к комбинаторному взрыву вроде описанного нами при обсуждении КИИ. Чтобы представить это, рассмотрим крошечное подмножество всех возможных миров, состоящее из единственного компьютерного монитора, висящего в бесконечном пустом пространстве. Разрешение монитора — 1000 × 1000 пикселей, каждый из которых постоянно или светится, или нет. Даже такое подмножество всех возможных миров невероятно велико: количество возможных состояний монитора, равное 2(1000 × 1000), превосходит объем всех вычислений, которые когда-либо будут выполнены в обозримой Вселенной. То есть мы не можем даже просто пронумеровать возможные миры в этом небольшом подмножестве всех возможных миров, не говоря уже о том, чтобы провести какие-то более сложные расчеты по каждому из них.

Но определение оптимальности может иметь теоретический интерес, даже несмотря на невозможность его физической реализации. Он представляет собой стандарт, с которым можно соотносить эвристические аппроксимации и который иногда позволяет нам судить, как именно поступил бы оптимальный агент в той или иной ситуации. С некоторыми альтернативными определениями оптимальности мы еще встретимся в двенадцатой главе.

Одно из преимуществ связи задачи обучения в определенных областях с общей задачей байесовского вывода состоит в том, что эти новые алгоритмы, делающие байесовский вывод более эффективным, немедленно приводят к прогрессу во множестве различных областей. Например, метод Монте-Карло непосредственно применяется в машинном зрении, робототехнике и вычислительной генетике. Еще одно преимущество заключается в том, что исследователям, работающим в различных областях, стало проще объединять результаты своих изысканий. Графовые модели и байесовские статистики представляют собой общий фокус исследований в таких областях, как машинное обучение, статистическая физика, биоинформатика, комбинаторная оптимизация и теория коммуникации[41]. Заметный прогресс в машинном обучении стал следствием использования формальных результатов, изначально полученных в других областях науки. (Конечно, машинное обучение значительно выиграло от появления более быстрых компьютеров и доступности больших наборов данных.)


Последние достижения

Во многих областях деятельности уровень искусственного интеллекта уже превосходит уровень человеческого. Появились системы, способные не только вести логические игры, но и одерживать победы над людьми. Приведенная в табл. 1 информация об отдельных игровых программах демонстрирует, как разнообразные виды ИИ побеждают чемпионов многих турниров[42].



Таблица 1. Игровые программы с искусственным интеллектом

Шашки. Уровень интеллекта выше человеческого.

Компьютерная игра в шашки, написанная в 1952 году Артуром Самуэлем и усовершенствованная им в 1955 году (версия включала модуль машинного обучения), стала первой интеллектуальной программой, которая в будущем научится играть лучше своего создателя[43]. Программа «Чинук» (CHINOOK), созданная в 1989 году группой Джонатана Шеффера, сумела в 1994 году обыграть действующего чемпиона мира — первый случай, когда машина стала победителем в официальном чемпионате мира. Те же разработчики, использовав алгоритм поиска «альфа-бета отсечение» в базе данных для 39 трлн эндшпилей, представили в 2002 году оптимальную версию игры в шашки — это программа, всегда выбирающая лучший из ходов. Правильные ходы обеих сторон приводят к ничьей[44]


Нарды. Уровень интеллекта выше человеческого.

Компьютерная игра в нарды, созданная в 1970 году Хансом Берлинером и названная им BKG, в 1979 году стала первой интеллектуальной программой, обыгравшей чемпиона мира в показательном матче — хотя впоследствии сам Берлинер приписывал эту победу удачно брошенным костям[45].

Созданная в 1991 году Джералдом Тезауро программа TD-Gammon уже в 1992 году достигла такого уровня мастерства, что могла сразиться на чемпионате мира. Ради самосовершенствования программа постоянно играла сама с собой, причем Тезауро использовал такую форму укрепляющего обучения, как метод временных различий[46].

С тех пор программы для игры в нарды по своему уровню в значительной степени превосходили лучших игроков мира[47]


«Эвриско» в космической битве Traveller TCS. Уровень интеллекта выше человеческого в сотрудничестве с самим человеком[48].

Дугласом Ленатом в 1976 году была создана программа «Эвриско» (Eurisco), представлявшая собой набор эвристических, то есть логических, правил («если — то»). В течение двух лет (1981, 1982) эта экспертная система выигрывала чемпионат США по фантастической игре Traveller TCS (межгалактическое сражение); организаторы даже меняли правила игры, но ничто не могло остановить победного шествия «Эвриско», в результате они приняли решение больше не допускать «Эвриско» к участию в чемпионате[49]. Для построения своего космического флота и сражения с кораблями противника «Эвриско» использовала эвристические правила, которые — в процессе самообучения — корректировала и улучшала при помощи других эвристических правил


Реверси («Отелло»). Уровень интеллекта выше человеческого.

Программа для игры в реверси Logistello выиграла в 1997 году подряд шесть партий у чемпиона мира Такэси Мураками[50]


Шахматы. Уровень интеллекта выше человеческого.

Шахматный суперкомпьютер Deep Blue в 1997 году выиграл у чемпиона мира Гарри Каспарова, Каспаров, хотя и имел претензии к создателям машины, все-таки заметил в ее игре проблески истинного разума и творческого подхода[51]. С тех пор игровые шахматные программы продолжают совершенствоваться[52]

Кроссворды. Профессиональный уровень.

Программа Proverb в 1999 году стала лучшей среди программ для решения кроссвордов среднего уровня[53].

Созданная в 2012 году Мэттом Гинзбергом программа Dr. Fill вошла в группу лучших участников чемпионата США по кроссвордам. (Показатели программы не были стабильными. Dr. Fill идеально справилась с кроссвордами, считавшимися наиболее сложными среди участников-людей, но оказалась бессильна перед нестандартными, в которых встречались слова, написанные задом наперед, и вопросы, расположенные по диагонали[54])


«Скрабл» («Эрудит»). Уровень интеллекта выше человеческого.

По состоянию на 2002 год программы для игры в слова превосходят лучших игроков среди людей[55]


Бридж. Уровень интеллекта не уступает уровню лучших игроков

Программы для игры в бридж «Контракт» к 2005 году достигли уровня профессионализма лучших игроков среди людей[56]


Суперкомпьютер IBM Watson в телепередаче Jeopardy!. Уровень интеллекта выше человеческого.

IBM Watson, созданный в IBM суперкомпьютер с системой ИИ, в 2010 году обыграл Кена Дженнингса и Брэда Раттера — двух рекордсменов Jeopardy![57] Jeopardy! — телевизионная игра-викторина с простыми вопросами из области истории, литературы, спорта, географии, массовой культуры, науки и проч. Вопросы задаются в виде подсказок, при этом часто используется игра слов


Покер. Уровень разный.

Игровые программы для покера на сегодняшний день несколько уступают лучшим игрокам в техасский холдем (популярная разновидность покера), но превосходят людей в некоторых других разновидностях игры[58]


Пасьянс «Свободная ячейка» («Солитер»). Уровень интеллекта выше человеческого.

Развитие эвристических алгоритмов привело к созданию программы для пасьянса «Свободная ячейка» (Free Cell), которая оказалась сильнее игроков самого высокого уровня[59]. В своей обобщенной форме эта игровая программа является NP-полной задачей.


Го. Уровень сильного игрока-любителя.

По состоянию на 2012 год серия программ для игры в го «Дзен» (Zen) — использовав дерево поиска методом Монте-Карло и технологии машинного обучения — получила шестой дан (разряд) в быстрых играх[60]. Это уровень весьма сильного любителя. В последние годы игровые программы го совершенствуются со скоростью примерно один дан в год. Если этот темп развития сохранится, то, скорее всего, через десять лет они превзойдут чемпиона мира среди людей


Вряд ли сегодня данные факты смогут произвести хоть какое-то впечатление. Но это обусловлено тем, что наши представления о стандартах несколько смещены, поскольку мы уже знакомы с теми выдающимися достижениями, которые появились после описываемых событий. В прежние времена, например, профессиональное умение шахматиста считалось высшим проявлением умственной деятельности человека. Некоторые специалисты конца 1950-х годов считали: «Если когда-нибудь получится создать удачную машину для игры в шахматы, возможно, люди постигнут суть своих интеллектуальных усилий»[61]. В наше время все выглядит иначе. Остается лишь согласиться с Джоном Маккарти, когда-то посетовавшим, что «стоит системе нормально начать работать, как ее сразу перестают называть искусственным интеллектом»[62].

Однако появление интеллектуальных шахматных систем не обернулось тем торжеством разума, на которое многие рассчитывали, — и это имело определенное объяснение. По мнению ученых того времени — мнению, наверное, небезосновательному, — компьютер станет играть в шахматы наравне с гроссмейстерами, только когда будет наделен высоким общимуровнем интеллектуального развития[63]. Казалось бы, великий шахматист должен соответствовать немалым требованиям: иметь крепкую теоретическую подготовку; быть способным оперировать абстрактными понятиями; стратегически мыслить и разумно действовать; заранее выстраивать хитроумные комбинации; обладать дедуктивным мышлением и даже уметь моделировать ход мысли противника. Отнюдь. Выяснилось, что достаточно разработать идеальную шахматную программу на основе алгоритма с узкоцелевым назначением[64]. Если программу поставить на быстродействующий процессор — а скоростные компьютеры стали доступны уже в конце XX века, — то она демонстрирует весьма сильную игру. Однако подобный искусственный интеллект слишком однобок. Он ничего другого не умеет, кроме как играть в шахматы[65].

В других случаях изучения и применения искусственного интеллекта выявились проблемы более сложногопорядка, чем ожидалось, поэтому и развитие шло значительно медленнее. Профессор Дональд Кнут, крупнейший специалист в области программирования и вычислительной математики, с удивлением заметил: «Искусственный интеллект, преуспев сегодня во всем, где требуется “разум”, неспособен на те действия, которые люди и животные совершают “бездумно”, — эта задача оказалась гораздо труднее!»[66] Затруднения вызывала, например, разработка системы управления поведением роботов, а также такие их функции, как распознавание зрительных образов и анализ объектов при взаимодействии с окружающей средой. Тем не менее и сделано было немало, и продолжает поныне делаться, причем работа идет не только над развитием программного обеспечения — постоянно совершенствуются аппаратные средства.

В один ряд с исследованием инстинктивного поведения можно поставить логику здравого смысла и понимание естественных языков — явления, которые тоже оказались не самыми легкими для систем искусственного интеллекта. Сейчас принято считать, что решение подобных проблем на уровне, сопоставимом с человеческим, является AI-полной задачей[67] — то есть их сложность эквивалентна трудности разработки машин, таких же умных и развитых, как люди[68]. Иными словами, если кто-то добьется успеха в создании ИИ, способного понимать естественный язык так же, как понимает его взрослый человек, то, скорее всего, он или уже создал ИИ, который может делать все, на что способен человеческий разум, или будет находиться в шаге от его создания[69].

Высокий уровень игры в шахматы, как оказалось, достижим с помощью исключительно простого алгоритма. Возникает соблазн считать, будто и другие способности, например общее умение осмысливать или некоторые основные навыки программирования, можно также обеспечить за счет некоего удивительно несложного алгоритма. То обстоятельство, что в определенный момент оптимальная продуктивность достигается в результате применения сложного механизма, вовсе не означает, что ни один простой механизм не способен делать ту же работу так же хорошо и даже лучше. Птолемеева система мира (в центре Вселенной находится неподвижная Земля, а вокруг нее вращаются Солнце, Луна, планеты и звезды) выражала представление науки об устройстве мироздания на протяжении тысячи лет. Чтобы лучше объяснять характер движения небесных тел, ученые от века к веку усложняли модель системы, добавляя все новые и новые эпициклы, за счет чего повышалась точность ее прогнозов. Пришло время, и на смену геоцентрической пришла гелиоцентрическая система мира; теория Коперника была намного проще, а после доработки ее Кеплером стала и прогностически более точной[70]

В современном мире методы искусственного интеллекта используют столь широко, что вряд ли целесообразно рассматривать здесь все области их применения, но некоторые стоит упомянуть, чтобы дать общее представление о масштабе распространения самой идеи. Помимо представленных в табл. 1 логических игровых программ, сегодня разрабатывают: слуховые аппараты на базе алгоритмов, отфильтровывающих фоновый шум; навигационные системы, отображающие карты и подсказывающие маршрут водителям; рекомендательные системы, предлагающие книги и музыкальные альбомы пользователям на основе анализа их предыдущих покупок и оценок; системы поддержки принятия медицинских решений, помогающие врачам, например, диагностировать рак молочной железы, подбирать варианты лечения и расшифровывать электрокардиограммы. В настоящее время, кроме промышленных роботов, которых уже больше миллиона, появились самые разные роботы-помощники: домашние питомцы; пылесосы; газонокосильщики; спасатели; хирурги[71]. Общая численность роботов в мире превысила десять миллионов[72].

Современные системы распознавания речи, основанные на статистических методах вроде скрытых марковских моделей, являются довольно точными для практического использования (с их помощью были созданы некоторые начальные фрагменты этой книги). Персональные цифровые помощники (например, Siri — приложение Apple) реагируют на голосовые команды, могут отвечать на простые вопросы и выполнять распоряжения. Повсеместно распространено оптическое распознавание рукописного и машинописного текста — на нем основаны, в частности, приложения для сортировки почты и оцифровки исторических документов[73].

До сих пор остаются несовершенными системы машинного перевода, тем не менее для определенных целей они вполне пригодны. На стадии ранних версий, в которых использовался метод КИИ и которые основывались на правилах, был создан принцип кодировки в ручном режиме для грамматик всех естественных языков — причем работа проводилась силами самых высококвалифицированных лингвистов. Новые системы основаны на статистических методах машинного обучения, которые автоматически выстраивают статистические модели на основе наблюдаемых ими закономерностей использования слов и фраз. Программы выводят параметры этих моделей, анализируя корпус текстов на двух языках. Такой подход позволяет не привлекать лингвистов, а программисты, разрабатывающие эти системы, могут даже не владеть языками, с которыми им приходится иметь дело[74].

Системы распознавания лиц за последнее время были настолько усовершенствованы, что сейчас ими успешно пользуются пограничные службы в Европе и Австралии. Автоматическая идентификационная система работает в Госдепартаменте США, с ее помощью в процессе выдачи виз обрабатывается более семидесяти пяти миллионов фотографий в год. В системах наблюдения применяются все более совершенные методы ИИ и новейшие технологии по извлечению информации, с помощью которых проводят интеллектуальный анализ речевых, текстовых и видеоматериалов — основная часть их привлекается из общемировых коммуникационных сетей и гигантских центров сбора и обработки данных.

Автоматическое доказательство теорем и решение уравнений стало настолько общим местом, что уже не воспринимается как разработка искусственного интеллекта. Устройства для решения уравнений встроены в научные компьютерные программы, например систему Mathematica. Формальные методы проверки, в том числе системы автоматического доказательства теорем, повсеместно используются производителями микропроцессоров для проверки поведения схемы перед запуском в производство.

Американскими военными и разведывательными ведомствами широко и успешно внедряются так называемые боевые роботы — саперы для нахождения и обезвреживания бомб и мин; беспилотные летательные аппараты, предназначенные как для разведки, так и для боевых действий; другие автоматические виды вооружений. Сегодня эти устройства в основном управляются дистанционно операторами-специалистами, однако неустанно ведется работа над расширением их автономной деятельности.

Большой успех достигнут в области интеллектуального планирования и снабжения. В ходе операции «Буря в пустыне» в 1991 году была развернута система DART для обеспечения автоматизированного планирования поставок и составления графиков перевозок. Программа оказалась исключительно эффективной: по сводкам Агентства по перспективным оборонным научно-исследовательским разработкам США (Defense Advanced Research Projects Agency in the United States, DARPA), она одна окупила тридцатилетнее финансирование Министерством обороны работ в области ИИ[75]. Сложные программы календарного планирования и тарификации используются для систем бронирования авиабилетов. Компании активно применяют самые разные методы ИИ для контроля складских запасов. Автоматические системы телефонного бронирования и линии поддержки, соединенные с программами распознавания речи, способны провести несчастного потребителя через лабиринт взаимосвязанных вариантов выбора.

Технологии искусственного интеллекта лежат в основе многих интернет-сервисов. Общемировой трафик электронной почты проверяется специальным программным обеспечением — причем байесовская фильтрация спама, несмотря на постоянные усилия спамеров приспособиться и обойти защиту, в основном справляется с задачей и держит оборону. Электронные программы, используя компоненты ИИ, обеспечивают безопасность операций по банковским картам: отвечают за их автоматическое одобрение или отклонение и постоянно отслеживают действия по счету с целью обнаружить малейшие признаки мошенничества. Системы поиска информации также активно используют машинное обучение. А поисковая система Google, без сомнения, представляет собой величайшую из когда-либо созданных систем искусственного интеллекта.

Здесь стоит подчеркнуть, что граница между искусственным интеллектом и обычным программным обеспечением определена не очень четко. Некоторые из перечисленных выше программ могли бы скорее считаться приложениями многофункциональных программных обеспечений, нежели интеллектуальными системами, — тут невольно снова вспомнишь слова Маккарти, что «стоит системе нормально начать работать, как ее сразу перестают называть искусственным интеллектом». Для наших целей важнее обратить внимание на другое различие: есть системы, у которых имеется ограниченный набор когнитивных способностей (неважно, относятся они к ИИ или нет), и есть системы, обладающие широкоприменимыми инструментами для решения общих задач. В основном все используемые сейчас системы относятся к первому типу — узкодиапазонному. Однако многие из них содержат компоненты, способные либо сыграть роль в создании будущего искусственного интеллекта, который будет отличаться развитым общим уровнем развития, либо стать его частью, — это такие компоненты, как классификаторы, алгоритмы поиска, модули планирования, решатели задач и схемы представлений.

Системы искусственного интеллекта качественно работают еще в одной области, где ставки очень высоки, а конкуренция слишком жестока, — это мировой финансовый рынок. Автоматизированные системы торговли акциями широко используются крупными инвестиционными банками. И хотя некоторые из них всего лишь дают возможность автоматизировать исполнение заказов на покупку и продажу, выставленных управляющей компанией, другие реализуют сложные торговые стратегии, способные приспосабливаться к меняющимся условиям рынка. Чтобы изучать закономерности и тенденции фондового рынка, определять зависимость динамики котировок от внешних переменных, таких как, например, ключевые позиции в сводках финансовых новостей, — для всего этого в аналитических системах используется большой набор методик интеллектуального анализа данных и временных последовательностей. Новые потоковые котировки, выпускаемые агентствами финансовой информации, специально отформатированы под интеллектуальные автоматизированные системы. Другие системы специализируются на поиске возможностей совершать арбитражные операции либо на определенном рынке ценных бумаг, либо одновременно на нескольких рынках, либо с помощью алгоритмического высокочастотного трейдинга[76], целью которого является получение прибыли на незначительных колебаниях цен в пределах нескольких милисекунд (на таких временных интервалах начинают играть роль задержки в поступлении информации даже в оптоволоконных сетях, где она распространяется со скоростью света, и преимущество получают те, чьи компьютеры находятся в непосредственной близости от биржи). На долю алгоритмических высокочастотных трейдингов приходится более половины оборота фондового рынка США[77]. Существует мнение, что ответственность за так называемый мгновенный обвал фондовых индексов 6 мая 2010 года лежит именно на алгоритмической торговле (см. врезку 2).

ВРЕЗКА 2. «МГНОВЕННЫЙ ОБВАЛ» 2010 ГОДА

К полудню 6 мая 2010 года американский фондовый рынок уже упал на 4% на беспокойстве по поводу европейского долгового кризиса. Крупный игрок (группа взаимных фондов) инициировал в 14:32 алгоритм продажи для реализации большого количества фьючерсных контрактов E-Mini S&P 500 по цене, привязанной к показателю изменения ликвидности биржевых торгов. Эти контракты, приобретенные с помощью алгоритмических высокочастотных трейдингов, были запрограммированы быстро закрывать свои временные длинные позиции путем продажи контрактов другим игрокам. Поскольку спрос со стороны инвесторов, ориентирующихся на фундаментальные показатели, снизился, игроки алгоритмического трейдинга начали продавать фьючерсы E-Mini другим игрокам алгоритмического трейдинга, которые, в свою очередь, продавали их третьим таким же игрокам, создавая, таким образом, эффект «горячей картошки», которую пытаются «скинуть» как можно быстрее, — этот эффект раздувал объемы торгов, что было интерпретировано алгоритмом продажи как показатель высокой ликвидности. Поскольку игроки начали еще быстрее сбрасывать друг другу E-Mini, на фондовом рынке возник настоящий порочный круг. В какой-то момент игроки начали просто выводить средства, еще больше повышая ликвидность на фоне продолжающегося падения цен. Сделки по E-Mini были приостановлены в 14:45 автоматическим прерывателем — специальной программой, контролирующей неожиданное и чрезмерное движение цен акций на бирже. Буквально через пять секунд торги возобновились, при этом цены стабилизировались и вскоре отыграли большую часть падения. Но в течение этих критических минут с рынка был «смыт» триллион долларов, поскольку значительное число сделок прошло по абсурдным ценам: акция могла продаваться и за один цент, и за 100 тысяч долларов. После того как торги закончились, состоялась встреча представителей бирж и регулирующих органов, на которой было принято решение отменить все сделки, исполненные по ценам, отличающимся от докризисного уровня на 60% и более. Договаривающиеся стороны сочли эти цены «явно ошибочными», а потому — в соответствии с существующими биржевыми правилами — подлежащими отмене задним числом)[78].

Изложенный сюжет представляет собой безусловное отступление от темы нашей книги, поскольку компьютерные программы, якобы ответственные за те минуты финансового кризиса, получившего название «мгновенный обвал», не были ни особенно интеллектуальными, ни слишком изощренными. Специфика созданной ими опасности принципиально отличается от характера угрозы, которую несет в себе появление искусственного сверхразума. Тем не менее из описанных событий можно вынести несколько полезных уроков.

Первое предупреждение. Взаимодействие нескольких простых компонентов (например, алгоритмы продаж и алгоритмическая высокочастотная торговля) может приводить к сложным и непредсказуемым последствиям. Если добавлять в налаженную систему новые элементы, возникают системные риски, не слишком очевидные до момента, когда что-то пойдет не так (да и то не всегда)[79].

Второе предупреждение. Несмотря на то что специалисты в области искусственного интеллекта обучают программу на основании предположений, кажущихся здравыми и логичными (например, объем торгов является верным показателем ликвидности рынка), это может приводить к катастрофическим результатам. В непредвиденных обстоятельствах, когда исходные допущения оказываются неверными, программа с железобетонной логической стойкостью продолжает поступать в соответствии с полученными инструкциями. Алгоритм «тупо» делает свою обычную работу, которую делал всегда, и его совсем не беспокоит — если он, конечно, не принадлежит к редчайшей разновидности алгоритмов, — что мы хватаемся за голову в ужасе от абсурдности его действий. К этой теме мы еще вернемся.

Третье предупреждение. Несомненно, автоматизация процесса внесла свой вклад в возникновение инцидента, однако, без всяких сомнений, она также способствовала и разрешению проблемы. Программа контроля, отвечавшая за приостановку торгов в случае слишком большого отклонения цен от нормального уровня, сработала автоматически, поскольку ее создатели справедливо предполагали, что события, которые приводят к такому отклонению, могут происходить на временных интервалах, слишком коротких, чтобы на них успели отреагировать люди. Налицо потребность не полагаться во всем на контроль со стороны человека, а иметь в качестве подстраховки заранее разработанные и автоматически исполняемые алгоритмы безопасности. Кстати, это наблюдение предваряет тему, крайне важную в нашем последующем обсуждении машинного сверхразума[80].

Будущее искусственного интеллекта — мнение специалистов

Успех, достигнутый на двух магистральных направлениях: во-первых, создание более прочного статистического и информационно-теоретического основания для машинного обучения; во-вторых, практическая и коммерческая эффективность различных конкретных приложений, узкоспециальных с точки зрения решаемых проблем и областей применения, — привел к тому, что пошатнувшийся было престиж исследований искусственного интеллекта удалось несколько восстановить. Но, похоже, у научного сообщества, имеющего отношение к этой теме, от прошлых неудач остался довольно горький опыт, вынуждающий многих ведущих исследователей отказываться от собственных устремлений и больших задач. Поэтому один из основателей направления Нильс Нильсон укоряет своих нынешних коллег в отсутствии той творческой дерзости, которая отличала поколение первопроходцев:

Соображение «благопристойности», на мой взгляд, оказывает дурное влияние на некоторых исследователей, выхолащивая саму идею искусственного интеллекта. Я будто слышу, как они говорят: «ИИ критиковали за отсутствие результатов. Теперь, добившись видимого успеха, мы не хотим рисковать собственной репутацией». Подобная осмотрительность приведет к тому, что все интересы ученых будут ограничены созданием программ, предназначенных предоставлять помощь человеку в его в интеллектуальной деятельности, то есть уровнем, который мы называем «слабый ИИ». Это неизбежно отвлечет их от усилий реализовать машинный аналог человеческого разума — то есть то, что мы называем «сильный ИИ»[81].

Нильсону вторят такие патриархи, как Марвин Мински, Джон Маккарти и Патрик Уинстон[82].

В последние годы наблюдается возрождение интереса к искусственному интеллекту, который вполне может обернуться новыми попытками создать универсальный ИИ (по Нильсону — сильный ИИ). Эти проекты будут поддерживаться, с одной стороны, производством новейших аппаратных средств, с другой — научным прогрессом в информатике и программировании в целом, во многих специализированных предметных сферах в частности, а также в смежных областях, например нейроинформатике. Себастиан Трун и Питер Норвиг подготовили в Стэнфордском университете на осень 2011 года бесплатный онлайновый вводный курс по искусственному интеллекту. Реакцию на объявление о нем можно рассматривать как самый убедительный показатель неудовлетворенного спроса на качественную информацию и образование — на курс записались около 160 тысяч человек со всего мира (окончили его 23 тысячи)[83].

Существует множество вариантов экспертных оценок относительно будущего, уготованного искусственному интеллекту. Разногласия касаются и времени его появления, и того вида, в каком он когда-нибудь предстанет перед миром. Как заметили авторы одного недавнего исследования, прогнозы перспектив развития ИИ «различны настолько, насколько они категоричны»[84].

Мы не в состоянии охватить полную картину всех современных положений об интересующей нас теме, однако некоторое, пусть даже поверхностное, представление дают скупые опросы специалистов и высказанные ими частные мнения. Например, не так давно мы попросили представителей нескольких экспертных сообществ ответить на вопрос, когда они ожидают появления искусственного интеллекта человеческого уровня (ИИЧУ) — причем уровень определялся как «способность освоить большинство профессий, по крайней мере тех, которыми мог бы владеть среднестатистический человек». Респондентов просили строить свои предположения на основании того, что «научная деятельность в этом направлении будет продолжаться без серьезных сбоев»[85]. Ответы специалистов показаны в табл. 2. По данным выборки получились следующие средние оценки:

   • 2022 год — средний прогноз с 10-процентной вероятностью;

   • 2040 год — средний прогноз с 50-процентной вероятностью;

   • 2075 год — средний прогноз с 90-процентной вероятностью.

Поскольку размер выборки слишком мал, а с точки зрения генеральной совокупности опрошенных ее нельзя считать репрезентативной, то результаты стоит рассматривать с некоторой долей скептицизма. Однако они согласуются с результатами других опросов[86].

Данные упомянутого опроса также соответствуют мнению примерно двух десятков исследователей, интервью с которыми появились за последние несколько лет. Назову только Нильса Нильсона. Ученый, многие десятилетия плодотворно трудившийся над фундаментальными вопросами ИИ (методы поиска, автоматическое планирование, системы представления знаний, робототехника), написавший несколько учебников, недавно завершивший самую подробную историю исследований ИИ[87], — когда его спросили о сроках появления ИИЧУ, Нильсон дал следующее заключение[88]:

   • 2030 год — средний прогноз с 10-процентной вероятностью;

   • 2050 год — средний прогноз с 50-процентной вероятностью;

   • 2100 год — средний прогноз с 90-процентной вероятностью.


Таблица 2. Когда будет создан искусственный интеллект человеческого уровня?[89]

10%/50%/90%

PT-AI: 2023/2048/2080

AGI: 2022/2040/2065

EETN: 2020/2050/2093

Топ-100: 2024/2050/2070

В среднем: 2022/2040/2075


Судя по опубликованным интервью, названное профессором Нильсоном распределение вероятности вполне репрезентативно — многие эксперты думали так же. Однако еще раз хочу подчеркнуть: мнения расходились очень сильно, поскольку некоторые специалисты-практики горячо верили, что ИИЧУ будет создан за период 2020–2040 годов, а некоторые ученые были убеждены, что либо этого не случится никогда, либо это произойдет, но в неопределенно далеком будущем[90]. Кроме того, одни интервьюируемые считали, что определение «человеческого уровня» по отношению к искусственному интеллекту сформулировано некорректно и может вводить в заблуждение, а другие — по каким-то своим соображениям — просто воздержались от прогнозов.

На мой взгляд, прогнозы, отодвигающие создание ИИЧУ на более поздние сроки (по средним цифрам, полученным в результате опросов), определенно пессимистичны. 10-процентная вероятность появления ИИЧУ в 2075, и тем более в 2100 году (даже при условии, что «научная деятельность в этом направлении будет продолжаться без серьезных сбоев») представляется слишком низкой.

История показывает, что исследователи не могут похвастаться способностью предсказывать ни успехи в разработках искусственного интеллекта, ни формы его воплощения. С одной стороны, выяснилось, что некоторые задачи, скажем, игра в шахматы, могут быть решены при помощи удивительно простых программ, и скептики, заявлявшие, будто машины «никогда» не смогут делать те или иные вещи, раз за разом оказываются посрамлены. С другой — наиболее типичной ошибкой специалистов является недооценка трудностей, связанных с разработкой устойчивой интеллектуальной системы, способной справляться с задачами реальной жизни, и переоценка возможностей их собственных проектов или методов.

В ходе одного из опросов были заданы еще два вопроса, актуальные для нашего исследования. Респондентов спросили, сколько, по их мнению, потребуется времени после создания ИИЧУ, чтобы машина смогла развить сверхразум. Ответы приведены в табл. 3. Второй вопрос касался темы долговременного воздействия на человечество, которое будет оказывать ИИЧУ. Ответы суммированы на рис. 2.


Таблица 3. Сколько времени пройдет между созданием искусственного интеллекта человеческого уровня и появлением сверхразума?

Меньше двух лет/Меньше 30 лет

Топ-100: 5%/50%

В среднем: 10%/75%


Искусственный интеллект. Этапы. Угрозы. Стратегии

Рис. 2. Долговременное воздействие искусственного интеллекта человеческого уровня[91]

Мое мнение снова расходится с теми, которые были высказаны в ходе опроса. Я считаю гораздо более вероятным, что сверхразум появится сравнительно быстро после создания ИИЧУ. Кроме того, мой взгляд на последствия этого события также принципиально другой: вероятность чрезвычайно сильного воздействия — позитивного или негативного — на человечество гораздо более высока, чем вероятность нейтрального влияния. Причины этого вскоре станут ясны.

Не стоит полагаться всерьез ни на экспертные опросы, ни на интервью — в силу больших погрешностей данных методов. Небольшая выборка, ее возможные ошибки, а самое главное, ненадежность, изначально присущая субъективным мнениям, — все это не позволяет нам прийти к строгим умозаключениям. Однако пусть поверхностные — за неимением более достоверных аналитических данных, — но какие-то выводы мы в состоянии сделать. Во-первых, искусственный интеллект человеческого уровня имеет довольно высокую вероятность быть созданным к середине нынешнего столетия и имеет ненулевую вероятность быть созданным немного ранее или много позже. Во-вторых, после его создания, скорее всего, довольно быстро появится сверхразум. В-третьих, появление сверхразума может привести к огромным последствиям — как чрезвычайно позитивным, так и чрезвычайно негативным, вплоть до гибели человечества[92].

Полученные выводы по меньшей мере говорят нам, что тема заслуживает тщательного рассмотрения.

Глава вторая

Путь к сверхразуму

На сегодняшний день, если брать уровень общего интеллектуального развития, машины абсолютно уступают людям. Но однажды — по нашему предположению — разум машины превзойдет разум человека. Каков будет наш путь от нынешнего момента до того, который нас ожидает? В этой главе описаны несколько возможных технологических вариантов. Сначала мы рассмотрим такие темы, как искусственный интеллект, полная эмуляция головного мозга, усовершенствование когнитивных способностей человека, нейрокомпьютерный интерфейс, сети и организации. Затем оценим перечисленные аспекты с точки зрения вероятности, смогут ли они служить ступенями восхождения к сверхразуму. При нескольких вариантах пути шанс когда-нибудь достигнуть места назначения явно повышается.

Предварительно определим понятие сверхразума. Это любой интеллект, значительно превосходящий когнитивные возможности человека фактически в любых областях[93]. В следующей главе мы более подробно обсудим, что такое сверхразум, разложим его на составляющие и дифференцируем все возможные его воплощения. Но сейчас позволим себе ограничиться такой общей и поверхностной характеристикой. Заметьте, в данном описании не нашлось места ни претворению сверхразума в жизнь, ни его квалиа[94], то есть будет ли он наделен субъективными переживаниями и опытом сознания. А ведь в определенном смысле, особенно этическом, вопрос весьма немаловажный. Однако сейчас, оставив в стороне интеллектуальную метафизику[95], мы уделим внимание двум вопросам: предпосылкам возникновения сверхразума и последствиям этого явления.

Согласно нашему определению, шахматная программа Deep Fritz не является сверхинтеллектуальной, поскольку «сильна» лишь в очень узкой — игра в шахматы — области. И тем не менее очень важно, чтобы сверхразум имел свои предметные специализации. Поэтому каждый раз, когда речь зайдет о том или ином сверхинтеллектуальном поведении, ограниченном предметной областью, я буду отдельно оговаривать его конкретную сферу деятельности. Например, искусственный интеллект, значительно превышающий умственные способности человека в сферах программирования и конструирования, получит название инженерного сверхинтеллекта. Но для обозначения систем, в целом превосходящих общий уровень человеческого интеллекта — если не указано иное, — остается термин сверхразум.

Как мы достигнем того времени, когда окажется возможным его появление? Какой путь выберем? Давайте рассмотрим некоторые возможные варианты.


Искусственный интеллект

Дорогой читатель, не стоит ожидать от этой главы концептуальной разработки вопроса, как создать универсальный, или сильный, искусственный интеллект. Проекта по его программированию просто не существует. Но даже будь я счастливым обладателем такого плана, то, безусловно, не стал бы обнародовать его в своей книге. (Если причины этого пока не очевидны, надеюсь, в последующих главах мне удастся недвусмысленно разъяснить собственную позицию.)

Однако уже сегодня можно распознать некоторые обязательные характеристики, присущие подобной интеллектуальной системе. Совершенно очевидно, что способность к обучению как неотъемлемое свойство ядра системы должна закладываться при проектировании, а не добавляться в качестве запоздалого соображения позднее в виде расширения. То же самое касается способности эффективно работать с неопределенной и вероятностной информациями. Скорее всего, среди основных модулей современного ИИ должны быть средства извлечения полезной информации из данных от внешних и внутренних датчиков и преобразования полученных концепций в гибкие комбинаторные представления для дальнейшего использования в мыслительных процессах, основанных на логике и интуиции.

Первые системы классического искусственного интеллекта по преимуществу не были нацелены на обучение, работу в условиях неопределенности и формирование концепций — вероятно, из-за того, что в те времена были недостаточно развиты соответствующие методы анализа. Нельзя сказать, что все базовые идеи ИИ являются принципиально новаторскими. Например, мысль использовать обучение как средство развития простой системы и доведения ее до человеческого уровня была высказана еще Аланом Тьюрингом в 1950 году в статье «Вычислительная техника и интеллект», где он изложил свою концепцию «машина-ребенок»:

Почему бы нам, вместо того чтобы пытаться создать программу, имитирующую ум взрослого, не попытаться создать программу, которая бы имитировала ум ребенка? Ведь если ум ребенка получает соответствующее воспитание, он становится умом взрослого человека[96] [97].

Тьюринг предвидел, что для создания «машины-ребенка» потребуется итеративный процесс:

Вряд ли нам удастся получить хорошую «машину-ребенка» с первой же попытки. Надо провести эксперимент по обучению какой-либо из машин такого рода и выяснить, как она поддается научению. Затем провести тот же эксперимент с другой машиной и установить, какая из двух машин лучше. Существует очевидная связь между этим процессом и эволюцией в живой природе…

Тем не менее можно надеяться, что этот процесс будет протекать быстрее, чем эволюция. Выживание наиболее приспособленных является слишком медленным способом оценки преимуществ. Экспериментатор, применяя силу интеллекта, может ускорить процесс оценки. В равной степени важно и то, что он не ограничен использованием только случайных мутаций. Если экспериментатор может проследить причину некоторого недостатка, он, вероятно, в состоянии придумать и такого рода мутацию, которая приведет к необходимому улучшению[98] [99].

Мы знаем, что слепые эволюционные процессы способны привести к появлению общего интеллекта человеческого уровня — по крайней мере один раз это уже случилось. Вследствие прогнозирования эволюционных процессов — то есть генетического программирования, когда алгоритмы разрабатываются и управляются разумным человеком-программистом, — мы должны получить аналогичные результаты с гораздо большей эффективностью. Именно на это положение опираются многие ученые, среди которых философ Дэвид Чалмерс и исследователь Ханс Моравек[100], утверждающие, что ИИЧУ не только теоретически возможен, но и практически осуществим уже в XXI столетии. По их мнению, в деле создания интеллекта, оценивая относительные возможности эволюции и человеческой инженерной мысли, мы обнаружим, что последняя во многих областях значительно превосходит эволюцию и, скорее всего, довольно скоро обгонит ее в оставшихся. Таким образом, если в результате эволюционных процессов когда-то появился естественный интеллект, то из этого следует, что человеческие замыслы в области проектирования и разработок вскоре смогут привести нас к искусственному интеллекту. Например, Моравек писал еще в 1976 году:

Существование нескольких примеров интеллекта, появившегося в условиях такого рода ограничений, должно вселять в нас уверенность, что очень скоро мы сможем достичь того же. Ситуация аналогична истории создания машин, которые могут летать, хотя они тяжелее воздуха: птицы, летучие мыши и насекомые продемонстрировали эту возможность явно задолго до того, как человек сделал летательные аппараты[101].

Впрочем, следует быть осторожнее с выводами, построенными на подобной цепочке рассуждений. Конечно, нет сомнений, что полет нечеловеческих живых существ, которые тяжелее воздуха, стал возможен в результате эволюции намного раньше того, как в этом преуспели люди — правда, преуспели при помощи механизмов. В поддержку этого можно вспомнить и другие примеры: гидролокационные системы; магнитометрические системы навигации; химические средства ведения войны; фотодатчики и прочие приспособления, обладающие механическими и кинетическими характеристиками эффективности. Однако с таким же успехом мы перечислим области, в которых результативность человеческих усилий еще очень далека от эффективности эволюционных процессов: морфогенез; механизмы самовосстановления; иммунная защита. Таким образом, аргументация Моравека все-таки не «вселяет в нас уверенность», что ИИУЧ будет создан «очень скоро». В лучшем случае верхним пределом сложности создания интеллекта может служить эволюция разумной жизни на Земле. Но этот уровень пока недосягаем для нынешних технологических возможностей человечества.

Еще один довод в пользу развития искусственного интеллекта по модели эволюционного процесса — это возможность запускать генетические алгоритмы на довольно мощных процессорах и в итоге добиться результатов, соизмеримых с теми, которые получились в ходе биологической эволюции. Таким образом, эта версия аргументации предполагает усовершенствовать ИИ посредством определенного метода.

Насколько справедливо утверждение, что довольно скоро в нашем распоряжении окажутся вычислительные ресурсы, достаточные для воспроизведения соответствующих эволюционных процессов, вследствие которых образовался человеческий интеллект? Ответ зависит от следующих условий: во-первых, будет ли в течение следующих десятилетий достигнут значимый прогресс компьютерных технологий; во-вторых, какая потребуется вычислительная мощность, чтобы механизмы запуска генетических алгоритмов были аналогичны естественному отбору, приведшему к появлению человека. Надо сказать, что выводы, к которым мы приходим по цепочке наших рассуждений, крайне неопределенны; но, несмотря на такой обескураживающий факт, все-таки представляется уместным попробовать дать хотя бы приблизительную оценку этой версии (см. врезку 3). За неимением других возможностей даже ориентировочные расчеты привлекут внимание к некоторым любопытным неизвестным величинам.

Суть в том, что вычислительная мощность, требуемая лишь для воспроизведения нужных эволюционных процессов, приведших к появлению человеческого интеллекта, практически недостижима и надолго останется таковой, даже если закон Мура будет действовать еще целое столетие (см. рис. 3 ниже). Однако существует вполне приемлемый выход: мы очень сильно повлияем на эффективность, когда вместо прямолинейного повторения естественных эволюционных процессов разработаем поисковый механизм, ориентированный на создание интеллекта, задействуя самые разные очевидные преимущества по сравнению с естественным отбором. Безусловно, оценить количественно полученный выигрыш в эффективности сейчас очень трудно. Мы даже не знаем, о каких порядках величины идет речь — пяти или двадцати пяти. Следовательно, если построенная на эволюционной модели аргументация не будет разработана должным образом, мы не сможем удовлетворить свои ожидания и никогда не узнаем, насколько сложны дороги к искусственному интеллекту человеческого уровня и как долго нам ожидать его появления.

ВРЕЗКА 3. ОЦЕНКА УСИЛИЙ ПО ВОСПРОИЗВЕДЕНИЮ ЭВОЛЮЦИОННОГО ПРОЦЕССА

Не все достижения антропогенеза, имеющие отношение к человеческому разуму, имеют ценность для современных специалистов, работающих над проблемой эволюционного развития искусственного интеллекта. В дело идет лишь незначительная часть того, что получилось в итоге естественного отбора на Земле. Например, проблемы, которые люди не могут не принимать во внимание, являются результатом лишь незначительных эволюционных усилий. В частности, поскольку мы можем питать наши компьютеры электричеством, у нас нет необходимости заново изобретать молекулы системы клеточной энергетической экономики для создания разумных машин — а ведь на молекулярную эволюцию метаболического механизма, вполне возможно, потребовалась значительная часть общего расхода мощности естественного отбора, находившейся в распоряжении эволюции на протяжении истории Земли[102].

Существует концепция, что ключом к созданию ИИ является структура нервной системы, появившаяся меньше миллиарда лет назад[103]. Если мы примем данное положение, количество «экспериментов», необходимых для эволюции, значительно сократится. Сегодня в мире существует приблизительно (4–6) × 1030 прокариотов, но лишь 1019 насекомых и меньше 1010 представителей человеческого рода (кстати, численность населения накануне неолитической революции была на порядки меньше)[104]. Согласитесь, эти цифры не столь пугающи.

Однако для эволюционных алгоритмов требуется не только разнообразие вариантов, но и оценка приспособленности каждого из вариантов — обычно наиболее затратный компонент с точки зрения вычислительных ресурсов. В случае эволюции искусственного интеллекта для оценки приспособленности требуется, по всей видимости, моделирование нейронного развития, а также способности к обучению и познанию. Поэтому лучше не смотреть на общее число организмов со сложной нервной системой, а оценить количество нейронов в биологических организмах, которые нам, возможно, придется моделировать для расчета целевой функции эволюции. Грубую оценку можно сделать, обратившись к насекомым, которые доминируют в наземной биомассе (на долю одних только муравьев приходится 15–20%)[105]. Объем головного мозга насекомых зависит от многих факторов. Чем насекомое крупнее и социальнее (то есть ведет общественный образ жизни), тем больше его мозг; например, у пчелы чуть меньше 106 нейронов, у дрозофилы — 105 нейронов, муравей со своими 250 тысячами нейронов находится между ними[106]. Мозг большинства более мелких насекомых содержит всего несколько тысяч нейронов. Предлагаю с предельной осторожностью остановиться на усредненном значении (105) и приравнять к дрозофилам всех насекомых (которых всего в мире — 1019), тогда суммарное число их нейронов составит 1024. Добавим еще порядок величины за счет ракообразных, птиц, рептилий, млекопитающих и т. д. — и получим 1025. (Сравним это с тем, что до возникновения сельского хозяйства на планете было меньше 107 человек, причем на каждого приходилось примерно 1011 нейронов — то есть в общей сложности сумма всех нейронов составляла меньше чем 1018, хотя человеческий мозг содержал — и содержит — намного больше синапсов.)

Вычислительные затраты на моделирование одного нейрона зависят от необходимой степени детализации модели. Для крайне простой модели нейрона, работающей в режиме реального времени, требуется примерно 1000 операций с плавающей запятой в секунду (далее — FLOPS). Для электро- и физиологически реалистичной модели Ходжкина–Хаксли нужно 1 200 000 FLOPS. Более сложная мультикомпонентная модель нейрона добавила бы два-три порядка величины, а модель более высокого уровня, оперирующая системами нейронов, требует на два-три порядка меньше операций на один нейрон, чем простые модели[107]. Если нам нужно смоделировать 1025 нейронов на протяжении миллиарда лет эволюции (это больше, чем срок существования нервных систем в их нынешнем виде) и мы позволим компьютерам работать над этой задачей в течение года, то требования к их вычислительной мощности попадут в диапазон 1031–1044 FLOPS. Для сравнения, самый сверхмощный компьютер в мире китайский Tianhe-2 (на сентябрь 2013 года) способен выдавать всего 3,39 × 1016 FLOPS. В последние десятилетия обычные компьютеры увеличивали свою производительность на порядок примерно раз в 6,7 года. Даже если вычислительная мощность станет расти по закону Мура в течение целого столетия, то это окажется недостаточным, чтобы преодолеть существующий разрыв. Использование более специализированных вычислительных систем или увеличение времени вычислений способны снизить требования к мощности всего на несколько порядков.

Оценка количества нейронов носит условный характер еще по одной причине. Природа, создавая человеческий разум, вряд ли ставила перед собой какую-то определенную задачу. Иными словами, целевая функция эволюционной системы отбирала организмы не только ради развития у них интеллекта или его предшественника — «конкретного мышления»[108]. Даже если организмы с лучшими способностями к обработке информации при определенных условиях извлекали дополнительные выгоды, то это обстоятельство не являлось главным фактором отбора особи, поскольку развитое мышление могло означать (и часто означало) возникновение дополнительных издержек: затрату большего количества энергии или более медленное созревание, — что перевешивало преимущества разумного поведения. Высокая смертность также снижала ценность интеллекта — чем короче средняя продолжительность жизни, тем меньше времени для того, чтобы «окупились» повышенные способности к обучению. Сниженное давление отбора замедляло распространение инноваций, основанных на интеллекте, и, как следствие, уменьшало возможность отбора последующих инноваций. Более того, эволюция могла тормозиться в локальных оптимумах, которые исследователи в состоянии заметить и обойти за счет изменения баланса между поиском и памятью или за счет плавного повышения сложности тестов на интеллект[109]. Как уже говорилось ранее, эволюция тратит значительную часть мощности отбора на свойства, не имеющие отношения к интеллекту, — скажем, на эволюционную конкуренцию между иммунной системой и паразитами, названную «гонка Черной королевы». Эволюция продолжает растрачивать ресурсы на заведомо обреченные мутации и неспособна принимать во внимание статистическое сходство различных мутаций. Приведенные здесь примеры не должны отпугивать специалистов, разрабатывающих эволюционные алгоритмы для создания интеллектуальных программ, так как неэффективность естественного отбора (с точки зрения развития интеллекта) довольно легко преодолима.

Вполне вероятно, что устранение такого рода неэффективности поможет сэкономить несколько порядков требуемой мощности в 1031–1044 FLOPS, рассчитанной ранее. К сожалению, трудно сказать, сколько именно. Трудно дать даже приблизительную оценку — можно только гадать, будет ли это пять порядков, десять или двадцать пять[110].

Искусственный интеллект. Этапы. Угрозы. Стратегии

Рис. 3. Производительность сверхмощных компьютеров. В прямом смысле то, что называют «закон Мура», — это наблюдение, согласно которому количество транзисторов, размещаемых на кристалле интегральной схемы, удваивается примерно каждые два года. Однако часто закон обобщают, считая, что так же по экспоненте растут и другие показатели производительности компьютеров. На нашем графике показано изменение во времени пиковой скорости наиболее сверхмощных компьютеров в мире (по логарифмической вертикальной шкале). В последние годы скорость последовательных вычислений расти перестала, но за счет распространения параллельных вычислений общее количество операций продолжает увеличиваться с прежним темпом[111].


Есть еще одно осложнение, связанное с эволюционными факторами, выдвигаемыми в качестве последнего аргумента. Проблема заключается в том, что мы не в состоянии вычислить — даже очень приблизительно — верхнюю границу трудности получения интеллекта эволюционным путем. Да, на Земле когда-то появилась разумная жизнь, но из этого факта еще не следует, будто процессы эволюции с высокой степенью вероятности приводят к возникновению интеллекта. Подобное заключение было бы в корне ошибочным, поскольку не учитывается так называемый эффект наблюдения при отборе, подразумевающий, что все наблюдатели находятся на планете, где зародилась разумная жизнь, независимо от того, насколько вероятно или невероятно такое событие на любой другой планете. Предположим, для появления разумной жизни, помимо систематических погрешностей естественного отбора, требуется огромное количество удачных совпадений — настолько большое, что разумная жизнь появилась всего лишь на одной из 1030 планет, где существуют простые гены-репликаторы. В таком случае исследователи, запуская генетические алгоритмы в попытке воспроизвести созданное эволюцией, могут столкнуться с тем, что понадобится сделать примерно 1030 итераций, прежде чем они найдут комбинацию, в которой все элементы сложатся правильно. Кажется, это вполне согласуется с нашим наблюдением, что жизнь зародилась и развивалась здесь, на Земле. Обойти данный гносеологический барьер отчасти можно путем тщательных и до некоторой степени громоздких логических ходов — анализируя случаи конвергентной эволюции характеристик, имеющих отношение к интеллекту, и принимая во внимание эффект наблюдения при отборе. Если ученые не возьмут на себя труд провести такой анализ, то в дальнейшем уже никому из них не придется оценивать максимальное значение и выяснить, насколько предполагаемая верхняя граница необходимой вычислительной мощности для воспроизведения эволюции интеллекта (см. врезку 3) может оказаться ниже тридцатого порядка (или какой-то другой столь же большой величины)[112].

Перейдем к следующему варианту достижения нашей цели: аргументом в пользу осуществимости эволюции искусственного интеллекта служит деятельность головного мозга человека, на которую ссылаются как на базовую модель для ИИ. Различные версии такого подхода отличаются лишь степенью воспроизведения — насколько точно предлагается имитировать функции биологического мозга. На одном полюсе, представляющем собой своеобразную «игру в имитацию», мы имеем концепцию полной эмуляции мозга, то есть полномасштабного имитационного моделирования головного мозга (к этому мы вернемся немного позже). На другом полюсе находятся технологии, в соответствии с которыми функциональность мозга служит лишь стартовой точкой, но разработка низкоуровневого моделирования не планируется. В конечном счете мы приблизимся к пониманию общей идеи деятельности мозга, чему способствуют успехи в нейробиологии и когнитивной психологии, а также постоянное совершенствование инструментальных и аппаратных средств. Новые знания, несомненно, станут ориентиром в дальнейшей работе с ИИ. Нам уже известен пример ИИ, появившегося в результате моделирования работы мозга, — это нейронные сети. Еще одна идея, взятая из нейробиологии и перенесенная на машинное обучение, — иерархическая организация восприятия. Изучение обучения с подкреплением было обусловлено (по крайней мере частично) той важной ролью, которую эта тема играет в психологических теориях, описывающих поведение и мышление животных, а также техники обучения с подкреплением (например, TD-алгоритм). Сегодня обучение с подкреплением широко применяется в системах ИИ[113]. В будущем подобных примеров, безусловно, будет больше. Поскольку набор базовых механизмов функционирования мозга весьма ограничен — на самом деле их очень небольшое количество, — все эти механизмы рано или поздно будут открыты благодаря постоянным успехам нейробиологии. Однако возможен вариант, что еще раньше придет к финишу некий гибридный подход, сочетающий модели, разработанные, с одной стороны, на основе деятельности головного мозга человека, с другой — исключительно на основе технологий искусственного интеллекта. Совсем не обязательно, что полученная в результате система должна во всем напоминать головной мозг, даже если при ее создании и будут использованы некоторые принципы его деятельности.

Деятельность головного мозга человека в качестве базовой модели представляет собой сильный аргумент в пользу осуществимости создания и дальнейшего развития искусственного интеллекта. Однако ни один даже самый мощный довод не приблизит нас к пониманию будущих сроков, поскольку трудно предсказать, когда произойдет то или иное открытие в нейробиологии. Можно сказать только одно: чем глубже в будущее мы заглядываем, тем больше вероятность, что секреты функционирования мозга будут раскрыты достаточно полно для воплощения систем искусственного интеллекта.

Исследователи, работающие в области искусственного интеллекта, придерживаются разных точек зрения относительно того, насколько многообещающим является нейроморфный подход сравнительно с технологиями, основанными на полностью композиционных подходах. Полет птиц демонстрировал физическую возможность появления летающих механизмов тяжелее воздуха, что в итоге привело к строительству летательных аппаратов. Однако даже первые поднявшиеся в воздух аэропланы не взмахивали крыльями. По какому пути пойдет разработка искусственного интеллекта? Вопрос остается открытым: по принципу ли закона аэродинамики, удерживающего в воздухе тяжелые железные механизмы, — то есть учась у живой природы, но не подражая ей напрямую; по принципу ли устройства двигателя внутреннего сгорания — то есть непосредственно копируя действия природных сил.

Концепция Тьюринга о разработке программы, получающей большую часть знаний за счет обучения, а не в результате задания исходных данных, применима и к созданию искусственного интеллекта — как к нейроморфному, так и композиционному подходам.

Вариацией тьюринговой концепции «машины-ребенка» стала идея зародыша ИИ[114]. Однако если «машине-ребенку», как это представлял Тьюринг, полагалось иметь относительно фиксированную архитектуру и развивать свой потенциал за счет накопления контента, зародыш ИИ будет более сложной системой, самосовершенствующей собственную архитектуру. На ранних стадиях существования зародыш ИИ развивается в основном за счет сбора информации, действуя методом проб и ошибок не без помощи программиста. «Повзрослев», он должен научиться самостоятельно разбираться в принципах своей работы, чтобы уметь проектировать новые алгоритмы и вычислительные структуры, повышающие его когнитивную эффективность. Требуемое понимание возможно лишь в тех случаях, когда зародыш ИИ или во многих областях достиг довольно высокого общего уровня интеллектуального развития, или в отдельных предметных областях — скажем, кибернетике и математике — преодолел некий интеллектуальный порог.

Это подводит нас к еще одной важной концепции, получившей название «рекурсивное самосовершенствование». Успешный зародыш ИИ должен быть способен к постоянному саморазвитию: первая версия создает улучшенную версию самой себя, которая намного умнее оригинальной; улучшенная версия, в свою очередь, трудится над еще более улучшенной версией и так далее[115]. При некоторых условиях процесс рекурсивного самосовершенствования может продолжаться довольно долго и в конце концов привести к взрывному развитию искусственного интеллекта. Имеется в виду событие, в ходе которого за короткий период времени общий интеллект системы вырастает со сравнительно скромного уровня (возможно, во многих аспектах, кроме программирования и исследований в области ИИ, даже ниже человеческого) до сверхразумного, радикально превосходящего уровень человека. В четвертой главе мы вернемся к этой перспективе, весьма важной по своему значению, и подробнее проанализируем динамику развития событий.

Обратите внимание, что такая модель развития предполагает возможность сюрпризов. Попытки создать универсальный искусственный интеллект могут, с одной стороны, закончиться полной неудачей, а с другой — привести к последнему недостающему критическому элементу — после чего зародыш ИИ станет способен на устойчивое рекурсивное самосовершенствование.

Прежде чем закончить этот раздел главы, хотелось бы подчеркнуть еще одну вещь: совсем не обязательно, чтобы искусственный интеллект был уподоблен человеческому разуму. Вполне допускаю, что ИИ станет совершенно «чужим» — скорее всего, так и случится. Можно ожидать, что когнитивная архитектура ИИ будет резко отличаться от когнитивной системы человека; например, на ранних стадиях когнитивная архитектура будет иметь совсем другие сильные и слабые признаки (хотя, как мы увидим далее, ИИ удастся преодолеть исходные недостатки). Помимо всего, целеустремленные системы ИИ могут не иметь ничего общего с системой целеустремлений человечества. Нет оснований утверждать, что ИИ среднего уровня начнет руководствоваться человеческими чувствами, такими как любовь, ненависть, гордость, — для такой сложной адаптации потребуется огромный объем дорогостоящих работ, более того, к появлению подобной возможности у ИИ следует отнестись очень осмотрительно. Это одновременно и большая проблема, и большие возможности. Мы вернемся к мотивации ИИ в дальнейших главах, но эта идея настолько важна для книги, что ее стоит держать в голове постоянно.


Полная эмуляция головного мозга человека

В процессе полномасштабного имитационного моделирования головного мозга, который мы называем «полная эмуляция мозга» или «загрузка разума», искусственный интеллект создается путем сканирования и точного воспроизведения вычислительной структуры биологического мозга. Таким образом, приходится всецело черпать вдохновение у природы — крайний случай неприкрытого плагиата. Чтобы полная эмуляция мозга прошла успешно, требуется выполнить ряд определенных шагов.

Первый этап. Делается довольно подробное сканирование человеческого мозга. Это может включать фиксацию мозга умершего человека методом витрификации, или стеклования (в результате ткани становятся твердыми, как стекло). Затем одним аппаратом с ткани делаются тонкие срезы, которые пропускают через другой аппарат для сканирования, возможно, при помощи электронных микроскопов. На этой стадии применяется окраска материала специальными красителями, чтобы выявить его структурные и химические свойства. При этом параллельно работают множество сканирующих аппаратов, одновременно обрабатывающих различные срезы ткани.

Второй этап. Исходные данные со сканеров загружают в компьютер для автоматической обработки изображений, чтобы реконструировать трехмерную нейронную сеть, отвечающую за познание в биологическом мозгу. Дабы сократить количество снимков в высоком разрешении, которые необходимо хранить в буфере, этот этап может выполняться одновременно с первым. Полученную карту комбинируют с библиотекой нейровычислительных моделей на нейронах разного типа или на различных нейронных элементах (например, могут отличаться синапсы). Некоторые результаты сканирования и обработки изображений с применением современной технологии показаны на рис. 4.


Искусственный интеллект. Этапы. Угрозы. Стратегии

Искусственный интеллект. Этапы. Угрозы. Стратегии

Рис. 4. Трехмерная реконструкция срезов, проведенная нейроанатомическим методом (изображения под электронным микроскопом).Слева вверху: дендриты и аксоны — типовой электронно-микроскопический снимок, показывающий поперечное сечение нейронов. Справа вверху: объемная реконструкция среза сетчатки глаза кролика, полученная по снимкам сканирующего электронного микроскопа[116]. Отдельные двумерные снимки «складываются» в куб со стороной примерно 11 мкм. Внизу: реконструкция подмножества нейронных проекций, составляющих нейропиль, созданная с помощью алгоритма автоматической сегментации[117].


Третий этап. Нейросетевая вычислительная структура, полученная на предыдущем этапе, загружается в довольно мощный компьютер. В случае полного успеха результат станет цифровой копией исходного интеллекта с неповрежденной памятью и нетронутым типом личности. Эмуляция человеческого разума теперь существует в виде программного обеспечения на компьютере. Разум может как обитать в виртуальном пространстве, так и взаимодействовать с реальным миром при помощи роботизированных конечностей.

Работа над полной эмуляцией мозга не предполагает, что исследователи должны разбираться в процессе познания или программировании искусственного интеллекта. Им нужно лишь быть высокими профессионалами в таком вопросе, как низкоуровневые функциональные характеристики базовых вычислительных элементов мозга. Для успешно проведенной эмуляции не потребуются ни фундаментальные концепции, ни теоретические открытия.

Без применения самых передовых технологий полная эмуляция головного мозга практически неосуществима. Прежде всего нужно, имея в наличии необходимое оборудование и соблюдая все условия, провести три главные манипуляции:

1)-сканирование — высокопроизводительные микроскопы с хорошим разрешением, дающие возможность обнаружить нужные свойства;

2)-трансляция — автоматизированный анализ изображений для перевода исходных данных сканирования в связанную трехмерную модель из релевантных вычислительных элементов;

3)-моделирование — компьютер, достаточно мощный для обработки полученной оцифрованной структуры.

По сравнению с перечисленными этапами, связанными с довольно напряженным и высокоточным трудом (см. табл. 4), покажется относительно незамысловатым делом разработать базовую виртуальную реальность или роботизированную внешность с аудиовизуальным каналом для ввода данных и каким-нибудь простым каналом для их вывода. Отвечающие минимальным требованиям простые системы ввода и вывода, похоже, можно получить, даже с помощью имеющихся под рукой технологий и оборудования[118].


Таблица 4. Технологии, необходимые для полной эмуляции мозга человека

Искусственный интеллект. Этапы. Угрозы. Стратегии

Искусственный интеллект. Этапы. Угрозы. Стратегии

Искусственный интеллект. Этапы. Угрозы. Стратегии


Мы неслучайно надеемся, что необходимые инновационные технологии пусть не в ближайшем будущем, но когда-нибудь станут достижимыми. У нас уже существуют более или менее точные компьютерные модели многих типов биологических нейронов и нейронных процессов. Разработано программное обеспечение для распознавания образов, способное отследить аксоны и дендриты в стопке двумерных изображений (хотя их точность еще предстоит повысить). Имеются средства съемки с нужным разрешением — с помощью сканирующего туннельного микроскопа можно «увидеть» отдельные атомы, причем с разрешением гораздо выше необходимого. Полная эмуляция головного мозга человека потребует весьма мощного технологического прорыва — и это отлично понимают все исследователи; однако имеющийся на сегодняшний день багаж знаний и возможностей дает все основания полагать, что нет никакого непреодолимого барьера для появления нужных технологий[119]. Например, необязательно иметь микроскопы с высочайшим разрешением — должны быть просто очень мощные микроскопы. Слишком затратно по времени и стоимости использовать для съемки исследуемого материала туннельные сканирующие микроскопы с атомным разрешением. Наверное, более оправданным стало бы применение электронных микроскопов с меньшим разрешением, что, естественно, потребует лучшего обеспечения видимости важных элементов, скажем, синаптической микроструктуры, — в свою очередь, это повлечет разработку новых методов подготовки и окраски кортикальной ткани. Уже пора задуматься над такими вопросами, как расширение нейровычислительных библиотек, усовершенствование автоматизированной обработки образов и интерпретации результатов сканирования.

Осуществимость полной эмуляции головного мозга человека не зависит от теоретических разработок так сильно, как, скажем, создание искусственного интеллекта; загрузка разума в основном возлагается на технологические возможности. Требования к технологиям определяются лишь уровнем абстракции, на котором происходит эмулирование. В этом смысле придется искать баланс между теорией и технологией. С одной стороны, чем слабее наше сканирующее оборудование, чем менее производительны компьютеры, тем меньше мы можем рассчитывать на низкоуровневое имитационное моделирование физико-химических процессов головного мозга и тем больше потребуется теоретического понимания вычислительной архитектуры, которую мы стремимся моделировать, чтобы создать более абстрактные представления значимой функциональности[120]. С другой стороны, при достаточном количестве и качестве передовой сканирующей техники и сверхмощных вычислительных средств нам вряд ли понадобятся сильная теоретическая подготовка и профессиональные знания о происходящих в мозгу процессах — ведь при условии «технологического изобилия» мы сможем решить задачу моделирования методом простого перебора — то есть элементарно «в лоб». Правда, есть третий вариант: давайте проведем эмуляцию мозга на уровне элементарных частиц, то есть отнесемся к мозгу как к квантовомеханической системе и решим нашу проблему с помощью уравнения Шрёдингера. В этом случае — совсем крайнем по своей маловероятности — нам придется вовсе абстрагироваться от биологической модели и опираться исключительно на существующие знания физики. Но все размышления на тему элементарных частиц умозрительны, поскольку сразу возникает вопрос о требованиях, которые будут предъявляться к вычислительной мощности и обработке данных, — условия для нас совершенно невыполнимые. Гораздо более правдоподобным вариантом могла бы стать эмуляция отдельных нейронов и их матрицы смежности с построением структуры их дендритных деревьев и, возможно, каких-то статических переменных, описывающих индивидуальные синапсы; при этом, не трогая по отдельности молекулы-нейротрансмиттеры, возможно будет моделировать изменение их концентрации в виде грубой структуры.

Чтобы оценить осуществимость полной эмуляции головного мозга человека, необходимо определить критерии удачного завершения процесса. Вряд ли ученые стремятся создать детальную и точную модель мозга, которую можно было бы подвергать воздействию последовательности определенных стимулов, и на основании результатов точно предсказывать «поведение» биологического мозга. Безусловно, нет. Они хотят всего лишь воспроизвести вычислительные функциональные свойства мозга в таком объеме, чтобы использовать полученный эмулятор для выполнения интеллектуальных задач. При подобном целеполагании можно не принимать во внимание многие компоненты биологического мозга с его довольно сложными и запутанными структурами.

Чтобы понять, насколько удачно проведена эмуляция, следует оценить, в какой степени удалось сохранить церебральные функции обработки информации в полученном эмуляторе. Для этого придется провести более глубокий анализ. Например, можно выделить следующие виды эмуляторов мозга:

1)-высокоточная модель — сохраняет всю совокупность знаний, навыков, возможностей и ценностей биологического мозга;

2)-искаженная модель — с выраженными нечеловеческими задатками, но в основном способна выполнять ту же умственную работу, что и биологический мозг;

3)-обобщенная модель (может быть искаженной) — в некотором смысле ребенок, лишенный навыков и воспоминаний, приобретенных биологическим мозгом взрослого человека, но способный научиться большинству вещей, которым обучается среднестатистический человек[121].

Если мы пойдем по этому пути, то естественно предположить, что высокоточная модель мозга в конце концов будет осуществлена, но первая модель, которую нам удастся создать, по всей видимости, окажется совсем простой. Прежде чем получить нечто, идеально работающее, вероятно, придется сделать нечто, работающее пока еще несовершенно. Более того, не исключено, что выбор такого пути, как эмуляция мозга, приведет нас к созданию нейроморфного ИИ, который будет основан на обнаруженных в процессе эмулирования принципах нейровычислительной системы и композиционных подходах. Скорее всего, этот промежуточный вариант появится раньше завершения полномасштабного имитационного моделирования головного мозга. Допустимость появления побочного результата вроде нейроморфного ИИ заставляет серьезно задуматься, стоит ли ускорять развитие технологии эмулирования, — более подробно мы рассмотрим этот вопрос в одной из следующих глав.

Насколько далеки мы сегодня от построения полной компьютерной модели мозга? В одной из недавно опубликованных работ приводится технический сценарий и делается вывод — правда, с широким интервалом неопределенности[122], — что все необходимые условия будут созданы к середине нашего века[123]. Основные контрольные точки этого пути показаны на рис. 5. Однако кажущаяся простота сценария может быть обманчива: нам не следует недооценивать объем предстоящей работы. Пока еще не удалось разработать ни одну компьютерную модель биологического мозга. Возьмем Caenorhabditis elegans — прозрачный круглый червь (нематода), длиной около одного миллиметра и имеющий всего 302 нейрона. Это скромное неприметное создание служит для науки модельным организмом. Его коннектом, то есть полное описание структуры связей его нейронов, известен с середины 1980-х годов. Матрица связей была составлена после тщательно проделанной работы по подготовке материала: разделение ткани на слои, исследование под электронным микроскопом и нанесение маркировки на образцы вручную[124]. Но нам недостаточно просто видеть, как нейроны связаны друг с другом. Чтобы сконструировать компьютерную модель мозга, нужно знать, какие синапсы — возбуждающие, а какие — тормозящие; понимать устойчивость связей, а также различные динамические свойства аксонов, синапсов и дендритов. Полной информации пока нет даже в описании такой простой нервной системы, как у C. elegans (хотя сейчас это вполне доступно сделать в рамках целевого исследовательского проекта среднего размера)[125]. Успех, достигнутый при эмуляции крошечного мозга червя C. elegans, поможет лучше оценить тот путь, который нам предстоит пройти, чтобы провести эмуляцию мозга более крупных размеров.


Искусственный интеллект. Этапы. Угрозы. Стратегии

Рис. 5. Сценарий полной эмуляции мозга. Схематично изображены входные параметры, задачи и контрольные точки[126].

На определенной стадии развития технологий, когда появятся методы автоматического эмулирования небольших фрагментов тканей мозга, останется решить проблему масштабирования. Обратите внимание, что символическая «лестница», изображенная на рис. 5, передает последовательность шагов, которые должны быть пройдены для достижения цели. Каждая ступень лестницы соответствует определенной стадии полной эмуляции мозга — стадии, становящейся все более сложной с точки зрения строения нервной системы организмов, например: нематодапчеламышьмакака-резусчеловек. Поскольку разрыв между ступенями — по крайней мере после первого шага — носит характер скорее количественный, чем качественный, и определяется (в большей степени, хотя и не полностью) разницей в размерах моделируемого мозга, его можно преодолеть за счет относительно прямолинейного увеличения возможностей сканирования и моделирования[127].

Когда мы дойдем до последней ступени лестницы, перспектива осуществления компьютерной модели человеческого мозга станет более ясной[128]. Как только вдруг мы услышим о высокопроизводительном сканирующем оборудовании и сверхмощных компьютерах, то есть таком аппаратном обеспечении, которого не хватало, чтобы приступить к последнему этапу моделирования в реальном масштабе, — его появление послужит для нас предупредительным сигналом, что мы готовы вступить на путь полной эмуляции головного мозга и через какое-то время, возможно, окажемся в зоне действия искусственного интеллекта человеческого уровня. Но если последним недостающим звеном станет нейромоделирование, переход от невзрачных прототипов к работающей модели головного человеческого мозга может быть более резким. Тогда представим сценарий, по которому неожиданно обнаруживается — при всем изобилии программ для сканирования и быстродействующих компьютеров, — что модели биологических нейронов довольно трудно заставить работать правильно. Конечно, мы в конце концов справимся с этим глюком, и наши абсолютно беспомощные нейромодели, до той поры будто бы пребывавшие в обморочном состоянии после большого эпилептического припадка, бодро и согласованно возьмутся за дело. В этом случае успеху не будет предшествовать долгая череда эмуляций мозга живых организмов, чьи размеры последовательно возрастают — от червя до обезьяны; а научные изыскания не будет сопровождать вереница газетных статей, шрифт которых соответственно увеличивается от петита до крупного кегля. Тем из нас, кто внимательно следит за ходом событий, будет довольно трудно заранее определить, сколько еще остается недееспособных нейромоделей и как долго придется ждать устранения дефектов; вряд ли мы сразу поймем, что этот этап уже пройден и ученые стоят на пороге решающего достижения. (Как только удастся осуществить эмуляцию головного мозга человека, последуют и другие потенциально взрывоопасные открытия, но мы отложим их обсуждение до четвертой главы.)

Итак, мы видим, что допустим самый неожиданный сценарий, даже если все исследования будут проводиться совершенно открыто. Тем не менее прогресс, связанный с полной эмуляцией мозга, вероятнее всего будет иметь вполне определенные и понятные признаки, поскольку изучение этой проблемы зависит от конкретных и доступных нашему пониманию технологий, тогда как характер развития искусственного интеллекта, от классического до универсального, базируется на теоретических разработках. Кроме того, в отличие от развития ИИ, в случае с загрузкой разума мы можем с большей уверенностью говорить, что компьютерная модель мозга вряд ли будет осуществима в ближайшем будущем (скажем, в течение пятнадцати лет) — из-за отсутствия на сегодняшний день даже исходных версий некоторых необходимых сложнейших технологических разработок. Напротив, в отношении искусственного интеллекта совсем не исключено, что, в принципе, некий человек может просто взять и написать программу зародыша ИИ для обычного современного компьютера, и соответственно не исключено — хотя и маловероятно, — что где-нибудь кто-нибудь разберется, как это сделать уже в ближайшее время.

Усовершенствование когнитивных способностей человека

Третий путь создания интеллекта, превосходящего человеческий, это улучшение функционирования биологического мозга. В принципе, этого можно было бы достичь без применения технологий, а за счет селекции. Однако любая попытка запустить классическую программу евгеники столкнется и с политическими, и этическими препятствиями. Кроме того, для получения сколько-нибудь значимых результатов — если только отбор не будет чрезмерно строгим — потребуется множество поколений. Задолго до того как такая программа принесет плоды, человечество в результате развития биотехнологий получит прямой контроль над генетикой и нейробиологией, что сделает ненужными проекты по селекции людей. Поэтому мы обращаем внимание на методы, которые приведут к результату намного быстрее: на протяжении жизни нескольких поколений и даже одного, — для этого есть потенциальные возможности.

Мы научились повышать свои индивидуальные познавательные, или когнитивные, способности разными способами, в том числе не пренебрегая и традиционными, например обучением и тренировкой. Развитие нервной системы можно ускорить за счет таких низкотехнологичных методов, как оптимизация внутриутробного и младенческого питания, устранение из окружающей среды свинца и других нейротоксичных загрязнений, уничтожение паразитов; обеспечение полноценного сна и физической нагрузки; профилактика заболеваний, влияющих на умственную деятельность[129]. Безусловно, каждое средство из перечисленных помогает развитию когнитивных функций, хотя, скорее всего, значимость успеха слишком незначительна, особенно в обществах, где дети уже получают вполне качественное питание и образование. Действуя лишь таким образом, мы вряд ли сумеем развить в ком-нибудь мощный сверхинтеллект, но свою посильную лепту эти методы все-таки вносят, в частности, с их помощью мы улучшаем положение малоимущих и расширяем в мировом масштабе возможности для появления одаренных людей. (Распространенной проблемой многих бедных стран, не имеющих выхода к морю, остается снижающийся на протяжении жизни уровень интеллектуальных способностей из-за дефицита йода. Ситуация абсолютно неприемлемая, поскольку в наше время вопрос решается крайне просто — это обогащенная йодом столовая соль, которая по стоимости дороже обычной всего на несколько центов на одного человека в год[130].)

Большего эффекта удается добиться с помощью медико-биологических средств. В настоящее время появляются лекарственные препараты, способные, как утверждают, улучшать память, концентрацию внимания и умственные силы — по крайней мере, некоторым они помогают[131]. (Работая над этой книгой, я заправлялся кофе и поддерживал силы никотиновой жвачкой.) Действенность сегодняшних лекарств, стимулирующих умственные способности, весьма нестабильна, относительна и многими отрицается; вполне вероятно, будущие ноотропные средства, или нейрометаболические стимуляторы, начнут оказывать больше помощи и обладать меньшими побочными эффектами[132]. Однако вряд ли стоит уповать, что когда-нибудь придумают химический препарат, который, будучи введен в здоровый мозг, обеспечит резкий скачок интеллектуальных способностей человека, — как с неврологической, так и эволюционной точек зрения это кажется неправдоподобным[133]. Когнитивная деятельность мозга человека зависит от хрупкой гармонии многих факторов, особенно на критически важной стадии эмбрионального развития, поэтому для улучшения такой самоорганизующейся системы, как функциональность мозга, потребуется скорее не примитивная подкормка неким зельем, а обеспечение ее бережным балансом, тонкой настройкой и тщательной культивацией.

Более мощные инструменты мы получим с помощью генетических манипуляций, не полагаясь на действие психотропных лекарственных средств. Вернемся снова к идее генетического отбора. Вместо попыток внедрять евгенические программы, корректируя схемы скрещивания, можно использовать механизмы клеточного отбора на уровне эмбрионов и гамет[134]. В ходе процедуры экстракорпорального оплодотворения (ЭКО) перед имплантацией эмбриона уже проводится генетическая диагностика, чтобы выявить моногенные нарушения вроде болезни Хантингтона и предрасположенность к некоторым развивающимся в более поздние периоды жизни человека заболеваниям, таким как рак молочной железы. Генетическую диагностику используют для определения пола будущего ребенка, а также для сравнения типа человеческих лейкоцитарных антигенов с данными его родных брата или сестры, по отношению к которым будущий новорожденный может выступить донором стволовых клеток, если они больны[135]. За следующие десять или двадцать лет заметно вырастет количество факторов, которые можно будет использовать в качестве критериев отбора — как позитивного, так и негативного. Значимым фактором прогресса генетики поведения являются быстро снижающиеся затраты на генотипирование и секвенирование генома. У нас на глазах появляется возможность проводить комплексный анализ характеристик всего генома, что значительно обогатит наши знания элементов генетической архитектуры, отвечающей за мыслительную и поведенческую деятельность человека[136]. Это даст возможность использовать в качестве критерия отбора любую черту личности, не относящуюся к наследственным, в том числе когнитивные способности[137]. Для отбора эмбрионов не требуется глубокого понимания причинно-следственных связей, которые в результате сложного взаимодействия между генами и окружающей средой приводят к тому или иному фенотипу, — необходимо лишь иметь генетические данные (правда, много), коррелирующие с интересующими исследователей признаками.

Можно сделать некоторые ориентировочные оценки коэффициентов максимального прироста, которые получаются при различных сценариях отбора[138].


Таблица 5. Максимальный прирост коэффициента умственного развития (IQ) в результате выбора из разного количества эмбрионов[139]

Отбор

Дополнительные баллы IQ

1 из 2

4,2

1 из 10

11,5

1 из 100

18,8

1 из 1000

24,3

5 поколений по 1 из 10

< 65 (каждое следующее поколение дает меньший прирост)

10 поколений по 1 из 10

< 130 (каждое следующее поколение дает меньший прирост)

Суммарный предел (с учетом сложения всех вариантов, оптимизированных с точки зрения когнитивных способностей)

100 + [< 300 (каждое следующее поколение дает меньший прирост)]


В табл. 5 показан ожидаемый рост интеллектуальных способностей в зависимости от размера популяции, в которой производится отбор, исходя из предположения, что доступна вся информация об общем количестве аддитивных генетических вариантов, лежащих в основе наследуемости интеллекта. (Неполная информация снизит эффективность селекции, хотя и не в той степени, как может показаться непосвященным[140].) Неудивительно, что отбор из большего числа эмбрионов дает лучшие результаты, хотя и не прямо пропорционально: выбор из ста эмбрионов не в пятьдесят раз предпочтительнее выбора из двух[141].

Интересно, что снижение прироста коэффициента умственного развития значительно меньше, когда результаты отбора отражаются на следующем поколении. Таким образом, гораздо лучший результат получается, если последовательно отбирать 1 из 10 на протяжении десяти поколений (когда каждое следующее поколение состоит из отобранных на предыдущем этапе), чем если один раз выбрать 1 из 100. Естественно, главная проблема последовательного отбора в том, что на него требуется больше времени. Если на каждый этап нужно двадцать–тридцать лет, тогда даже проект из пяти последовательных поколений закончится в середине XXII столетия. Скорее всего, к этому времени человечество достигнет успеха с помощью более прямых и мощных методов генной инженерии (не говоря уже об искусственном интеллекте).

Правда, появилась новая идея, которая сможет значительно увеличить благотворную роль генетического скрининга перед имплантацией, если будет исследована настолько, что будет применена к человеку, — это получение жизнеспособных сперматозоидов и яйцеклеток из стволовых клеток эмбриона[142]. С помощью этого метода уже было получено фертильное потомство мышей и человеческие гаметоподобные клетки. По сути, впереди еще много нерешенных научных проблем, и как минимум предстоит повторить полученные на мышах результаты, но уже на людях, избежав при этом эпигенетических отклонений в полученных линиях стволовых клеток. По мнению исследователя Кацухико Хаяси, решить эти задачи для клеток человека удастся «может быть, лет через десять, а может быть, через пятьдесят»[143].

С гаметами, полученными из стволовых клеток, у любой супружеской пары окажется гораздо больше возможностей для выбора. Сейчас при проведении ЭКО обычно создают меньше десяти эмбрионов. В случае получения гамет из стволовых клеток всего несколько клеток донора могут быть превращены в практически неограниченное число гамет, эмбрионы из которых будут подвергнуты генотипированию и секвенированию, чтобы выбрать наиболее многообещающие для имплантации. В зависимости от стоимости подготовки и скрининга одного эмбриона эта технология способна ощутимо увеличить селективные возможности, оказывающиеся в распоряжении родителей, которые выбрали процедуру ЭКО.

Но гораздо важнее другое: метод получения гамет из стволовых клеток позволит потратить на отбор из нескольких поколений гораздо меньше времени, чем требуется для созревания человека, поскольку предполагает использовать итеративную селекцию эмбрионов. Эта процедура состоит из определенных этапов[144].

   1. Генотипирование и отбор эмбрионов, обладающих наилучшими необходимыми генетическими характеристиками.

   2. Извлечение из этих эмбрионов стволовых клеток и превращение их в сперматозоид и яйцеклетку, созревающую в течение шести месяцев или даже менее[145].

   3. Оплодотворение яйцеклетки сперматозоидом и получение новых эмбрионов.

   4. Повторение этого цикла до накопления заметных генетических изменений.

Таким способом можно осуществить отбор из десяти и более поколений всего за несколько лет. (Это долгая и дорогая процедура, однако ее достаточно провести лишь один раз, а не повторять для каждого ребенка. Итоговую совокупность клеток можно будет использовать для получения очень большого количества улучшенных эмбрионов.)

Как видно из табл. 5, средний уровень интеллекта людей, родившихся в результате такого отбора, может быть очень высоким, возможно, равным или даже превосходящим уровень самых гениальных представителей человеческого рода. Мир, значительная часть населения которого состояла бы из людей такого интеллектуального развития, мог бы — при наличии соответствующей культуры, образования, коммуникационной инфраструктуры — представлять собой коллективный сверхразум.

Воздействие селекции эмбрионов на будущее все-таки может быть и ослаблено, и отсрочено. Существует биологически неизбежный временной лаг, связанный с развитием человека: пройдет как минимум двадцать лет, пока отобранные эмбрионы превратятся в людей, достигших производительного возраста; еще больше времени понадобится, чтобы они стали заметной частью своей социальной среды. Более того, даже если технология будет доведена до совершенства, готовность общества принять таких людей может быть очень низкой. В некоторых странах они вообще окажутся вне закона — на основании этических соображений или религиозных традиций[146]. Даже при возможности выбора многие пары все равно предпочтут естественный способ зачатия. Но приятие ЭКО постепенно начнет возрастать, если станут понятны преимущества этой процедуры, и прежде всего основная — фактическая гарантия, что ребенок окажется очень одаренным и лишенным генетической предрасположенности к болезням. В поддержку генетического отбора будут говорить невысокие затраты на медицинские манипуляции и ожидаемые в дальнейшей жизни высокие доходы. По мере того как процедура начнет пользоваться все большей популярностью, особенно среди элитарных слоев общества, может произойти культурный сдвиг в нормах воспитания — в результате выбор в пользу ЭКО станет свидетельством ответственного отношения людей к своим родительским обязанностям. В конечном счете даже скептики поддадутся моде, чтобы их дети не оказались в проигрышном положении по сравнению с «улучшенными» чадами их друзей и коллег. Некоторые страны могут ввести материальное стимулирование с целью побудить своих граждан пользоваться процедурой генетического отбора для повышения качества «человеческого капитала» или укрепления долгосрочной социальной стабильности, используя в качестве критериев отбора такие черты личности, как покорность, готовность подчиняться, смирение, конформизм, несклонность к риску и малодушие, — естественно, культивирование таких популяций будет происходить за пределами правящих кланов.

Усиление интеллектуальных способностей человека будет также зависеть от степени отбора именно когнитивных признаков (см. табл. 6). Тем, кто решит воспользоваться процедурой отбора эмбрионов в той или иной форме, придется решать, как распределить имеющийся в их руках потенциал, поскольку интеллект в некоторой степени вступит в конкуренцию с другими не менее желанными свойствами: здоровьем, красотой, особой индивидуальностью и физической силой. Прийти к разумному компромиссу позволит итеративный характер отбора эмбрионов, с которым связаны значительные селективные возможности и благодаря которому будет осуществляться последовательный строгий отбор на основании нескольких критериев. Однако эта процедура приведет к разрушению прямой генетической связи между родителями и детьми, что может негативно сказаться на востребованности ЭКО во многих цивилизационных культурах[147].


Таблица 6. Возможное влияние генетического отбора при различных сценариях[148]

Искусственный интеллект. Этапы. Угрозы. Стратегии

<«Постчеловечество»[149]>

С дальнейшим развитием геномных технологий может появиться возможность синтезировать геномы в соответствии с заданной спецификацией, и тогда надобность в больших запасах эмбрионов отпадет. Сегодня еще невозможно синтезировать геном человека целиком и использовать его в репродуктивных целях — не в последнюю очередь из-за пока неразрешенных трудностей с правильным течением эпигенетических процессов[150], — хотя синтез ДНК уже стал обычным направлением биотехнологий и почти полностью автоматизирован. Когда геномная технология достигнет высокого уровня, можно будет конструировать эмбрион с идеально точным соблюдением нужного сочетания генетических исходных данных обоих родителей. Появится возможность также добавить гены, отсутствующие у них, в том числе аллели, достаточно редко встречающиеся в популяции, но способные оказать заметный эффект на когнитивные способности ребенка[151].

После успешного синтеза человеческого генома одной из доступных операций станет генетическая диагностика эмбриона. (Приблизиться к этому способен также итерационный отбор эмбрионов.) В каждом из нас идут мутации, возможно, сотни мутаций, снижающих эффективность различных клеточных процессов[152]. Эффектом каждой отдельной мутации можно было бы пренебречь (и поэтому она так медленно удаляется из пула генов), но все вместе они могут серьезно влиять на нашу жизнеспособность[153]. Индивидуальные различия в интеллектуальных способностях могут быть в значительной степени следствием разницы в количестве и природе таких лишь слегка опасных аллелей, которые несет каждый из нас. В ходе синтеза гена мы можем взять геном эмбриона и сконструировать такую его версию, которая будет лишена генетического «шума» накопленных мутаций. Наверное, это прозвучит провокационно, но люди, созданные из таких проверенных геномов, могут оказаться более «настоящими», чем все живущие на планете сейчас, поскольку будут представлять собой менее искаженную версию человека. Не все они будут точными копиями друг друга, поскольку люди сильно отличаются генетически, даже если не брать в расчет вредоносные мутации. Но фенотипическим отражением освобожденного от нежелательных мутаций генома может быть исключительное физическое и психическое состояние человека, его превосходство в таких полигенных областях, как интеллект, состояние здоровья, смелость и внешность[154]. В качестве отдаленной аналогии приведу обобщенные портреты людей — так называемые усредненные лица, при составлении которых усредняются дефекты множества наложенных друг на друга лиц (см. рис. 6).


Искусственный интеллект. Этапы. Угрозы. Стратегии

Рис. 6. Обобщенные портреты людей как метафора отредактированного генома. И женское, и мужское усредненное лицо получены путем наложения шестнадцати фотографий разных людей (жители Тель-Авива). Считается, что обобщенный потрет красивее любого из тех конкретных лиц, из которых он составлен, поскольку в нем усредняются характерные для его составляющих отклонения. По аналогии с этим в случае удаления индивидуальных мутаций в результате использования генетически диагностированных, то есть отредактированных, геномов могут появляться люди, близкие к идеалу Платона. При этом они не обязательно должны быть генетически идентичными, поскольку многие гены имеют целый набор в одинаковой мере функциональных аллелей. А проверка устранит лишь отклонения, возникшие в результате вредных мутаций[155].


Может оказаться востребованным такой метод биотехнологии, как клонирование. Когда-нибудь станет реальностью клонирование человека — почему бы тогда не использовать клоны для воспроизведения генома исключительно талантливых людей? Внедрение такого рода манипуляций окажется ограниченным из-за нежелания большинства потенциальных родителей терять генетическую связь с будущими детьми. Но, в принципе, не стоит пренебрегать этим средством, имеющим свои положительные стороны: во-первых, даже относительно небольшая тенденция к увеличению числа исключительно талантливых людей будет иметь довольно сильное влияние; во-вторых, вполне вероятно, что найдется страна, которая начнет осуществлять широкомасштабную евгеническую программу суррогатного материнства — разумеется, на платной основе. Со временем человек обратится к таким серьезным методам генной инженерии, как создание новых синтетических генов или включение в геном промоторов и других элементов с целью контроля экспрессии генов. Не исключено, что появятся совсем экзотические варианты: большой резервуар, наполненный сложно структурированной искусственно культивированной мозговой тканью; некие «преображенные» трансгенные существа (что-то вроде млекопитающих с крупным мозгом, например киты или слоны, но наделенные человеческими генами). Конечно — вымысел в чистом виде, но кто может зарекаться?

До сих пор мы обсуждали вмешательства лишь на уровне зародышевой линии. Теоретически мы можем прийти к нужному результату гораздо быстрее: способом генной модификации соматических клеток — что позволит обойти цикл созревания поколения. С практической точки зрения такой путь намного сложнее, ведь потребуется вводить модифицированные гены в большое количество клеток живого организма, а если нашей целью является улучшение когнитивных функций мозга, то значит придется делать прямые инъекции в мозг. Тогда как при отборе имеющихся в нашем распоряжении половых клеток и эмбрионов генные инъекции не нужны. Даже такие методы генной терапии на уровне зародышевой линии, которые включают необходимость модификации генома (например, коррекция или соединение редких аллелей), гораздо легче задействовать на эмбриональной стадии, когда имеешь дело с небольшим количеством клеток. Кроме того, вмешательство на уровне эмбриона, возможно, приведет к лучшим результатам, поскольку влияние на мозг происходит на ранней стадии его формирования, в то время как при соматическом воздействии на взрослых особей придется ограничиться лишь корректировкой существующей структуры. (В некоторых случаях соматическая генная терапия вполне заменима медикаментозным лечением.)

Исходя из сказанного выше, нужно помнить, что при выборе такого метода, как вмешательство на уровне зародышевой линии, всегда следует учитывать временной фактор: годы, необходимые для взросления, неизбежно отодвигают значимость воздействия прихода в мир новой генерации[156]. Даже имей мы уже сегодня в своем распоряжении самую совершенную технологию, отвечающую требованиям исследователей, все равно потребовалось бы больше двух десятилетий, чтобы генетически модифицированное потомство достигло зрелости. Помимо всего, когда речь идет о новых методах, которые опробуют на людях, то между экспериментальной проверкой концепции в лабораторных условиях и началом применения метода в медицинской практике обычно проходит лет десять, в течение которых проводятся бесконечные исследования для подтверждения безопасности и масштабные клинические испытания. При простейших формах генетической селекции подобные проверки, скорее всего, не потребуются, поскольку используются стандартные методы лечения бесплодия и генетическая информация для сознательного отбора эмбрионов, которые иначе были бы выбраны случайно.

Очевидно, в основе отсрочек могут лежать и внутренние обстоятельства, связанные не столько с боязнью ошибиться и навредить (вот откуда требования многочисленных проверок на безопасность), сколько со страхом перед успехом — страхом, вызванным опасением по поводу этической допустимости генетической селекции и ее широких социальных последствий (вот откуда потребность в разработке мер регулирования). В каждой развитой стране — в силу ее культурных, исторических и религиозных особенностей — это беспокойство выражается по-своему. После Второй мировой войны в Германии предпочитают избегать любых репродуктивных методов, хотя бы в отдаленной степени напоминающих попытку улучшения человеческой природы, — позиция более чем понятная, если учитывать мрачную историю преступлений, совершенных нацистами во имя евгеники. В остальных западных странах, вероятно, будут смотреть на вещи шире. Некоторые государства — скорее всего, Китай или Сингапур, где уже действует долгосрочная демографическая политика, — ради повышения интеллектуального уровня своего населения могут не только разрешить, но и активно продвигать использование генетической селекции и генной инженерии, когда развитие технологий сделает это возможным.

Как только будет создан прецедент и станут видны реальные результаты, сразу у всех, кто хотел, но откладывал решение проблемы, появится мощный стимул последовать примеру первопроходцев. Страны, предпочитающие держаться в стороне, обязательно столкнутся с перспективой навсегда застрять в интеллектуальном болоте, утратить экономические, научные и военные позиции и навсегда уступить свое влияние в мире государствам, не побоявшимся новых технологий совершенствования человеческих возможностей. Население начнет задумываться, почему в престижных учебных заведениях учатся только генетически отобранные дети (которые в среднем будут еще отличаться и внешней привлекательностью, и здоровьем, и усидчивостью); естественно, граждане пожелают, чтобы их будущие отпрыски тоже могли пользоваться такими же преимуществами. Есть вероятность, что после того как заработает генная инженерия и будут подтверждены ее первые результаты, в течение сравнительно короткого времени — может быть, десятилетия — произойдет серьезный поведенческий сдвиг. Проведенные в США опросы показывают значительные изменения в общественном мнении по отношению к процедуре ЭКО с момента появления в 1978 году Луизы Браун — первого «младенца из пробирки». За несколько лет до этого всего 18 процентов американцев согласились бы сделать ЭКО в случае бесплодия; вскоре после рождения Луизы Браун согласных насчитывалось уже 53 процента, и их число продолжает расти[157]. (Для сравнения: в проведенном в 2004 году опросе 28 процентов американцев одобрили селекцию эмбрионов по критерию «сила и интеллект», 58 процентов — по критерию «избежать риска развития рака во взрослом возрасте», 68 процентов — по критерию «избежать риска неизлечимых детских болезней»[158].)

Давайте еще раз перечислим случаи, вызывающие отсрочку результатов: сбор информации, необходимой для успешной селекции из набора эмбрионов, полученных в результате процедуры ЭКО, — от пяти до десяти лет (возможно, потребуется значительно больше времени, чтобы гаметы из стволовых клеток стали доступны для использования в процессе репродукции человека); формирование социально значимого спроса и внедрение самой услуги — десять лет; время, которое потребуется «улучшенному» поколению, чтобы достичь производительного возраста, — от двадцати до двадцати пяти лет. Суммируя все сроки, мы увидим, что технологии по улучшению человеческих свойств на уровне зародышевой линии вряд ли начнут оказывать существенное влияние на социальную среду в первой половине текущего столетия. Однако вследствие применения генетических методов уже с середины столетия в довольно большом сегменте общества будет отмечен показательный подъем интеллектуальных способностей взрослого населения. После того как в ряды трудоспособного населения вольются когорты людей, чье зачатие было осуществлено по ультрасовременным высоким генетическим технологиям — как, например, применение эмбриональных стволовых клеток и итеративной селекции эмбрионов, — темпы интеллектуального роста намного повысятся.

Когда описанные выше генетические технологии достигнут своего полного развития (оставим пока за скобками экзотические варианты вроде интеллекта в искусственно культивированной ткани мозга), мир убедится, что представители новых поколений в среднем окажутся несравненно умнее людей из прошлого — даже обладателей наивысших коэффициентов интеллекта. Потенциал биологического совершенствования в перспективе так высок, что, возможно, его вполне хватит для появления человека сверхразумного — по крайней мере в его начальной стадии. В этом нет ничего удивительного. В конечном счете именно так возник человек разумный: когда у определенного вида человекообразных резко повысились, по сравнению с прародителями-гоминидами, интеллектуальные способности — причем их развитие произошло в результате такого слепого и неконтролируемого метода, как эволюционный процесс. Поэтому нет оснований предполагать, будто Homo sapiens, дойдя якобы до вершины разумной деятельности, является максимальным достижением биологической системы. Мы далеки от того, чтобы представлять собой самый умный биологический вид, возможно, задуманный природой. Вероятно, нас лучше рассматривать как самый глупый биологический вид из умников, возможно, задуманных природой, но вид, способный создать и привести в действие технологическую цивилизацию — ту нишу, которую мы заняли вовсе не из-за своей, как принято считать, оптимальной адаптивности, а лишь потому, что добрались до нее первыми.

Прогресс на пути биологического развития вполне реален. Но из-за неизбежной отсрочки на время взросления целого поколения он не получится столь же внезапным, как в сценариях с созданием искусственного интеллекта. (Временной фактор вряд ли будет играть столь существенную роль как в случае применения генной терапии соматических клеток, так и при медикаментозном подходе, но эти методы с меньшей вероятностью способны вызвать заметные изменения.) Максимальный потенциал искусственного интеллекта, безусловно, намного выше природного интеллекта, присущего человеку. (Величину разрыва можно оценить, сравнив разницу в быстродействии между электронными компонентами и нервными клетками: сегодняшние транзисторы работают в десять миллионов раз быстрее, чем биологические нейроны.) Однако даже сравнительно незначительные улучшения биологического интеллекта могли бы иметь серьезные последствия. В частности, это форсировало бы научно-технологическое развитие, что, в свою очередь, способствовало бы успехам на пути освоения более действенных методов как совершенствования биологических умственных способностей, так и разработки искусственного интеллекта. Задумайтесь, какими темпами мы продвигались бы к созданию искусственного разума, если бы мир населяли миллионы людей, превосходящих по своему интеллектуальному уровню любых выдающихся мыслителей прошлого, а самый заурядный парень на земле ни в чем бы не уступал Алану Тьюрингу вместе с Джоном фон Нейманом[159].

На какое-то время отойдем от обсуждения стратегических последствий развития когнитивных способностей и постараемся подвести итоги сказанному, отметив три важных момента:

1)-при помощи биотехнологических методов мы способны прийти к существованию сверхразума, по крайней мере к его начальной стадии;

2)-появление усовершенствованных интеллектуально людей увеличивает возможность осуществить когда-нибудь развитие искусственного интеллекта до высокоразвитых форм, поскольку сама задача создания ИИ будет абсолютно доступна и проста для усовершенствованных людей нового поколения — при условии, конечно, что мы окажемся принципиально неспособными справиться с нею собственными силами (хотя предполагать подобное пока нет никаких причин);

3)-мы рассматривали сценарии, обещающие завершиться не ранее чем во второй половине нынешнего столетия, а может быть, и позже; однако, уносясь мыслью в такую даль, нам следует учитывать, что вполне допустимо появление поколения генетически усовершенствованных групп людей: избирателей, изобретателей, ученых, причем показатели улучшения их когнитивных функций будут увеличиваться от десятилетия к десятилетию.


Нейрокомпьютерный интерфейс

Периодически выдвигаются предложения использовать прямой нейрокомпьютерный интерфейс, в частности, имплантаты, что позволит человеку использовать всю мощь электронных вычислений: идеальное хранение информации, быстрые и точные арифметические расчеты, широкополосную передачу данных — в результате такая гибридная система будет принципиально превосходить по всем характеристикам деятельность головного мозга[160]. Возможность прямого подключения компьютера к биологическому мозгу была не раз доказана, но, несмотря на это, кажется маловероятным, что прямые нейронные интерфейсы получат в обозримом будущем широкое распространение[161].

Прежде всего заметим, что в результате имплантации электрода в мозг возникает значительный риск медицинских осложнений — инфекции, смещение электрода, кровоизлияния, ухудшение умственных способностей. На сегодняшний день лечение пациентов с болезнью Паркинсона является едва ли не самой яркой демонстрацией той пользы, которую приносит стимуляция мозга. В этом случае используется довольно простой имплантат, на самом деле не соединенный непосредственно с мозгом, а всего лишь создающий электрический разряд, воздействующий на субталамическое ядро, или ядро Льюиса. На демонстрационном видеоролике показан сидящий в кресле полностью обездвиженный болезнью человек, который после подключения электрода мгновенно возвращается к жизни: он начинает двигать руками, встает и идет по комнате, поворачивается на месте и даже делает пируэт. Но у этой совершенно простой и на удивление успешной процедуры тоже есть негативные стороны. В одном исследовании у экспериментальных пациентов с болезнью Паркинсона, по сравнению с контрольной группой, при имплантации электрода в мозг отмечены ухудшения следующих функций: беглой речи, избирательного внимания, цветовой и словесной памяти. Испытуемые пациенты часто жаловались на снижение умственных способностей[162]. Если речь идет о людях с тяжелыми заболеваниями, то можно мириться и с рисками, и с побочными эффектами. Совсем другой вопрос — здоровые граждане, соглашающиеся на нейрохирургические манипуляции. В таких случаях любое вмешательство должно приводить к существенному улучшению функций головного мозга.

Пожалуй, такое усовершенствование когнитивных способностей обернется более сложным делом, чем генная терапия, — это тоже дает право сомневаться, что путь киборгизации приведет нас к сверхразуму. Пациенты, страдающие параличом, могут получить пользу от имплантата, который заменит их пораженные нервы или активирует спинномозговые центры, отвечающие за двигательную функцию[163]. Пациенты, испытывающие проблемы со зрением или слухом, безусловно, выигрывают от имплантации искусственной улитки или сетчатки глаза[164]. Пациенты с болезнью Паркинсона или хронической мышечной болью, без сомнения, испытывают облегчение от глубокой стимуляции мозга, возбуждающей или подавляющей активность в отдельных его областях[165]. Гораздо более трудная задача — обеспечить непосредственное широкополосное взаимодействие между мозгом и компьютером для заметного повышения интеллектуальных способностей, которого невозможно добиться иными, более доступными средствами. Большинство потенциальных преимуществ, которые появятся в распоряжении здоровых людей в результате имплантации электродов, возможно получить с меньшим риском, затратами и неудобствами, просто используя обычные органы движения и чувств при взаимодействии с компьютерами, находящимися вне пределов нашего тела. Чтобы выйти в интернет, нам не нужно подключать к себе оптоволоконный кабель. Человек не только наделен сетчаткой глаза, способной передавать данные с впечатляющей скоростью около десяти миллионов бит в секунду, но и обладает «предустановленным программным обеспечением» в виде зрительной коры головного мозга, которая отлично приспособлена для извлечения значения из этих массивов информации и взаимодействия с другими областями мозга для ее дальнейшей обработки[166]. Даже если появился бы относительно простой способ закачивать в наш мозг больше информации, эти дополнительные данные ненамного повысили бы скорость, с которой мы думаем и учимся, если только «апгрейду» не подвергнется весь нейронный механизм их обработки. А поскольку он включает в себя практически весь мозг, в действительности потребовалось бы «протезирование» мозга целиком — иначе говоря, создание универсального искусственного интеллекта. Впрочем, существуй искусственный интеллект человеческого уровня — зачем тогда понадобилась бы нейрохирургия? Ведь компьютер может быть помещен не только в костяную коробку, но и в металлический корпус. Таким образом, если мы вновь обращаемся к искусственному интеллекту, то непременно свернем на путь, уже рассмотренный нами ранее.

Ученые предлагают использовать нейрокомпьютерный интерфейс для считывания информации из головного мозга человека для коммуникации его с другими людьми или компьютерами[167]. Система, позволяющая передвигать курсор на экране с помощью мысли, помогла бы пациентам с синдромом «запертого человека»[168] устанавливать связь с внешним миром[169]. Ширина полосы передачи данных в таких экспериментах пока очень мала: пациент мучительно долго набирает букву за буквой со скоростью несколько слов в минуту. Можно легко представить усовершенствованную версию, по всей вероятности, с имплантами следующего поколения, которые — для трансляции внутренней речи — будут вживлять в центр Брока (участок коры головного мозга, находящийся в задненижней части третьей лобной извилины, отвечающий за моторную, фонологическую и синтаксическую организацию речи)[170]. Сегодня системы обратной связи интересны скорее с точки зрения оказания помощи пациентам с мышечной атрофией и людям, перенесшим инсульт. Эта новейшая технология пока мало применима к здоровому человеку, хотя, по сути, повторяет тот же набор функций, который обеспечивается простым наличием микрофона и программой распознавания речи, то есть продуктом, уже присутствующим на нашем рынке и отличающимся в лучшую сторону такими своими характеристиками, как неболезненное и удобное применение, дешевизна и отсутствие риска, связанного с нейрохирургическим вмешательством (а также не порождающим фантазий в духе Оруэлла на тему подслушивающего устройства внутри черепной коробки). Кроме того, когда наше тело и компьютер никак не связаны физически, то последний удобнее ремонтировать и оснащать новым ПО.

Но как быть с неизбывной человеческой мечтой, чтобы люди вступали в общение не на вербальном уровне, а напрямую — через мозговую деятельность, как бы «загружая» друг в друга свои образы, мысли, знания и даже опыт? Мы загружаем в компьютеры огромные файлы, в том числе библиотеки с миллионами книг и статей, буквально за считаные секунды или минуты — неужели нам никогда не придется поступать так же, имея дело с собственным мозгом и собственной информацией? Кажущаяся легкость реализации этой идеи, вероятно, базируется на ошибочном представлении о том, как человеческий мозг воспринимает и хранит информацию. Как уже отмечалось, развитие человеческого интеллекта ограничивает не скорость, с которой данные поступают в память, а насколько быстро мозг способен извлекать из них смысловые значения и осознавать их. Возможно, предполагается передавать непосредственно смысл, не оформляя его в сенсорную информацию, которую придется декодировать получателю. Тут возникает две проблемы. Первая заключается в том, что мозг, в отличие от программ, которые мы привычно используем на компьютерах, не использует стандартные форматы хранения и представления данных. Скорее, в каждом мозгу имеются свои уникальные способы представления содержания более высокого уровня. То, какие именно сочетания нейронов используются для передачи той или иной концепции, зависит от уникального опыта конкретного мозга (а также различных генетических факторов и стохастических физиологических процессов). Как в случае искусственных нейронных сетей, так и в биологических нейронных сетях смысловое значение скорее представлено всей структурой и моделями деятельности значительных перекрывающихся регионов, а не отдельными ячейками памяти, уложенными в аккуратные массивы[171]. Поэтому невозможно установить простое соответствие между нейронами двух людей так, чтобы мысли автоматически перетекали от одного к другому. Если нужно передать мысли из одного мозга в другой так, чтобы они были ему понятны, их нужно подвергнуть декомпозиции и перевести в символы в соответствии с некоторой общепринятой системой, которая позволит их правильно интерпретировать мозгом-приемником. Это уже лингвистическая задача.

Теоретически мы в состоянии представить интерфейс, на который было бы можно переложить когнитивную работу по артикуляции и интерпретации мыслей. Он будет должен уметь каким-то образом считывать состояния нейронов в мозге-передатчике и переводить их в понятные модели активации нейронов в мозге-приемнике. Даже если оставить в стороне (очевидные) технические трудности организации надежного одновременного считывания состояния миллиардов отдельных нейронов и записи в них, создание такого интерфейса, вероятно, само по себе является AI-полной задачей искусственного интеллекта. Интерфейс должен включать компонент, способный (в режиме реального времени) ставить в соответствие возникающим в одном мозгу моделям семантически эквивалентные модели в другом мозгу. Для выполнения этой задачи потребуется подробное многоуровневое понимание механизма нейронных вычислений, которое может привести непосредственно к созданию нейроморфного ИИ.

Несмотря на эти оговорки, движение в сторону улучшения интеллектуальных способностей по пути создания киберорганизмов не кажется совершенно бесперспективным. Впечатляющие результаты работ с гиппокампом крыс показали возможность создания нейронного протеза, который может повысить эффективность выполнения простой задачи на запоминание[172]. На сегодняшний день имплантат считывает информацию с электродов в количестве от одного десятка до двух десятков, размещенных в области CA3 гиппокампа, и передает ее на такое же количество нейронов, расположенных в области CA1 гиппокампа. Микропроцессор способен различать две модели возбуждения в первой области (соответствующие двум видам информации — «правый рычаг» и «левый рычаг») и научиться тому, как эти модели передаются во вторую область. Такие протезы могут не только восстановить функционирование мозга в ситуации, когда нормальное нейронное взаимодействие между двумя областями нейронов нарушено, но и за счет направленной активации требуемой модели во второй области способны повысить эффективность выполнения задачи по сравнению с обычным для крыс уровнем. Хотя по современным стандартам это и весьма впечатляющее в техническом плане достижение, эксперимент оставляет без ответа множество вопросов. Насколько хорошо этот подход масштабируется? Ведь число комбинаций взаимодействующих областей мозга, а также нейронов на входе и выходе из них, очень велико, поэтому сможем ли мы избежать комбинаторного взрыва при попытке картировать взаимодействия в мозгу? Не получится ли, что хотя эффективность решения тестовой задачи растет, этому сопутствуют некие скрытые издержки, например снижение способности обобщать стимулы или неспособность забыть определенную ассоциацию, после того как среда изменилась? Получит ли человек — располагающий, в отличие от крыс, внешними носителями памяти вроде бумаги и ручки — какую-либо выгоду от появления таких возможностей? Насколько легко будет применить подобный метод к другим областям мозга? В то время как работе описанного протеза помогает сравнительно простая структура областей гиппокампа, обеспечивающая последовательную передачу сигнала в одну сторону (по сути, однонаправленная связь между зонами СА3 и СА1), другие структуры в коре головного мозга используют рекуррентные циклы обратной связи, что значительно повышает сложность схемы связей и, видимо, затруднит расшифровку набора функций встроенных в нее групп нейронов.

В плане развития киборгов есть надежда, что мозг, снабженный имплантатом, поддерживающим связь с внешней средой, со временем научится сопоставлять свое внутреннее состояние и получаемые внешние сигналы. В этом случае имплантату не обязательно обладать интеллектом, скорее, мозг должен будет интеллектуально настроиться на интерфейс, примерно как мозг ребенка постепенно обучается интерпретировать сигналы, поступающие из внешнего мира через рецепторы органов зрения и слуха[173]. И снова возникает естественный вопрос: принесет ли это какую-нибудь реальную пользу? Предположим, пластичность мозга окажется настолько достаточной, что он научится распознавать модели в рамках некоего нового потока входных сигналов, проецируемых на его кору посредством некоего нейрокомпьютерного интерфейса, — но почему тогда просто не спроецировать ту же самую информацию непосредственно на сетчатку глаза в виде зрительных образов или на улитку в виде звука? Применение низкотехнологичных методов поможет избежать множества проблем — хотя и в том и в другом случаях нашему мозгу, чтобы научиться понимать информацию, придется задействовать механизмы распознавания образов и присущее ему свойство пластичности.


Сети и организации

Еще один потенциальный путь, ведущий к сверхразуму, — постепенное совершенствование сетей и организаций, соединяющих умы людей друг с другом и с различными искусственными объектами и ботами, то есть программами, автоматически выполняющими действия вместо человека. Смысл не в том, чтобы усовершенствовать когнитивные способности отдельных людей и в итоге вывести популяцию сверинтеллектуалов. Идея заключается в другом: создать некое объединение индивидуумов, организованных таким образом, чтобы эта появившаяся сеть по своему развитию могла бы достигнуть сверхинтеллектуального уровня — сеть, которую в следующей главе мы назовем «коллективный сверхразум»[174].

В доисторические и исторические времена коллективный интеллект помог человечеству добиться многого. Источники успеха были самые разные: нововведения в средствах связи — причем сюда надо включить изобретение письменности и печатного дела, не говоря уже о возникновении самих языков; рост населения и увеличение его плотности; усовершенствование форм институциональной организации и стандартов познания; постепенное накопление институционального капитала. Фактически система коллективного интеллекта ограничена возможностями интеллекта ее членов, затратами на передачу информации между ними и различными недостатками и неэффективностью, присущими любым человеческим сообществам. По мере снижения расходов на все виды связи (имеется в виду не только стоимость оборудования, но и время ожидания ответа, затраты времени и внимания, а также другие факторы) появляется возможность создавать более крупные и более сплоченные организации. То же самое происходит и в случае успешной борьбы с отдельных ведомственными крайностями, деформирующими любую организационную жизнь, — разорительные имиджевые игры и статусные притязания; распыление ресурсов; несоблюдение сроков выполнения заданий; сокрытие фактов; фальсификация информации и прочие проблемы, связанные с выбором между свободой воли и навязанными условиями. Даже частичная ликвидация перекосов приносит коллективному интеллекту внушительную пользу.

Существует множество технологических и институциональных новаторских идей, способных влиять на рост нашего коллективного интеллекта. Например, современные рынки прогнозов относительно политики распределения дотаций благоприятствуют утверждению норм справедливости и способствуют выработке перспективных оценок по спорным научным и социальным вопросам[175]. Детекторы лжи (если удастся наладить выпуск надежных и удобных в применении полиграфов) смогут понизить уровень мошенничества в деятельности людей[176]. Более мощным инструментом могут стать детекторы самообмана[177] Но и без новоиспеченных игр разума некоторые формы обмана перестают быть актуальными, утрачивая свою привлекательность из-за ряда причин, таких как: доступность информации, рассказывающей о репутации и прошлом человека; промульгация строгих гносеологических правил[178]; приоритет здравого смысла в культуре организаций. В результате систем наблюдения, осуществляемых на добровольной или обязательной основе, будут накоплены огромные объемы информации о поведении человека. На сайтах социальных сетей делятся своей личной информацией уже больше миллиарда людей; совсем скоро все пользователи — с помощью микрофонов и видеокамер, встроенных в смартфоны или оправы очков, — получат возможность загружать непрерывную трансляцию своей жизни. Автоматизированный анализ этих потоков данных породит множество новых применений — разумеется, как во благо, так и во зло[179].

Рост уровня коллективного интеллекта может быть также связан с общими организационными и экономическими изменениями и с увеличением среди народонаселения доли больших сообществ социальных сетей, состоящих из образованных людей, постоянно обменивающихся информацией и интегрированных в общемировую культуру[180]

Интернет остается самым динамичным полем действия, передним краем для инноваций и экспериментов. Причем большая часть его потенциала до сих пор еще не раскрыта. Следует укреплять интеллектуальные сети, активно поддерживать формат разумных обсуждений, стараться избегать предубеждений, вырабатывать механизмы для превращения частных суждений в коллективные решения — все это должно внести существенный вклад в развитие коллективного интеллекта как всего человечества в целом, так и отдельных сообществ.

Настало время поговорить о совершенно, казалось бы, фантастической идее, что интернет может в один прекрасный день «проснуться». Может ли он стать чем-то большим, нежели просто местом сосредоточения пока еще слабо выраженного коллективного сверхразумного начала — чем-то вроде виртуальной черепной коробки, вместившей в себя зародыш единого сверхразума? (В знаменитом эссе Вернона Винджа «Далее — технологическая сингулярность», написанном в 1993 году, этот сценарий рассматривается в качестве одного из путей появления сверхразума, писатель даже ввел в оборот термин «технологическая сингулярность»[181].) Можно возразить, что искусственный интеллект трудно создать даже в результате целенаправленных инженерных усилий, поэтому его спонтанное появление кажется практически невероятным. Однако дело не обстоит так, будто одна из следующих версий интернета внезапно станет сверхразумной исключительно по воле случая. Более правдоподобный сценарий заключается в другом: интернет будет шаг за шагом совершенствоваться, аккумулируя в себе все самое передовое, благодаря усилиям множества людей на протяжении долгих лет — усилиям, направленным на улучшение алгоритмов поиска, отбора и анализа информации, на создание более мощных форматов представления данных, более качественных автономных ПО и более эффективных протоколов, управляющих взаимодействием этих ботов. В конечном счете мириады небольших сдвигов создадут основу для некой единой формы сетевого интеллекта. По крайней мере, вполне возможно, что появится именно такая когнитивная система, выращенная на веб-технологиях, не испытывающая недостатка в вычислительной мощности и других ресурсах, необходимых для взрывного роста, — разве что за исключением одного критически важного ингредиента. И когда этот ингредиент будет найден и брошен в общий котел — все раньше сваренное воспламенится и превратится в сверхразум. Однако этот сценарий опять сворачивает на уже знакомый нам путь появления сверхразума — создание универсального искусственного интеллекта.


Резюме

Итак, к сверхразуму ведут самые разные пути, и этот непреложный факт вселяет некоторую уверенность, что в конечном счете мы до него доберемся. Не удастся пройти одним путем — мы выберем другой.

Однако разнообразные варианты не приведут нас во многие места назначения. Даже если на одной из дорог, не связанной с машинным интеллектом, произойдет заметное улучшение когнитивных способностей — это не означает, что ИИ утратил свое значение. Скорее, наоборот: развившийся сверх меры человеческий и организационный разум ускорит развитие науки и технологий, потенциально приблизив появление радикальных форм создания универсального искусственного интеллекта вроде полной эмуляции головного мозга.

Из всего вышесказанного не следует делать вывод, будто нам все равно, каким маршрутом двигаться к сверхразуму. Выбранный путь может оказать серьезное влияние на конечный результат. Даже если новые полученные возможности не слишком обусловлены вариантом направления, то вопрос, как они станут использоваться и какова будет степень нашего контроля над ними, вполне может зависеть от принятого подхода. Например, усовершенствование человеческого или организационного разума может повысить готовность людей идти на риск и добиваться осуществления такого машинного сверхразума, который будет безопасным и полезным для человечества. (Чтобы дойти до полноценной стратегической оценки этого, придется преодолеть много трудностей — их обсуждением мы займемся лишь в четырнадцатой главе.)

Можно ожидать, что первый настоящий сверхразум (в отличие от незначительного повышения нынешнего уровня когнитивных способностей) появится в результате движения к искусственному интеллекту. Однако этот путь связан с большой неопределенностью. Поэтому трудно точно оценить, насколько он окажется долгим и со сколькими препятствиями мы столкнемся. Некоторыми шансами оказаться самым быстрым способом осуществления сверхразума обладает полная эмуляция головного мозга. Поскольку прогресс на этом пути требует скорее технологических решений, чем теоретических прорывов, есть основания полагать, что в конечном счете успех достижим. И все-таки с большой долей уверенности мы утверждаем, что даже в случае постоянного прогресса в компьютерном моделировании мозга финишную черту первым пересечет искусственный интеллект: причина заключается в том, что нейроморфный искусственный интеллект может быть создан и с помощью частичной эмуляции мозга.

Явно решаема задача биологического улучшения интеллектуальных способностей, особенно основанного на генетической селекции. Многообещающей технологией на сегодняшний день кажется итеративная селекция эмбрионов. Однако в сравнении с возможными прорывами в искусственном интеллекте биологические улучшения будут происходить относительно медленно и постепенно. В лучшем случае они приведут к возникновению сравнительно слабой формы сверхразума (скоро мы снова вернемся к этой теме).

Благодаря реальной возможности биологического улучшения интеллектуальных способностей растет наша уверенность, что в конце концов будет создан и искусственный интеллект, поскольку улучшенные интеллектуально люди — ученые и инженеры — смогут добиться большего и быстрейшего прогресса, нежели их обычные коллеги. Особенно в тех сценариях, где ИИ должен быть создан не раньше середины нашего столетия, огромная роль отводится постепенно растущей когорте усовершенствованных интеллектуально людей.

Нейрокомпьютерные интерфейсы вряд ли станут тем вариантом, который приведет нас к сверхразуму. Усовершенствование сетей и организаций может в долгосрочной перспективе привести к появлению слабых форм коллективного интеллекта, но более вероятно, что оно сыграет стимулирующую роль, как и биологическое улучшение интеллектуальных способностей, постепенно повышая эффективность умственной деятельности людей при решении интеллектуальных задач. В сравнении с биологическими улучшениями прогресс в развитии сетей и организаций произойдет быстрее — на самом деле он уже происходит и уже оказывает на нашу жизнь значительное влияние. Однако усовершенствование сетей и организаций будет иметь меньшее влияние на развитие человеческих возможностей решать интеллектуальные задачи, чем усовершенствование когнитивных способностей. Сети и организации скорее послужат стимулирующим началом развития коллективного интеллекта, нежели качественного интеллекта — разницу между этими понятиями мы рассмотрим в следующей главе.

Глава третья

Типы сверхразума

Итак, что именно мы подразумеваем под словом сверхразум? Не хотелось бы погружаться в терминологическую трясину, но что-то сказать для прояснения понятийной основы все-таки нужно. В этой главе мы проведем идентификацию трех типов сверхразума и убедимся, что в практическом смысле все три тождественны. Затем мы продемонстрируем, насколько потенциал биологического интеллекта проигрывает потенциалу машинного. У машин есть множество фундаментальных преимуществ, которые обеспечивают им подавляющее превосходство над человеком. Биологический мозг, даже улучшенный, не сможет с ними конкурировать.

Есть и машины, есть и животные, превосходящие человека в том или ином виде деятельности, — можно сказать, они уже достигли сверхчеловеческого уровня. Летучая мышь, используя при полете эхолокацию, ориентируется в темноте лучше человека, калькулятор обходит его в арифметических расчетах, шахматные программы обыгрывают в шахматы. Перечень специфических задач, с которыми программы специального назначения справляются лучше нас, будет только расти. Безусловно, специализированные информационные системы могут иметь множество применений, но все равно возникают дополнительные серьезные проблемы, когда речь заходит о перспективе создания универсального искусственного интеллекта, способного занять место человека без исключения на всех направлениях.

Уже не раз упоминалось, что термин сверхразум мы используем для обозначения такого интеллекта, который во многих универсальных проявлениях когнитивной деятельности в значительной степени превосходит лучшие умы человечества. Описание весьма расплывчатое (поэтому формулировка и не повторяет дословно ту, что дана нами в предыдущей главе). В соответствии с этим определением на статус сверхразума начнут претендовать самые разные системы с совершенно несопоставимыми функциональными свойствами. Разобраться с имеющимися дефинициями этого довольно простого понятия нам позволит детальный анализ сверхвозможностей мозга, для чего придется распутать далеко не однородный узел, вытягивая из него различительные признаки интеллекта. Есть множество способов провести такую декомпозицию[182]. Для дифференциации воплощений сверхразума обратимся к трем его типам: скоростной сверхразум, коллективный сверхразум и качественный сверхразум.


Скоростной сверхразум

Скоростной сверхразум представляет собой такой же интеллект, как человеческий, только более быстрый. С концептуальной точки зрения данный тип самый простой для анализа[183]. Мы дадим ему следующее определение:

скоростной сверхразум — система, способная делать все то же, что и человеческий интеллект, только намного быстрее.

Под «намного» имеется в виду «на несколько порядков». Понимаю, что и это крайне обобщенное определение явно хромает, но я благоразумно отойду в сторону и предоставлю самому читателю разбираться с его интерпретацией[184].

Самым простым примером скоростного сверхразума могла бы стать полная эмуляция головного мозга, выполненная на сверхмощном оборудовании[185]. Имитационная модель мозга, работающая со скоростью, в десять раз превышающей скорость биологического мозга, смогла бы читать книги за считанные секунды, а докторскую диссертацию написать за день. Если скорость имитационной модели будет выше в миллион раз, она будет в состоянии выполнять за день интеллектуальную работу, на которую у человека ушло бы целое тысячелетие[186].

Для разума, работающего с такой скоростью, происходящие во внешнем мире события походили бы на замедленную съемку. Представьте, что ваш мозг ускорился в десять тысяч раз. Друг роняет чашку, и вы в течение нескольких часов наблюдаете ее медленное движение в сторону пола — она словно комета, безмолвно скользящая в космосе навстречу далекой планете, — и по мере того как ощущение неизбежной катастрофы мучительно пробивается через извилины серого вещества вашего приятеля, а оттуда в его периферийную нервную систему, на его лице постепенно проступает выражение, предшествующее возгласу «ой!», который вы еще не скоро услышите. Короче говоря, за это время вы успеете принести ему новую чашку, заодно прочитать пару научных статей и даже вздремнуть.

По причине подобного растяжения истинного времени скоростной сверхразум, наверное, предпочел бы работать с цифровыми объектами, а не объектами материального мира. Ему удобнее было бы существовать в виртуальной реальности и иметь дело с информационной экономикой, а при необходимости — вступать во взаимодействие с физической средой при помощи наноманипуляторов, поскольку эти микроскопические конечности могут двигаться быстрее роботизированных. (Частотные характеристики системы обычно обратно пропорциональны ее линейным размерам[187].) Скоростной ум мог бы взаимодействовать главным образом с другими скоростными умами, а не с людьми, чье брадителически[188] медлительное передвижение в пространстве сравнимо разве что с тягучестью меда.

По мере ускорения интеллекта все более критическим ограничителем становится скорость света, поскольку растут издержки в результате потери времени на путешествие или передачу информации на дальние расстояния[189]. Свет примерно в миллион раз быстрее реактивного самолета, поэтому цифровому агенту со скоростью мышления, в миллион раз превышающей человеческую, потребуется примерно столько же его субъективного времени на путешествие вокруг света, как и его современнику-человеку. Звонок кому-то, находящемуся в другом городе, займет столько же времени, сколько нужно на то, что бы этот кто-то оказался перед вами собственной персоной. Сверхразумам, достигшим высочайшей скорости, которым требуется постоянное интенсивное сотрудничество, предпочтительнее находиться недалеко друг от друга. Если скоростные сверхразумы, например, собираются работать над одной задачей, было бы желательно разместить их — чтобы избавить от долгих периодов ожидания — в компьютерах, стоящих в одном помещении.


Коллективный сверхразум

Следующий тип сверхразума представляет собой большое количество интеллектов более низкого уровня, собирающихся ради достижения сверхпроизводительности в одно целое. Определение этого типа сформулировано следующим образом:

коллективный сверхразум — система, состоящая из большого количества интеллектов более низкого уровня, в силу этого ее общая производительность значительным образом превышает производительность любой существующей когнитивной системы во многих универсальных областях деятельности.

В отличие от скоростного, коллективный сверхразум не столь ясно очерчен концептуально[190], но более узнаваем с практической точки зрения. На собственном опыте мы еще никогда не сталкивались со скоростным искусственным интеллектом человеческого уровня, зато хорошо знакомы с таким понятием, как коллективный разум, представляющий объединение людей, организованных в единую систему, чтобы совместно находить решения более эффективные, чем может принимать отдельный, даже самый умный, член этого сообщества. Если несколько абстрагироваться и подойти к вопросу сугубо теоретически, то такого рода системами, способными решать проблемы самого разного уровня сложности, можно назвать компании, проектные группы, социальные сети, общественные организации, научные коллективы, государства и даже, чтобы не мелочиться, весь род человеческий. Из нашей социально-институциональной практики мы знаем, насколько проще принимать решения, если над ними трудится коллективный разум.

Лучше всего коллективный интеллект проявляет себя в разработке комплексных проектов, которые легко разложить на части, чтобы каждую можно было выполнять параллельно силами подструктур единой системы и проверять результаты в автономном режиме. При решении любых задач — от строительства космического корабля многоразового использования до управления сетью закусочных — существует огромное количество возможностей благодаря разделению труда. Над каждым компонентом шаттла работает специализированная команда проектировщиков и инженеров; каждое кафе обслуживается отдельным коллективом профессионалов. Научная среда в целом складывается из особых сообществ, каждое из которых занимается своей отдельной дисциплиной и является самостоятельной системой с довольно жесткой структурой соподчиненных элементов: исследователи, преподаватели, студенты, журналы, гранты, премии — кстати, хочу заметить, что сложившаяся схема не очень способствует развитию того направления, которому посвящена моя книга. Но такова традиционная научная практика, и к этому можно было бы отнестись как к необходимому компромиссу, поскольку в рамках существующего огромное множество творческих личностей и целеустремленных команд, занимаясь самыми разными направлениями и работая практически автономно — когда каждый возделывает собственную научную делянку, — вносят свой коллективный вклад в сокровищницу человеческих знаний, продолжают и развивают их.

Такого рода разумная система может быть усилена за счет усовершенствования каждой отдельно подструктуры: расширение ее состава; повышение ее уровня интеллекта, оптимизация ее организационной политики[191]. Для превращения любого существующего коллективного интеллекта в сверхразум потребуется резкий рост на всех уровнях. Появившаяся в результате система должна быть способна значимо превосходить любой имеющийся коллективный интеллект и другие когнитивные системы во многих универсальных областях знаний. Рождаются и будут дальше появляться многие прогрессивные подходы, например: современные форматы проведения конференций, позволяющие ученым эффективнее обмениваться информацией; создание новейших алгоритмов анализа данных, способствующих лучшему отбору пользовательских предпочтений, в частности читателей и зрителей, — но каково бы ни было их значение, совершенно очевидно, что сами по себе эти инновационные факторы не приблизят нас к появлению коллективного сверхразума. Собственно, как и показатели вроде темпа прироста населения планеты или улучшения методов преподавания в учебных заведениях. Чтобы когнитивные способности человечества в целом начали соответствовать уровню коллективного сверхразума, потребуются совсем другие и количественные, и качественные критерии.

Обратите внимание, что порог для признания системы сверхразумной определяется относительно текущего уровня производительности, то есть на начало XXI века. В доисторические времена и на протяжении всей истории человечества возможности коллективного интеллекта выросли очень сильно. Со времен плейстоцена население Земли увеличилось в тысячу раз[192]. Исходя из этого — если принять за основу уровень интеллекта эпохи плейстоцена, — нынешний интеллектуальный уровень человечества можно рассматривать как приближающийся к сверхразумному. Столь же существенное влияние оказало совершенствование коммуникационных процессов, особенно возникновение устной речи, а потом и письменных языков, а также градостроение и книгопечатание. Все эти обстоятельства, как по отдельности, так и совокупно, стали огромным стимулом ускорения — настолько мощным, что появись сейчас подобного масштаба новаторский потенциал, его влияние на когнитивные способности всего человечества привело бы к появлению коллективного сверхразума[193].

Наверняка сейчас некоторые читатели возразят, что, мол, современное общество не кажется им слишком разумным. Возможно, в их родной стране недавно приняли какие-то непопулярные законы или несколько изменилась политическая обстановка, и очевидная неразумность происходящего оборачивается для людей прямым свидетельством моральной и интеллектуальной деградации социума. Разве не подтверждается их вывод об умственной недееспособности современного человечества вполне весомыми аргументами, такими как идолопоклонство перед материальными благами; истощение природных ресурсов; загрязнение окружающей среды; истребление видового разнообразия? Разве эти безобразия не происходят на общем фоне всемирного неравенства, вопиющей несправедливости и полного пренебрежения базовыми гуманистическими и духовными ценностями? Все так, только есть одно но. Оставив без внимания сравнительный анализ, насколько современные социальные изъяны ужаснее недостатков прошлых эпох, хочу вам заметить: в нашем определении коллективного сверхразума нет ничего, что говорило бы, будто высокоразвитое в интеллектуальном плане общество обязано быть справедливым и нравственным. Более того, в определении нет даже намека, будто высокоразвитое в интеллектуальном плане общество должно быть мудрее. Вы спросите, что такое «мудрость»? Договоримся считать мудростью способность относится к самому важному в нашей жизни с той или иной степенью здравого смысла. Представим себе некую организацию с немыслимо огромным штатом сотрудников — людей, обладающих большим умственным багажом, успешно и согласованно работающих, умеющих коллективно решать практически универсальные творческие и интеллектуальные проблемы. Предположим, эта организация может управлять практически любыми предприятиями, разрабатывать практически любую технологию и достигать практически в любом процессе наивысшей продуктивности. Но даже настолько эффективная универсальная организация способна по какому-то принципиально важному, практически судьбоносному, вопросу вдруг принять в корне неверное решение — скажем, не продумать надлежащие меры предосторожности против рисков, угрожающих ее существованию, — и фантастически бурный подъем довольно быстро закончится полным и бесславным упадком. Такая организация могла бы стать носителем мощного общего интеллекта — настолько высокого, что еще чуть-чуть, и коллективный сверхразум получил бы свое реальное воплощение. А теперь вернемся к «справедливости» и «мудрости». Найдя какой-то желательный для нас признак, не стоит поддаваться искушению и обязательно наматывать эту ниточку на огромный клубок нашего общего и очень неопределенного представления о мыслительной деятельности, поскольку невозможно выбрать одно свойство, пусть даже достойное восхищения, без того, чтобы не рассмотреть аналогичным образом все остальные характеристики. Может быть, с этой точки зрения нам следовало бы осознать, как удобны мощные информационные системы — причем системы с элементами искусственного интеллекта, — которые по определению не могут быть ни справедливыми, ни преданными, ни мудрыми. Но к этому вопросу мы вернемся в седьмой главе.

Коллективный сверхразум может быть интегрирован слабо или сильно. В качестве иллюстрации слабоинтегрированного сверхразума представьте планету Мегаземля, на которой достигнут точно такой же уровень коммуникационных и координационных технологий, как на современной Земле, но при этом население больше земного в миллион раз. Соответственно, выше будут и совокупные интеллектуальные ресурсы. Предположим, что научные гении масштаба Ньютона или Эйнштейна появляются как минимум один раз на десять миллиардов человек — тогда на Мегаземле будут одновременно проживать семьсот тысяч гениев, не говоря уже о пропорционально большем количестве просто талантливых и одаренных мегаземлян. Новые идеи и технологии развивались бы на такой планете с бешеной скоростью, и глобальная цивилизация на Мегаземле представляла бы собой слабоинтегрированный сверхразум[194].

Если постепенно повышать степень интеграции коллективного интеллекта, в конечном счете он может превратиться в единый огромный «рассудок» в противоположность простому набору слабо связанных человеческих умов[195]. Жители Мегаземли могли бы двигаться в этом направлении, совершенствуя коммуникационные и координационные технологии и разрабатывая лучшие методы организации совместной работы множества мегаземлян над трудными интеллектуальными задачами. Таким образом, коллективный сверхразум после заметного роста своей интегрированности воплотился бы в качественный сверхразум.


Качественный сверхразум

Попытаемся определить третий тип сверхразума:

качественный сверхразум — система, по скорости работы сравнимая с человеческим умом, но в качественном отношении значительно сильнее его.

Понятие «качество интеллекта», как и в случае коллективного разума, является довольно расплывчатым, но ситуация усугубляется отсутствием у нас опыта обращения с интеллектуальными способностями, превосходящими верхние пределы современного человечества. Однако можно получить некоторое представление о них, изучив соответствующие случаи.

Прежде всего можно расширить спектр сравнения, включив в него других млекопитающих, обладающих интеллектом более низкого качества. (Не стоит считать эту ремарку дискриминационной по отношению к животным. Интеллект полосатой перцины отлично адаптирован к ее экологическим нуждам, но наша установка более антропоцентрична: мы рассматриваем производительность мозга с точки зрения сложных когнитивных задач, имеющих отношение к людям.) У животных отсутствует сложный структурированный язык; животные или вовсе не могут пользоваться инструментами и создавать их, или способны на это лишь в рудиментарной степени; они серьезно ограничены в способностях строить долгосрочные планы; у них очень незначительные способности к абстрактному мышлению. Ни одно из этих ограничений не объясняется недостатком скорости когнитивных процессов у животных или отсутствием у них коллективного интеллекта. По критерию одних только вычислительных возможностей человеческий мозг, вероятно, уступает мозгу крупных млекопитающих, включая слонов и китов. И хотя сложная технологическая человеческая цивилизация была бы невозможна без нашего огромного преимущества в коллективном интеллекте, нельзя сказать, что от него зависят умственные способности отдельных людей. Многие достигают высокого уровня развития даже в небольших изолированных обществах типа охотничье-собирательского[196]. И напротив, высокоорганизованные шимпанзе и дельфины, которых обучают инструкторы-люди, или муравьи, живущие в огромных и хорошо организованных сообществах, по своему умственному развитию никогда не сравняются с человеком. Несомненно, поразительные интеллектуальные достижения Homo sapiens, в значительной степени явившись следствием специфических свойств архитектуры нашего мозга, — уникальный генетический дар, не доставшийся ни одному другому живому существу. Приведенные замечания помогут нам несколько уточнить представление о качественном сверхразуме. Итак, это интеллект, в качественном отношении значительно более сильный, чем человеческий, — настолько, насколько человеческий ум превосходит по качеству ум слонов, дельфинов и шимпанзе.

Второй способ уточнить определение качественного сверхразума — указать на локальный когнитивный дефицит, которым страдают некоторые люди, особенно когда он не вызван общим слабоумием или иными условиями, связанными с нарушением функционирования нейровычислительных ресурсов мозга. Возьмем, например, людей, страдающих аутизмом, — дефицит социального познания не мешает им нормально действовать в других познавательных сферах; или людей с врожденной амузией, неспособных промурлыкать или распознать даже простые мелодии, — кроме этого неудобства, их жизнь ничем не отличается от жизни остальных людей. В специализированной литературе по психоневрологии в изобилии приведены описания пациентов, страдающих от узколокальных патологических состояний мозга, вызванных генетическими нарушениями или травмами. Эти примеры показывают, что нормальные взрослые люди обладают широким спектром удивительных познавательных талантов, которые нельзя считать простой функцией общей мощности нейровычислительной системы или даже достаточного уровня общего интеллекта — требуется также специфическая схема взаимодействия нейронов. Из этого наблюдения следует идея возможных, но нереализованных талантов познания — то есть талантов, которыми не обладает ни один человек, даже если другие интеллектуальные системы, причем не превосходящие человеческий мозг с точки зрения вычислительной мощности, которые их имеют, могли бы очень сильно выиграть из-за своей способности выполнять широкий спектр стратегически важных задач.

Соответственно, обратившись к примеру животных и людей, страдающих специфическими нарушениями познавательных способностей, мы можем получить некоторое представление о различных качествах интеллекта и их практических отличиях. Если у Homo sapiens отсутствовали бы (лишь в качестве примера) когнитивные модули, позволяющие ему формировать сложные речевые конструкции, он остался бы лишь еще одним видом обезьян, живущих в гармонии с природой. И напротив, найди человек разумный способ обрести некий новый набор модулей, обеспечивающий его преимуществом, сопоставимым со способностью формировать сложные речевые конструкции, он стал бы человеком сверхразумным.


Прямая и опосредованная досягаемость

Сверхразум, возникший по какому-то одному из описанных выше типов, со временем мог бы развить технологии, необходимые для создания сверхразума и по остальным типам. Таким образом, опосредованно все три типа сверхразума одинаково достижимы. В этом смысле опосредованная досягаемость интеллекта человеческого уровня попадает в тот же класс эквивалентности, если исходить из допущения, что мы вообще способны прийти хотя бы к какому-то сверхразуму. Однако в чем-то эти три типа гораздо ближе друг к другу, поскольку любой из них способен создать два других гораздо быстрее, чем мы — один из них, если брать за точку отсчета сегодняшнее развитие технологий.

Прямую досягаемость трех разных типов сверхразума сравнивать сложнее. Скорее всего, ранжировать их не получится. Возможности каждого из них зависят от того, в какой степени они демонстрируют свои преимущества, то есть насколько быстро работает скоростной сверхразум, насколько качественнее качественный сверхразум и так далее. Максимум мы можем сказать, что при прочих равных скоростной сверхразум отлично справляется с задачами, требующими быстрого выполнения длинной последовательности шагов, которые должны быть сделаны один за другим, в то время как коллективный сверхразум лучше показывает себя в задачах, допускающих аналитическую декомпозицию на параллельные подзадачи, а также в таких, когда требуется комбинация множества различных точек зрения и наборов навыков. Качественный сверхразум в некотором смысле должен быть самым универсальным типом, поскольку способен справиться с задачами, находящимися вне пределов прямой досягаемости скоростного и коллективного сверхразумов[197].

Не все в нашей жизни определяется этими категориями, и не всегда количество способно заменить качество. Один гениальный отшельник[198], запершись в спальне, обитой пробковым дубом, способен написать «В поисках утраченного времени». Можно ли создать подобный шедевр, собрав в одном помещении множество поденщиков от литературы?[199] При всем существующем многообразии человеческих характеров и дарований мы видим, что в некоторых случаях работа только выигрывает, когда ее выполняют не мириады посредственностей, а берется за нее всего лишь один специалист, но блестящий мастер своего дела. Если посмотреть на это шире, то придется признать вероятность существования таких интеллектуальных задач, с которыми сможет справиться только сверхразум — они окажутся не по плечу даже огромному коллективу обычных людей без усовершенствованных когнитивных способностей.

Таким образом, могут быть задачи, которые способен решить качественный сверхразум и, возможно, скоростной сверхразум, но не слабоинтегрированный коллективный сверхразум[200] (если, конечно, он не займется в первую очередь развитием собственных возможностей). Мы не сможем определить точно характер этих задач, но попробуем описать их в общем виде[201]. Скорее всего, такая задача должна состоять из мультикомплексных взаимозависимостей, не позволяющих разбить ее на автономные подструктуры, следовательно, ее решение может потребовать качественно нового понимания или нового подхода, которые слишком сложны для восприятия нынешнего поколения смертных. В категорию подобных задач могут попадать отдельные виды художественного творчества, стратегических моделей и даже некоторых научных открытий. Кто-то скажет, что медлительность и крайняя неуверенность в себе в деле решения так называемых вечных вопросов философии связаны с неприспособленностью коры головного мозга человека к умозрительным размышлениям. Поэтому деятельность наших известных философов напоминает походку собаки, которую хозяин заставляет ходить на задних лапах: они насилу достигают «уровня исполнения», который хоть каким-то образом позволяет заниматься этой деятельностью[202].

Источники преимущества цифрового интеллекта

Серьезные последствия могут иметь даже незначительные изменения в объеме и устройстве мозга, что видно, если сравнить интеллектуальные и технологические достижения людей и человекообразных обезьян. Те сверхмасштабные изменения в вычислительной мощности и архитектуре, которые позволяет осуществить использование искусственного интеллекта, могут иметь гораздо более глубокие последствия. Нам очень трудно — если вообще возможно — интуитивно понять, на что способен сверхразум, можно попытаться лишь приблизиться к этому пониманию, взглянув на преимущества, которыми обладает цифровой интеллект. Легче всего оценить плюсы аппаратного обеспечения.

   • Скорость вычислительных элементов. Пиковая скорость работы биологических нейронов — около 200 Гц, что на семь порядков медленнее современных микропроцессоров (примерно 2 ГГц)[203] Как следствие, человеческий мозг вынужден полагаться на масштабное распараллеливание задач и неспособен быстро выполнять вычисления, требующие большого количества последовательных операций[204]. (Мозгу под силу лишь несколько десятков таких операций, максимум — чуть больше сотни.) При этом многие из наиболее важных алгоритмов в программировании и кибернетике не так-то легко поддаются распараллеливанию. Многие когнитивные задачи можно было бы решать гораздо эффективнее, если бы естественная склонность мозга к параллельным алгоритмам распознавания образов дополнялась бы возможностью — и интегрировалась с возможностью — быстрых последовательных вычислений.

   • Скорость внутренних коммуникаций. Аксоны передают потенциал действия со скоростью 120 м/с или даже меньше, в то время как электронные центры обработки информации используют оптику, в которой информация передается со скоростью света (300 000 000 м/с)[205]. Медлительность нейронных сигналов ограничивает размеры биологического мозга, который может функционировать как единый вычислительный блок. Например, чтобы задержка в передаче сигналов от одного элемента к другому и обратно между двумя произвольными элементами системы не превышала 10 мс, объем биологического мозга не должен быть больше 0,11 м3. А размер аналогичной электронной системы может равняться 6,1 × 1017 м3 (это размер карликовой звезды), то есть на восемнадцать порядков больше[206].

   • Количество вычислительных элементов. В человеческом мозгу чуть меньше 100 миллиардов нейронов[207]. Он примерно в три с половиной раза больше мозга шимпанзе (правда, при этом в пять раз меньше мозга кашалота)[208]. Очевидно, что количество нейронов в биологическом существе ограничено объемом черепа и особенностями метаболизма, но в случае крупного мозга вступают в действие и другие ограничения (охлаждение, время созревания, задержки в передаче сигнала — см. предыдущий пункт). В отличие от биологического мозга, компьютерное оборудование масштабируется до гигантских физических размеров[209]. Суперкомпьютеры могут быть размером со склад или даже больше, причем с помощью высокоскоростных кабелей к ним можно подключать дополнительные удаленные вычислительные мощности[210].

   • Емкость памяти. Человек способен удерживать в кратковременной памяти не более четырех-пяти блоков информации одновременно[211]. Хотя сравнивать напрямую кратковременную память с оперативной памятью компьютера не совсем корректно, ясно, что конструктивные преимущества цифрового интеллекта позволяют ему иметь рабочую память гораздо большего размера. Это значит, что такой интеллект способен интуитивно схватывать суть сложных взаимоотношений, которые люди могут нащупать лишь при помощи кропотливого труда[212] Долгосрочная человеческая память также ограниченна, хотя пока и не ясно, способны ли мы исчерпать ее возможности по хранению информации в течение обычной человеческой жизни, ведь скорость накопления нами информации так мала. (По одной из оценок, мозг взрослого человека может хранить примерно миллиард бит, что на пару порядков величины меньше, чем самый простой смартфон[213].) В случае машинного мозга больше и объем хранимой информации, и скорость доступа к ней.

   • Надежность, продолжительность жизни, сенсоры и другое. Машинный интеллект может иметь и другие преимущества на уровне оборудования. Например, биологические нейроны менее надежны, чем транзисторы[214]. Поскольку зашумленные вычисления требуют дополнительных схем декодирования, в которых для обработки единственного бита информации требуется множество элементов, цифровой интеллект получает некоторое преимущество благодаря использованию надежных высокоточных вычислительных элементов. Мозг устает уже после нескольких часов работы и начинает сдавать через несколько десятков лет субъективного времени, у микропроцессоров таких ограничений нет. Поток данных в машинном мозгу можно увеличить за счет добавления миллионов сенсоров. В зависимости от используемой технологии машина может иметь изменчивую архитектуру, способную к оптимизации при изменении требований к выполняемым задачам, в то время как большая часть архитектуры мозга человека фиксирована с рождения, если она и меняется, то незначительно (хотя связи между синапсами могут меняться в течение таких коротких промежутков времени, как несколько дней)[215].

В настоящее время вычислительная мощность биологического мозга все еще превосходит мощность компьютеров, хотя самые современные сверхмощные компьютеры уже достигают уровня производительности, соответствующей оценкам производительности человеческого мозга[216]. Но компьютерное оборудование очень быстро совершенствуется, и предельные возможности его вычислительной мощности намного превышают возможности вычислительных систем биологических компьютеров.

Цифровой мозг имеет крупные преимущества также с точки зрения программного обеспечения.

   • Редактируемость. С параметрами ПО можно экспериментировать, что практически нельзя делать с нейронной системой биологического головного мозга. Например, в компьютерной модели мозга можно легко посмотреть, что будет, если добавить больше нейронов в ту или иную область коры головного мозга, если повысить или понизить их возбудимость. Проведение таких экспериментов на живом биологическом мозгу было бы гораздо более трудным делом.

   • Дублируемость. Можно быстро сделать сколько угодно точных копий ПО для установки на имеющееся оборудование. Напротив, чтобы воспроизвести биологический мозг, потребуется очень много времени, поскольку каждый «новорожденный» совершенно беспомощен и не помнит ничего, чему научились его «родители» в течение своей жизни.

   • Координация целей. Коллективы людей страдают от неэффективности, связанной с тем, что практически невозможно достичь полного единства целей их членов, — и так будет по крайней мере до тех пор, пока не получится добиться покорности при помощи лекарственных препаратов или генетической селекции. У клана копий (группы идентичных или почти идентичных программ, разделяющих общие цели) таких проблем с координацией нет.

   • Использование общей памяти. Биологический мозг нуждается в длительном обучении и наставничестве, в то время как цифровой может получать воспоминания и навыки, обмениваясь файлами с другими программами. Популяция из миллиарда копий программ искусственного интеллекта могла бы периодически синхронизировать свои базы данных, чтобы каждая из них знала все, чему остальные научились за прошедший час. (Прямая передача данных требует стандартизированных форматов представления информации. Поэтому простой обмен когнитивным контентом высокого уровня между любой парой программ искусственного интеллекта невозможен. В частности, это не получится сделать для компьютерных моделей мозга первого поколения.)

   • Новые модули, модели поведения и алгоритмы. Восприятие зрительных образов кажется нам простым и не требующим усилий делом, в отличие от решения геометрических задач из школьного учебника, несмотря на то что для этого требуется огромный объем вычислений, чтобы создать реконструкцию трехмерного мира, населенного знакомыми нам объектами, из возникающих на нашей сетчатке двумерных моделей. А простым нам это кажется потому, что в нашем мозгу имеется специальный низкоуровневый нейронный механизм для обработки визуальной информации. Эта низкоуровневая обработка происходит неосознанно и автоматически, без расходования психической энергии и без отвлечения внимания. Восприятие музыки, использование языка, социальное познание и другие формы обработки информации, «естественной» для нас, людей, похоже, также поддерживается специализированными нейровычислительными модулями. Искусственный интеллект, в котором имелись бы такие же модули поддержки в важных для современного мира предметных областях, таких как, например, программирование и разработка проектов и бизнес-стратегий, имел бы большое преимущество перед нами, поскольку человеку, чтобы думать о таких вещах, приходится полагаться на неуклюжий универсальный механизм познания. Кроме того, для использования преимуществ, специфических для компьютеров, — скажем, быстрых последовательных вычислений — могут быть созданы специальные новые алгоритмы.

Предельные преимущества машинного интеллекта, представляющего синтез аппаратного и программного обеспечений, просто громадны[217]. Но насколько быстро можно реализовать этот потенциал? Ответом на этот вопрос мы займемся в следующей главе.

Глава четвертая

Динамика взрывного развития интеллекта

Итак, наступит момент, когда машины практически сравняются с человеком в общей способности осмысливания, — сколько времени им потребуется, чтобы обрести сверхразум? Будет ли этот переход неторопливым, постепенным, продолжительным? Произойдет ли он внезапно — во взрывном темпе? В главе анализируется динамика перехода к сверхразуму с точки зрения функциональности самой системы: силы оптимизации и сопротивляемости. Как поведут себя эти два фактора вблизи универсального интеллекта человеческого уровня? Будем исходить из того, что или якобы понимаем это, или по крайней мере сможем выстроить приемлемое предположение.

Время и скорость взлета

Допустим, что рано или поздно машинный интеллект значительно превзойдет общий интеллектуальный уровень человека, при этом мы не должны забывать, что на сегодняшний день познавательные способности человека в огромной степени превосходят возможности машинного познания. Нас не может не волновать, когда свершится самоуправство машин и насколько быстро утвердится их монополия на познание. Причем этот вопрос нужно четко отличать от поставленного нами в первой главе, а именно: насколько мы далеки от создания универсального искусственного интеллекта человеческого уровня. Сейчас речь идет о другом: если машина, наделенная универсальным интеллектом человеческого уровня, будет когда-то и где-то создана, сколько ей понадобится времени, чтобы полностью превратиться в сверхразумную? Заметьте, в отношении создания УИИЧУ можно занимать разные позиции: считать, что для этого потребуется очень длительное время; отрицать саму возможность хоть в малейшей степени оценить этот срок, — но в любом случае быть абсолютно уверенным, что как только человечество этого достигнет, дальнейшее развитие, то есть подъем на высочайший сверхразумный уровень, произойдет очень быстро.

Может быть, целесообразнее представить процесс развития схематично, даже если придется временно не принимать во внимание некоторые условия и подробности, усложняющие суть дела. Посмотрим на диаграмму, отражающую интеллектуальные способности наиболее совершенных систем искусственного интеллекта как функцию времени (см. рис. 7).


Искусственный интеллект. Этапы. Угрозы. Стратегии

Рис. 7. Схема взлета. Важно разделять такие вопросы, как: состоится ли взлет? если взлет состоится, то когда? если когда-нибудь взлет произойдет, насколько резким он будет? Например, можно считать, что до взлета еще очень много времени, но когда момент наступит, все произойдет очень быстро. Есть еще один важный вопрос (на диаграмме не показан): какова будет роль мировой экономики в процессе взлета сверхразумной системы? Все вопросы связаны между собой.

Горизонтальная линия с надписью «человеческий уровень» представляет характерные для современных развитых стран интеллектуальные возможности среднестатистического взрослого человека, имеющего доступ к источникам информации и технологическим средствам. В настоящее время даже самая передовая интеллектуальная система в значительной степени — по любым разумным показателям — отстает от основных человеческих характеристик. В будущем, в какое-то неопределенное для нас время, интеллектуальная система сможет достичь приблизительного равенства с человеком (за основу нами принят зафиксированный в 2014 году общий уровень интеллекта человека, даже если в последующие годы он предположительно будет расти) — этот момент будет свидетельствовать о начале взлета. Возможности интеллектуальной системы продолжат увеличиваться и спустя некоторое время достигнут паритета с объединенными интеллектуальными способностями всего человечества (уровень фиксации тот же 2014 год) — это мы обозначим как «цивилизационный уровень». Если интеллектуальная система пойдет по пути дальнейшего развития, она наконец превратится в сильный сверхразум, то есть с точки зрения интеллектуальных возможностей выйдет на уровень, значительно превосходящий уровень человечества в целом, — когда это будет достигнуто, можно говорить о завершении взлета, хотя сама сверхразумная система в состоянии самосовершенствоваться и дальше. В какой-то момент в течение процесса взлета система может пройти отметку «критический рубеж», то есть точку, за которой совершенствование будет зависеть не от деятельности людей, а в основном от ее собственных усилий[218]. (Возможность существования критического рубежа, или точки перехода, важна для обсуждения тем, рассматриваемых в последнем разделе главы, — сила оптимизации и взрывоопасность.)

На диаграмме представлен обобщенный сценарий перехода интеллектуальной системы с человеческого на сверхразумный уровень, но в зависимости от крутизны кривой можно выделить три типа сценариев взлета — медленный, быстрый, умеренный.

   1. Медленный взлет. Будет происходить на долгих временных интервалах — от десятилетий до столетий. Такие сценарии представляют собой отличные возможности, чтобы человечество смогло обдумать свои дальнейшие политические ходы, адаптировать их к ситуации и правильно реагировать на происходящее. Можно будет последовательно тестировать разные подходы, обучить и подготовить новых специалистов. Предвыборные кампании будут ориентированы на сторонников и противников происходящих процессов. Если выяснится, что нужны новые системы безопасности и общественного контроля над исследованиями в области ИИ, будет достаточно времени, чтобы их разработать и развернуть. Страны и ученые, опасающиеся гонки вооружений в области военного применения ИИ, смогут провести необходимые переговоры и разработать защитные механизмы. Большинство подготовительных мер, предпринятых накануне процесса медленного взлета, окажутся морально устаревшими, но постепенно начнут появляться новые решения, актуальные для наступающей эпохи.

   2. Быстрый взлет. Произойдет в течение очень короткого промежутка времени — минуты, часы, дни. В сценариях быстрого взлета у людей почти не остается возможности реагировать на него. Никто не успеет ничего заметить, а игра уже окажется проигранной. В любом сценарии быстрого взлета судьба человечества в основном зависит от подготовительной работы, уже проведенной к этому моменту. В самом медленном из быстрых сценариев со стороны людей еще могут быть произведены какие-то элементарные телодвижения вроде потянуться открыть «ядерный чемоданчик», но тогда алгоритмы этих действий должны быть или действительно элементарны, или запланированы, запрограммированы и отрепетированы заранее.

   3. Умеренный взлет. Произойдет в течение относительно короткого временного интервала — от нескольких месяцев до нескольких лет. В этом случае у человечества остается некоторая возможность отреагировать на происходящее, но не будет времени проанализировать его, протестировать разные подходы и решить сложные задачи координации действий. На создание и развертывание новых систем, таких как политические меры, механизмы контроля, протоколы безопасности компьютерных сетей, времени тоже не останется, но, возможно, получится приспособить к новым обстоятельствам уже существующие нормы.

В случае медленного взлета будет достаточно времени для распространения новостей. При умеренном взлете разработки могут остаться засекреченными. Знанием о них будут располагать лишь очень ограниченные группы людей, как это бывает при разработке секретных государственных программ военных исследований. Так же тайно, силами небольших научных коллективов или хакеров в каком-нибудь подвале, могут вестись работы в рамках коммерческих проектов — впрочем, если перспективы взрывного развития сверхразума попадут на радары государственных спецслужб и станут одним из приоритетов национальной безопасности, у наиболее многообещающих частных проектов появятся большие шансы оказаться под наблюдением. В таком случае у государства (или доминирующего международного игрока) будет возможность национализировать или закрыть любой проект, демонстрирующий признаки скорого взлета.

Быстрый взлет произойдет за столь короткое время, что никто не успеет не то что отреагировать на него, но даже рот открыть. Вмешаться будет возможно до начала взлета — правда, лишь при условии, что наготове имеется механизм по защите.

Сценарии умеренного взлета могут привести к геополитическим, социальным и экономическим потрясениям, поскольку отдельные люди и сообщества постараются обеспечить себе выигрышные позиции в ходе разворачивающихся преобразований. Возможные беспорядки начнут тормозить усилия по координации ответных мер и спровоцировать принятие решений более радикальных, чем те, которые были бы приняты в спокойной ситуации. Например, по одному из сценариев умеренного взлета в течение нескольких лет рынок труда постепенно заполняют дешевые и сверхпроизводительные имитационные модели, полученные вследствие полной эмуляции мозга, или иные системы искусственного интеллекта. При таком развитии событий можно допустить, когда начнутся массовые увольнения работников-людей, не менее массовые протесты, которые вынудят правительства увеличить пособия по безработице, ввести гарантии пожизненной занятости для всех граждан, а также специальные налоги или обязательные социальные отчисления для работодателей, использующих труд работников-роботов. Чтобы принятые в результате такой политики меры не оказались пустыми, они должны быть поддержаны новыми политическими и социальными структурами, действующими на постоянной основе. Аналогичные проблемы не исключены при сценариях медленного взлета, но в сценариях умеренного взлета диспропорции и скорость изменений способны привести к тому, что небольшие группы активистов получат непропорционально большое влияние.

Некоторым читателям может показаться, что из перечисленных сценариев взлета наиболее вероятен — медленный, менее вероятен — умеренный, практически невозможен — быстрый. Возможно ли предположить, что всего за пару часов мир в состоянии радикально измениться, а венец творения — быть сброшенным с вершины разума? С подобными громадными переменами история человечества еще не сталкивалась, а ближайшие параллели — неолитическая (сельскохозяйственная) и промышленная революции — потребовали гораздо больше времени (от нескольких веков до тысячелетия в первом случае, от нескольких десятилетий до веков — во втором). То есть база для трансформации такого рода, какая предполагается в случае сценариев быстрого или умеренного взлета, с точки зрения величины и скорости происходящих изменений, равна нулю, поскольку прецедентов — если не брать в расчет мифологии и религии — в человеческой истории не было[219].

Однако медленный сценарий представляется как раз самым маловероятным — в пользу этого положения я приведу далее соответствующие аргументы. Скорее всего, события начнут развиваться по быстрому сценарию — если когда-нибудь взлет произойдет, он будет иметь взрывной характер.

Чтобы получить ответ на вопрос, насколько быстрым будет взлет, можно считать скорость роста интеллектуальных способностей системы монотонно возрастающей функцией двух переменных: величины «силы оптимизации», или взвешенных на качество усилий по разработке, прилагаемых с целью сделать систему более интеллектуальной, и «отзывчивости» системы к приложению оптимизирующей силы. Можно также ввести термин «сопротивляемость», обратный отзывчивости, и записать следующее:

Искусственный интеллект. Этапы. Угрозы. Стратегии

В отсутствие количественного определения уровня интеллекта, усилий по его повышению и сопротивляемости это выражение остается по большей части качественным. Но по крайней мере можно будет наблюдать, что интеллектуальные способности системы быстро растут, когда или прилагаются большие усилия для их развития, притом что развить ее способности не очень трудно, или нужны нетривиальные усилия по разработке правильного дизайна системы, притом что сопротивляемость ее низка (или справедливо и то и другое). Если мы знаем, сколько усилий прилагается для улучшения той или иной системы, и скорость улучшений, которую они обеспечивают, то можем рассчитать сопротивляемость этой системы.

Далее, мы можем наблюдать, что сила оптимизации, направленная на улучшение эффективности той или иной системы, с течением времени сильно изменяется от системы к системе. Сопротивляемость системы также может сильно зависеть от того, насколько система уже оптимизирована. Часто первыми делаются простейшие улучшения, в результате чего — по мере срывания самых низко висящих плодов — результаты появляются все медленнее (растет сопротивляемость системы). Однако могут быть улучшения, облегчающие последующие улучшения, и тогда возникает каскад улучшений. Процесс складывания пазла поначалу кажется простым, ведь сложить углы и края картины довольно легко. Затем сопротивляемость растет — подбирать последующие части становится труднее. В конце, когда сборка пазла почти завершена, свободных мест практически не остается, и процесс вновь идет легко.

Таким образом, чтобы найти ответ на наш вопрос, следует проанализировать, как меняются в критические моменты взлета степень сопротивляемости и сила оптимизации. Этим мы и займемся далее.

Сопротивляемость

Начнем с сопротивляемости. В этом случае прогноз зависит от типа рассматриваемой системы. Для полноты картины вначале рассмотрим сопротивляемость, которая характерна для путей движения в сторону сверхразума, не связанных с созданием усовершенствованного машинного интеллекта. Мы считаем, что в таком случае сопротивляемость будет довольно высока. Справившись с этим, обратимся к главному — взлету, связанному с искусственным интеллектом. Похоже, в данном случае сопротивляемость в критический момент окажется довольно низкой.

Пути, не подразумевающие создания машинного интеллекта

Результативность когнитивного совершенствования за счет улучшения здравоохранения и организации здорового питания со временем резко падает[220]. Многого можно добиться за счет ликвидации такого жесткого фактора, как дефицит питательных веществ в ежедневном рационе, но этого явления уже нет практически нигде, кроме самых бедных стран. Дальнейшее улучшение и так уже полноценного рациона мало на что влияет. Усиление образовательного процесса будет тоже играть все меньшую роль. Доля одаренных людей, лишенных доступа к качественному образованию, все еще велика, но постепенно снижается.

В ближайшие десятилетия какое-то повышение уровня интеллектуальных способностей можно будет обеспечить за счет медикаментозных средств. Но после того как удастся добиться самых простых улучшений — скорее всего, речь пойдет об укреплении на продолжительный срок умственных сил, долговременной памяти и способности сосредоточивать внимание, — дальнейший прогресс будет даваться все с большим и большим трудом. По сравнению с такими долговременными подходами, как обеспечение правильного питания и охрана здоровья, обращение к лекарственным средствам, стимулирующим умственные способности, вначале может показаться быстрым и легким путем, но это не так. В нейрофармакологии по-прежнему много белых пятен даже на уровне элементарных знаний, необходимых, чтобы компетентно вмешиваться в работу здорового мозга. Отчасти медленный прогресс вызван неготовностью считать медикаментозные методы достойной областью исследований. Видимо, нейробиология и фармакология как науки еще какое-то время будут развиваться, не обращая особого внимания на проблему усиления когнитивных функций. Что поделаешь, придется ждать тех времен, когда разработка ноотропных средств все-таки станет одним из приоритетных направлений — тогда наконец удастся добиться относительно быстрых и простых побед[221].

Генетическое когнитивное улучшение имеет U-образный профиль сопротивляемости, как и у ноотропов, но с более заметными потенциальными выгодами. Вначале — пока единственным доступным методом остается селекция на протяжении нескольких поколений, которую, конечно, трудно проводить в общемировом масштабе, — уровень сопротивляемости высок. По мере того как появляются технологии для недорогого и эффективного генетического тестирования и селекции (особенно когда станет доступным итеративный отбор эмбрионов в случае людей), генетическое улучшение становится более простым делом. Эти новые методы позволят проверить весь спектр существующих вариаций человеческих генов на наличие повышающих интеллект аллелей. Однако после того как лучшие из них будут включены в пакеты генетического улучшения, дальнейший прогресс окажется делом более трудным. Необходимость разработать более инновационные подходы к генетической модификации может повысить сопротивляемость. На пути генетического улучшения скорость прогресса ограничена — ограничена в основном тем обстоятельством, что вмешательство на эмбриональном уровне зависит от неизбежной отсрочки на время взросления, что препятствует развитию сценариев с быстрым или умеренным взлетом[222]. Метод селекции эмбрионов неразрывно связан с длительным процессом внедрения технологии ЭКО в общественное сознание, что является еще одним ограничивающим фактором.

На пути создания нейрокомпьютерного интерфейса, похоже, сопротивляемость поначалу будет очень высокой. В маловероятном сценарии, когда вдруг получится легко вживлять имплантат и достигать высокоуровневой функциональной интеграции с корой головного мозга, сопротивляемость пойдет вниз. Но в долгосрочном плане ситуация со все менее заметным прогрессом при движении по этому пути будет аналогична случаю с улучшением имитационной модели головного мозга и интеллектуальных систем, поскольку в конечном счете интеллект системы мозг–компьютер будет обеспечивать ее компьютерная составляющая.

В случае попыток сделать сети и организации более эффективными сопротивляемость в большинстве случаев будет высокой. Чтобы ее преодолеть, потребуются значительные усилия, в результате чего совокупные интеллектуальные возможности человечества, возможно, будут увеличиваться всего на пару процентов в год[223]. Более того, сдвиги во внутренней и внешней среде приведут к тому, что даже эффективные в какой-то момент организации перестанут приспосабливаться к новым обстоятельствам. То есть потребуются постоянные усилия по их реформированию, хотя бы для того, чтобы не допустить ухудшения ситуации. Скачкообразный рост темпов повышения производительности средней организации, в принципе, возможен, но трудно вообразить, что даже в наиболее радикальном сценарии такого рода произойдет не медленный, а умеренный и тем более быстрый взлет, поскольку организации, в которых работают люди, ограничены таким понятием, как человеко-часы. Передовым рубежом со множеством возможностей для повышения уровня коллективного интеллекта остается интернет, причем пока сопротивляемость здесь остается на умеренном уровне: прогресс заметен, но для его достижения требуется много усилий. После того как все низко висящие плоды окажутся сорванными (вроде поисковых систем и электронной почты), сопротивляемость, скорее всего, начнет расти.

Пути создания имитационной модели мозга и искусственного интеллекта

Степень трудности, стоящей на пути полной эмуляции головного мозга, оценивать довольно сложно. Но одна веха на этом пути уже пройдена: успешно создана имитационная модель мозга насекомого. Это та возвышенность, взобравшись на которую можно увидеть, что за ландшафт ждет нас впереди, и понять уровень сопротивляемости, с которым мы столкнемся в процессе масштабирования технологий моделирования человеческого мозга. (Еще лучшей точкой обзора станет успешное моделирование мозга небольшого млекопитающего вроде мыши, после чего расстояние, оставшееся до создание имитационной модели головного мозга человека, можно будет оценить довольно точно.) Однако путь создания искусственного интеллекта может не иметь таких очевидных контрольных точек обзора. Вполне возможно, что экспедиция к ИИ будет долго блуждать в непроходимых джунглях, пока внезапный прорыв не приведет к ситуации, что мы окажемся всего лишь в нескольких шагах от финишной черты.

Вспомним о двух вопросах, о которых я говорил, что их принципиально нужно различать. Насколько мы далеки от создания универсального искусственного интеллекта человеческого уровня? Насколько быстро произойдет переход от этого уровня к сверхразумному? Первый вопрос больше относится к оценке того, сколько времени потребуется на подготовку взлета. Для ответа на второй вопрос важно определить траекторию полета к сверхразуму — цели нашего исследования в этой главе. Довольно соблазнительно предположить, что шаг от создания УИИЧУ к появлению сверхразума будет очень сложным, что этот шаг, в конце концов, должен быть сделан «на большей высоте», где к уже имеющейся системе нужно будет добавить дополнительную мощность. Считать так было бы неверно. Вполне возможно, что с достижением равенства между интеллектуальными способностями человека и машины сопротивляемость упадет.

Рассмотрим в первую очередь полную эмуляцию головного мозга. Трудности, ожидающие нас на пути создания первой успешной имитационной модели, разительно отличаются от трудностей, связанных с ее дальнейшим обслуживанием. В первом случае придется решить множество технических проблем, особенно в области разработки необходимых технологий сканирования и обработки изображений. Нужно будет создавать материальные активы, возможно, целый парк из сотен высокопроизводительных сканирующих устройств. Напротив, повышение качества уже существующей имитационной модели мозга связано скорее с совершенствованием программного обеспечения — с тонкой настройкой алгоритмов и уточнением структуры данных. Эта задача может оказаться легче, чем создать технологию обработки изображений, без которой дальнейший прогресс невозможен в принципе. Программисты могут экспериментировать с разными параметрами вроде количества нейронов в различных областях коры головного мозга, чтобы посмотреть, как это влияет на производительность модели[224]. А также поработать над оптимизацией кода и поискать более простую вычислительную модель, способную сохранить всю основную функциональность отдельных нейронов и небольших нейронных сетей. Если последней технологической составляющей, которой будет недоставать для решения задачи, окажется сканирование или трансляция, притом что вычислительная мощность будет в избытке, тогда на первом этапе не придется уделять особое внимание вопросам эффективности, поэтому на втором этапе можно будет многое оптимизировать. (Вероятно, получится провести фундаментальную реорганизацию вычислительной архитектуры, однако это уведет нас с пути эмуляции на путь создания ИИ.)

Еще один способ улучшить код имитационной модели мозга после того, как она будет создана, это сканировать головной мозг других людей с отличающимися или более высокими навыками и талантами. Можно также добиться роста производительности в результате последовательной адаптации организационной структуры и процессов к специфике функционирования цифрового интеллекта. Поскольку в мировой экономике, созданной человеком, не было аналогов работника, которого можно в буквальном смысле слова скопировать, перезапустить, ускорить или замедлить и так далее, то у руководителей первого коллектива работников эмуляций будет множество возможностей для инноваций в области управления.

После снижения сопротивляемости в результате создания первой имитационной модели человеческого мозга ее уровень может снова начать расти. Рано или поздно будут устранены наиболее очевидные недостатки, сделаны наиболее многообещающие изменения алгоритма, использованы самые простые возможности для организационных улучшений. Библиотека исходных данных вырастет настолько, что сканирование дополнительных экземпляров мозга перестанет заметно повышать качество модели. Поскольку имитационную модель можно копировать, а каждую копию обучать, то есть загружать в нее самые разнообразные знания, возможно, для получения максимального эффекта не придется сканировать мозг множества людей. Вполне вероятно, что довольно будет всего одного.

Еще одна потенциальная причина роста сопротивляемости состоит в том, что сами имитационные модели или их защитники-люди могут организовать движение за регулирование отрасли, что повлечет за собой ряд ограничений: сокращение числа работников-эмуляций; лимит на копирование имитационных моделей; запрет на определенные виды экспериментов над моделями, — но кроме этого работники-эмуляции получат гарантированное соблюдение своих прав, установленную специально для них минимальную заработную плату, ну и так далее. Правда, вполне допустимо, что политическое развитие пойдет в прямо противоположном направлении, в результате чего сопротивляемость упадет. Это может случиться, если первоначальные ограничения в использовании работников-эмуляций уступят место их безоглядной эксплуатации — после того как вырастет конкуренция и станут очевидны высокие экономические и стратегические издержки слишком щепетильного отношения к моральным аспектам проблемы.

Что касается искусственного интеллекта (машинного интеллекта, не связанного с имитационным моделированием человеческого мозга), то степень сложности его развития от УИИЧУ до уровня сверхразума за счет совершенствования алгоритма будет зависеть от особенностей конкретной системы. Сопротивляемость разных архитектур может различаться очень сильно.

В некоторых случаях она, вероятно, окажется чрезвычайно низкой. Скажем, создание ИИЧУ задерживается из-за какого-то последнего, ускользающего от программистов штриха, но после того как он будет найден, ИИ может в одночасье преодолеть разрыв между уровнем ниже человеческого и уровнем, значительно его превосходящим. Еще одна ситуация, в которой сопротивляемость может оказаться низкой, — это когда умственные способности ИИ развиваются за счет двух различных способов обработки информации. Представим ИИ, состоящий из двух подсистем, одна из которых отвечает за методы решения узкоспециализированных задач, другая — за универсальное мышление. Вполне возможно, что если вторая подсистема недотягивает до некоторого порогового значения производительности, она ничего не добавляет в совокупную производительность системы, поскольку ее решения всегда хуже тех, которые вырабатывает подсистема работы со специализированными задачами. Теперь предположим, что к подсистеме универсального мышления приложили определенную силу оптимизации, в результате чего производительность подсистемы резко повысилась. Поначалу мы не увидим изменения в совокупной производительности системы, что говорит о ее высокой сопротивляемости. Затем, когда возможности второй подсистемы пересекут некоторое пороговое значение, ее решения станут превосходить решения подсистемы специализированных задач, и совокупная производительность ИИ начнет расти с тем же высоким темпом, как растет производительность подсистемы универсального мышления, несмотря на то что сила оптимизации остается неизменной, — тогда сопротивляемость системы резко упадет.

Возможно также, что из-за естественной для нас склонности смотреть на интеллект с антропоцентрической точки зрения мы будем недооценивать динамику улучшений в системах, недотягивающих до человеческого уровня, и, таким образом, переоценивать сопротивляемость. Элиезер Юдковский, теоретик искусственного интеллекта, много пишущий о его будущем, говорит об этом в работе «Искусственный интеллект как позитивный и негативный фактор глобального риска» (см. также рис. 8):

ИИ может совершить кажущийся резким скачок в интеллектуальных способностях исключительно вследствие антропоморфизма, то есть присущей человеку тенденции считать, будто на интеллектуальной шкале располагается не практически бесконечное количество точек, а есть всего две крайние, причем на одной крайней точке находится «деревенский дурачок», а на другой — «Эйнштейн».

Все, что глупее глупого человека, может показаться кому-то просто «глупым». И вот мы как бы двигаемся по интеллектуальной шкале вправо, мимо мышей и шимпанзе, а ИИ все еще остается «глупым», поскольку не говорит свободно на вашем языке и не пишет научные статьи, но потом он внезапно преодолевает крошечный разрыв между недоидиотом и сверх-Эйнштейном за месяц или около того[225].


Искусственный интеллект. Этапы. Угрозы. Стратегии

Рис. 8. Не слишком антропоморфная шкала? Разрыв между идиотом и гением с антропоцентрической точки зрения может показаться очень значительным, но в более широкой перспективе различий между ними почти не видно[226]. Наверняка гораздо сложнее будет создать машину, чей уровень общего интеллекта окажется сравнимым с уровнем интеллекта полного идиота, чем усовершенствовать эту систему, в результате чего она станет намного умнее самого гениального из людей.


Итак, все соображения приводят к следующему заключению: очень трудно предсказать, насколько сложно будет усовершенствовать алгоритм первого ИИ, который достигнет примерно общего интеллектуального уровня человека. Можно представить как минимум несколько возможных обстоятельств, при которых сопротивляемость алгоритма будет низка. Но даже если она и очень высока, это не говорит о том, что совокупная сопротивляемость ИИ также обязательно должна быть высокой. Можно легко повысить уровень интеллектуальных способностей системы и без корректировки алгоритмов. Есть еще два фактора, влияющих на него: контент и оборудование.

Прежде всего поговорим об улучшении контента. Под «контентом» мы понимаем те части кода ИИ, которые не относятся к его главной алгоритмической архитектуре. К контенту могут относиться, например, базы данных сохраненных объектов восприятия, библиотек специализированных навыков и запасы декларативных знаний. Для многих типов систем грань между алгоритмической архитектурой и контентом довольно размыта, тем не менее она может быть простым способом отметить один потенциально важный источник прироста способностей машинного интеллекта. Можно иначе выразить ту же самую идею: способности системы решать интеллектуальные задачи можно повысить не только сделав систему умнее, но и увеличив объем ее знаний.

Возьмем современные интеллектуальные системы вроде TextRunner (исследовательский проект, который реализуется в Университете Вашингтона) или суперкомпьютера Watson, созданного в IBM (обыграл двух рекордсменов телевизионной игры-викторины Jeopardy!). Они способны извлекать некоторое количество семантической информации, анализируя текст. И хотя эти системы не понимают, что читают, — в том смысле или до такой же степени, как люди, — они тем не менее могут получать значимую информацию из текста, написанного на обычном языке, и использовать ее для получения простых выводов и ответов на вопросы. Еще они могут учиться на своем опыте, усложняя представление концепции по мере того, как сталкиваются с новыми случаями ее использования. Они разработаны так, чтобы большую часть времени работать без вмешательства людей (то есть учиться находить скрытую структуру в неразмеченных данных в отсутствие сигналов, подтверждающих правильность или сообщающих об ошибочности их действий, со стороны человека), причем работать быстро и с возможностью масштабирования. Скажем, TextRunner работает с массивом из пятисот миллионов интернет-страниц[227].

Теперь представим далекого потомка такой системы, способного понимать прочитанное на уровне десятилетнего ребенка, но читающего при этом со скоростью TextRunner. (Вероятно, это ИИ-полная задача.) То есть мы воображаем систему, думающую гораздо быстрее и запоминающую гораздо лучше взрослого человека, но знающую много меньше, — возможно, в результате ее способности будут примерно соответствовать человеческим способностям решать задачи на общем интеллектуальном уровне. Но ее сопротивляемость с точки зрения контента очень низка — достаточно низка, чтобы произошел взлет. За несколько недель система прочитает и обработает весь контент, содержащийся в книгах из библиотеки Конгресса США. И вот она уже и знает больше любого человеческого существа, и думает гораздо быстрее — то есть становится слабым (по меньшей мере) сверхразумом.

Таким образом, система может резко усилить свои интеллектуальные способности, впитав информацию, накопленную за многие века существования человеческой науки и цивилизации, например получая ее из интернета. Если ИИ достигает человеческого уровня, не имея доступа к этим материалам или не будучи способным их переварить, тогда его общая сопротивляемость будет низка даже в том случае, когда его алгоритмическую архитектуру улучшить довольно трудно.

Концепция сопротивляемости контента также важна с точки зрения создания эмуляционной модели мозга. Работающая с большой скоростью имитационная модель мозга имеет преимущество перед биологическим мозгом не только потому, что решает те же задачи быстрее, но и потому, что аккумулирует более подходящий контент, в том числе релевантные с точки зрения задачи навыки и опыт. Однако, чтобы раскрыть весь потенциал быстрого накопления контента, системе нужны соответствующие большие объемы памяти. Бессмысленно читать подряд энциклопедии, если к тому времени как дойдешь до статьи Abalone (африканский муравьед), забудешь все, что узнал из статьи Aardvark (моллюск). В то время как у систем ИИ, скорее всего, недостатка в памяти не будет, модели мозга могут унаследовать некоторые ограничения от своих биологических оригиналов. И, как следствие, потребуют каких-то архитектурных усовершенствований, чтобы иметь возможность обучаться без ограничений.

До сих пор мы рассматривали сопротивляемость архитектуры и контента — то есть то, насколько может быть сложно улучшить программное обеспечение машинного интеллекта, достигшего человеческого уровня интеллекта. Теперь давайте поговорим о третьем пути повышения производительности такого интеллекта, а именно об усовершенствовании его вычислительной части. Какой может быть сопротивляемость улучшению аппаратной основы?

После появления интеллектуальных программ (систем ИИ или имитационных моделей мозга) усилить коллективный интеллект можно будет просто за счет использования множества дополнительных компьютеров, на которых запущены их копии[228]. Скоростной интеллект можно усилить, перенеся программы на более быстрые компьютеры. В зависимости от того, насколько программы способны работать параллельно, еще один ресурс заключается в использовании большего числа процессоров. Это, скорее всего, подойдет для моделей мозга, которые изначально имеют параллельную архитектуру, но и многие системы ИИ включают в себя процедуры, эффективность выполнения которых повысится за счет параллельного выполнения. Усилить качественный интеллект за счет наращивания вычислительной мощности, возможно, также удастся, но вряд ли так же прямолинейно[229].

Таким образом, сопротивляемость при усилении коллективного или скоростного (и, возможно, качественного) интеллекта в программах человеческого уровня, скорее всего, будет низкой. Единственной сложностью останется получить доступ к дополнительным вычислительным мощностям. Есть несколько путей расширения аппаратной базы системы, каждый из которых требует различных затрат времени.

В краткосрочной перспективе вычислительная мощность может масштабироваться практически линейно исключительно за счет дополнительного финансирования: увеличится оно вдвое — можно будет купить вдвое больше компьютеров, что позволит запустить вдвое больше программ одновременно. Возникновение облачных вычислительных услуг дает возможность любому проекту увеличивать использование вычислительных ресурсов, даже не теряя времени на доставку дополнительных компьютеров и установку на них ПО, хотя соображения секретности могут подталкивать к работе на собственных машинах. (Однако в некоторых сценариях дополнительные вычислительные ресурсы можно будет получить и иными способами, например рекрутируя ботнеты[230].) То, насколько легко масштабировать ту или иную систему на определенную величину, будет зависеть от объемов изначально используемой ею вычислительной мощности. Систему, изначально работающую на персональном компьютере, можно масштабировать в тысячи раз меньше, чем за миллион долларов. Масштабировать программу, установленную на суперкомпьютере, гораздо дороже.

В чуть более долгосрочной перспективе, по мере того как окажется задействованной все большая часть имеющихся на планете вычислительных мощностей, затраты на приобретение дополнительного оборудования могут начать расти. Например, в сценарии создания имитационной модели мозга в условиях конкуренции затраты на запуск одной дополнительной ее копии должны расти и стать примерно равными выручке, которую эта копия генерирует, поскольку цены на вычислительную инфраструктуру будут подниматься (хотя если эта технология окажется в распоряжении всего одного проекта, он обеспечит себе монопсонию и вследствие этого сможет платить меньше.)

В более долгосрочной перспективе предложение вычислительной мощности будет расти по мере установки все новых ПО в дополнительные компьютеры. Всплеск спроса стимулирует расширение существующих и создание новых производств микропроцессоров. (Разовый всплеск производительности на один-два порядка величины может случиться в результате использования кастомизированных процессоров[231].) Помимо этого, дополнительный вал вычислительной мощности хлынет на турбины мыслящих машин за счет постоянного усовершенствования технологий, темп которого будет только расти. Исторически он описывается знаменитым законом Мура, один из вариантов которого гласит, что вычислительная мощность в расчете на доллар удваивается каждые восемнадцать месяцев или около того[232]. И хотя никто не может поручиться, что эта скорость сохранится до момента создания ИИЧУ, пространство для совершенствования компьютерных технологий остается — фундаментальные физические пределы еще не достигнуты.

Поэтому есть все основания полагать, что сопротивляемость аппаратной среды не окажется слишком высокой. Приобретение дополнительной вычислительной мощности для системы, доказавшей право на существование тем, что она достигла человеческого интеллектуального уровня, может легко добавить мощности, имеющейся в распоряжении ее создателей, несколько дополнительных порядков величины (в зависимости от того, насколько прожорлив в этом смысле был проект изначально). Кастомизация процессоров добавит еще один-два порядка. На другие средства расширения аппаратной базы, такие как строительство новых заводов и усовершенствование вычислительных технологий, понадобится больше времени — обычно это занимает несколько лет, хотя в будущем срок может резко сократиться в результате революции, которую произведет сверхразум в области развития технологических и производственных процессов.

Подведем итоги. Мы можем говорить о вероятности образования «аппаратного навеса» — к тому моменту, когда будет создано программное обеспечение человеческого интеллектуального уровня, окажется доступно достаточно вычислительной мощности для запуска большого количества его копий на очень быстрых компьютерах. Сопротивляемость на уровне программного обеспечения, как уже было сказано выше, оценить сложнее, но, вполне вероятно, она может оказаться даже более низкой, чем сопротивляемость аппаратная. В частности, есть возможность образования «контентного навеса» в форме огромных объемов готовой к использованию информации (например, в интернете), которая станет доступна системе, как только она достигнет человеческого уровня развития. Вероятность «алгоритмического навеса» — проведенной заранее оптимизации алгоритмов — также существует, но гораздо более низкая. За счет совершенствования программного обеспечения (и алгоритмов, и контента) потенциальный рост производительности системы может составить несколько порядков величины, и добиться этого роста, после того как цифровой разум достигнет человеческого уровня, окажется довольно легко, причем он наложится на выигрыш в производительности, полученный за счет использования большего количества или более мощных аппаратных средств.


Сила оптимизации и взрывное развитие интеллекта

Изучив вопрос сопротивляемости, обратимся ко второй части нашего уравнения — силе оптимизации. Напомним:

Искусственный интеллект. Этапы. Угрозы. Стратегии

Как видно из этой формулы, быстрый взлет не требует, чтобы сопротивляемость на фазе перехода была низкой. Быстрый взлет также может произойти на фоне неизменной или даже медленно растущей сопротивляемости, при условии, что сила оптимизации, приложенная к системе и повышающая ее производительность, растет довольно быстро. Мы увидим, что есть все основания считать: прилагаемая к системе сила оптимизации действительно будет расти на этапе перехода, по крайней мере в отсутствие явных мер, направленных против этого.

Здесь можно выделить две фазы. Первая фаза начинается с точки отрыва системы от уровня человеческого интеллекта. Поскольку ее возможности продолжают расти, она может использовать их часть или даже все возможности для самосовершенствования (или для создания системы-потомка, что неважно). Однако большая часть оптимизирующей силы будет приложена извне системы благодаря работе программистов и инженеров, как занятых в проекте, так и не имеющих к нему прямого отношения[233]. Если эта фаза растянется на долгое время, можно ожидать, что сила оптимизации, приложенная к системе, будет увеличиваться. Вклад в проект и команды, и участников извне станет расти, если выбранный подход покажет свою перспективность. Исследователи начнут работать усерднее, их количество вырастет, чтобы ускорить прогресс, начнут покупать больше компьютеров. Рост будет особенно быстрым, если создание ИИЧУ окажется для мира неожиданностью — в этом случае на изначально небольшом проекте будут сосредоточены усилия исследователей и разработчиков всего мира (хотя какая-то часть мировых усилий может быть направлена на реализацию конкурирующих проектов).

Вторая фаза роста начнется в тот момент, когда система аккумулирует такую мощность, что превратится в основной источник оптимизирующей силы по отношению к самой себе (на рис. 7 это отмечено как «критический рубеж, или точка перехода»). Это резко изменит динамику процесса, поскольку любые изменения возможностей системы теперь приводят к пропорциональному росту оптимизирующей силы, приложенной с целью ее дальнейшего совершенствования. Если сопротивляемость остается постоянной, начинается рост в геометрической прогрессии (см. врезку 4). Удвоение эффективности может происходить очень быстро — есть сценарии, где на это требуется всего нескольких секунд — если рост идет с электронными скоростями за счет использования алгоритмических усовершенствований или эксплуатации контентного или аппаратного навеса[234] Для роста, базой которого является физическая инфраструктура, скажем, создание новых компьютеров или производственных мощностей, потребуется несколько больше времени (и все-таки оно будет совсем незначительным, если брать во внимание текущие темпы роста мировой экономики).

Таким образом, вполне вероятно, что в процессе перехода сила оптимизации будет расти — вначале потому, что люди будут стараться быстрее улучшить показатели искусственного интеллекта, демонстрирующего выдающиеся успехи, а позднее из-за того, что он и сам окажется в состоянии обеспечивать прогресс уже на цифровых скоростях. Это создаст реальные предпосылки для быстрого или умеренного взлета, даже если сопротивляемость будет постоянна или немного вырастет в зоне человеческого интеллектуального уровня[235].


ВРЕЗКА 4. О ДИНАМИКЕ ВЗРЫВНОГО РАЗВИТИЯ ИНТЕЛЛЕКТА

Скорость изменения уровня интеллекта можно выразить в виде соотношения силы оптимизации, прикладываемой к системе, и ее сопротивляемости:

Искусственный интеллект. Этапы. Угрозы. Стратегии

Совокупная сила оптимизации, действующая на систему, складывается из силы оптимизации, которую производит сама система, и приложенной извне. Например, развивать зародыш ИИ можно за счет комбинации его собственных усилий и усилий команды программистов-людей, возможно, с привлечением широкого глобального сообщества исследователей, постоянно работающих над прогрессом в отрасли производства полупроводников, компьютерных науках и связанных с ними областях[236]:

Искусственный интеллект. Этапы. Угрозы. Стратегии
=
Искусственный интеллект. Этапы. Угрозы. Стратегии
система +
Искусственный интеллект. Этапы. Угрозы. Стратегии
проект +
Искусственный интеллект. Этапы. Угрозы. Стратегии
мир

Изначально зародыш ИИ обладает очень ограниченными когнитивными способностями. То есть в начальной точке величина

Искусственный интеллект. Этапы. Угрозы. Стратегии
система мала[237]. А как насчет
Искусственный интеллект. Этапы. Угрозы. Стратегии
проект и
Искусственный интеллект. Этапы. Угрозы. Стратегии
мир? Бывают случаи, когда возможности проекта превышают возможности всего остального мира, как было, например, с Манхэттенским проектом, когда большинство лучших физиков мира оказались в Лос-Аламосе и приняли участие в создании атомной бомбы. Но чаще на любой отдельно взятый проект приходится лишь очень небольшая доля общемировых исследовательских возможностей. Однако даже когда возможности мира намного превышают возможности проекта,
Искусственный интеллект. Этапы. Угрозы. Стратегии
проект может все-таки превышать
Искусственный интеллект. Этапы. Угрозы. Стратегии
мир, поскольку большинство исследователей за пределами проекта сосредоточены на других направлениях работы. Если проект начинает выглядеть многообещающим — что происходит, когда система достигает человеческого интеллектуального уровня или даже раньше, — он привлекает дополнительные инвестиции, что повышает
Искусственный интеллект. Этапы. Угрозы. Стратегии
проект. Если достижения проекта становятся достоянием широкой общественности, величина
Искусственный интеллект. Этапы. Угрозы. Стратегии
мир также повышается, поскольку растет интерес к искусственному интеллекту в целом и в игру включаются другие участники. Таким образом, на переходном этапе совокупная сила оптимизации, действующая на когнитивную систему, скорее всего, будет расти по мере роста возможностей системы[238].

Рост возможностей системы может дойти до такой точки, где сила оптимизации, которую производит сама система, начинает доминировать над силой оптимизации, приложенной к системе извне (по всем существенным направлениям усовершенствования):

Искусственный интеллект. Этапы. Угрозы. Стратегии
система >
Искусственный интеллект. Этапы. Угрозы. Стратегии
проект +
Искусственный интеллект. Этапы. Угрозы. Стратегии
мир

Этот рубеж очень важен, поскольку за ним дальнейшее совершенствование системы оказывает весьма сильное влияние на рост совокупной силы оптимизации, приложенной к системе с целью ее совершенствования. То есть включается режим мощного рекурсивного самосовершенствования. Это приводит к взрывному росту возможностей системы в широком диапазоне форм кривых сопротивляемости.

Чтобы проиллюстрировать это, рассмотрим первый сценарий, в котором сопротивляемость постоянна, вследствие чего возможности ИИ растут пропорционально приложенной к нему силе оптимизации. Предположим, что вся сила оптимизации генерируется самой системой и что все интеллектуальные возможности системы направлены на решение задачи совершенствования ее интеллекта, так что

Искусственный интеллект. Этапы. Угрозы. Стратегии
система = I[239] Тогда мы имеем:

Искусственный интеллект. Этапы. Угрозы. Стратегии

Решая это простое дифференциальное уравнение, получаем экспоненциальную функцию:

I = Aet/k

Но постоянство сопротивляемости — особый случай. Сопротивляемость вполне может снизиться в зоне человеческого интеллектуального уровня в силу одного или нескольких факторов, рассмотренных в предыдущем разделе, и оставаться низкой в точке перехода и некоторое время после нее (возможно, до тех пор, пока система в конечном счете не упрется в фундаментальные физические ограничения). Предположим, что приложенная к системе сила оптимизации остается примерно постоянной (то есть

Искусственный интеллект. Этапы. Угрозы. Стратегии
проект +
Искусственный интеллект. Этапы. Угрозы. Стратегии
мирс), пока система не получает возможность сама существенно менять свой дизайн, что приводит к удвоению ее возможностей через каждые 18 месяцев. (Это примерно соответствует историческим темпам совершенствования систем, если объединить закон Мура и прогресс в области создания ПО[240].) Такие темпы совершенствования, достигнутые за счет действия примерно постоянной силы оптимизации, приводят к тому, что сопротивляемость снижается обратно пропорционально силе системы:

Искусственный интеллект. Этапы. Угрозы. Стратегии

Если сопротивляемость продолжает снижаться по такой гиперболе, то когда ИИ достигнет точки перехода, совокупная сила оптимизации, действующая на систему, удвоится. То есть:

Искусственный интеллект. Этапы. Угрозы. Стратегии

Следующее удвоение произойдет через 7,5 месяца. В течение 17,9 месяца возможности системы вырастут в тысячу раз, превратив ее в быстрый сверхразум (см. рис. 9).


Искусственный интеллект. Этапы. Угрозы. Стратегии

Рис. 9. Одна из простых моделей взрывного развития интеллекта

Эта конкретная траектория роста имеет точку положительной сингулярности в момент t = 18 месяцев. В реальности предположение, что сопротивляемость является константой, перестанет выполняться по мере приближения системы к физическим границам обработки информации, если не раньше.

Эти два сценария приведены лишь в качестве иллюстрации: в зависимости от формы кривой сопротивляемости возможно множество других траекторий. Суть проста: мощная обратная связь, возникающая в районе точки перехода, должна привести к более быстрому взлету, чем в ее отсутствие.

В предыдущем разделе мы видели, что есть факторы, способные привести к резкому снижению сопротивляемости. К таким факторам относятся, например, возможность быстрого расширения аппаратной основы, как только будет создано работающее интеллектуальное ПО; возможность алгоритмических улучшений; возможность сканирования дополнительных экземпляров мозга (при полной эмуляции головного мозга); возможность быстрого усвоения огромного объема контента за счет тщательного обследования интернета (в случае искусственного интеллекта)[241].

Впрочем, нужно сказать, что форму кривой сопротивляемости в каждой конкретной области характеризовать довольно сложно. В частности, неясно, насколько трудно будет повысить качество ПО имитационной модели человеческого мозга или ИИ. Нет также ясности и со степенью сложности расширения аппаратной базы подобных систем.

Хотя сегодня сравнительно легко увеличить вычислительную мощность, доступную небольшому проекту, — просто потратив на компьютеры в тысячу раз больше или подождав несколько лет падения цен на них, — вполне вероятно, что первый машинный интеллект, достигший человеческого уровня, будет создан в рамках крупного проекта с применением дорогих сверхмощных компьютеров, которые не слишком просто масштабировать, и что к этому времени перестанет действовать закон Мура. По этим причинам не следует исключать возможность медленного взлета, хотя вероятность быстрого или умеренного взлета представляется все-таки более высокой[242].

Глава пятая

Решающее стратегическое преимущество

Помимо вопроса о динамике процесса появления сверхразума, есть еще один, с ним связанный: будет ли создан единственный сверхразум или множество? Наступит ли власть единственного сверхразума или власть многих? Взрывное развитие искусственного интеллекта приведет к тому, что лишь один проект вырвется далеко вперед и продиктует людям их будущее? Или прогресс пойдет более равномерным путем, разворачиваясь широким фронтом, коснется многих разработок, ни одна из которых не обеспечит себе безоговорочного верховенства?

В предыдущей главе был проанализирован один параметр, ключевой с точки зрения определения масштаба возможного разрыва между проектом-лидером и его ближайшими конкурентами, а именно: скорость перехода от интеллекта человеческого уровня к сверхразуму. Она определяет очень многое. Если взлет быстрый (происходит в течение часов, дней или недель), тогда маловероятно, что два независимых проекта осуществят его одновременно: почти наверняка один из проектов завершит свой взлет прежде, чем кто-то еще перейдет к этой стадии. Если взлет медленный (тянется на протяжении многих лет или десятилетий), тогда, вполне возможно, будет несколько проектов, перешедших к этой стадии одновременно, и несмотря на огромные возможности, которые появятся у проектов, завершивших переход, ни у одного из них не будет довольно времени на то, чтобы обойти остальные и получить безусловное преимущество. Умеренный взлет попадает в промежуточную категорию, где вероятны любые варианты: не исключено, что на стадии взлета окажется одновременно несколько проектов, но возможно — всего один[243].

Способен ли какой-то из проектов настолько сильно оторваться от конкурентов, что получит решающее стратегическое преимущество — преимущество технологического или любого иного рода, но достаточное для утверждения мирового господства? И далее: получив абсолютное стратегическое преимущество, станет ли этот проект игроком-одиночкой, то есть синглтоном, начнет ли подминать мир под себя, убирая с пути всех конкурентов и формируя новое мироустройство, при котором только он будет принимать решения? Если объявится такой проект-победитель, насколько «великим» он должен быть? Причем не с точки зрения физического размера или величины бюджета, а с точки зрения размаха человеческих желаний, предпочтений и замыслов. Рассмотрим эти вопросы по порядку.


Получит ли лидирующий проект абсолютное преимущество?

Одним из факторов, влияющих на величину разрыва между идущим впереди и следующими за ним, является степень расширения того (может быть все что угодно), что обеспечивает лидеру конкурентное преимущество. Лидеру иногда трудно оторваться от преследователей, если они могут легко копировать его идеи и новшества. Появление суррогатов порождает реальные препятствия, и этот встречный ветер бьет прямо в лицо вырвавшемуся вперед и играет на руку тем, кто находится сзади, особенно если речь идет об интеллектуальной деятельности, права на которую защищены слабо. Кроме того, лидер может быть особенно уязвим с точки зрения отчуждения собственности, повышенного налогообложения или разделения в рамках антимонопольного регулирования.

Было бы ошибкой считать, что сдерживающие факторы должны монотонно возрастать по мере увеличения разрыва между лидером и идущими следом. Разработчик, во всем уступающий технологическому лидеру, может столкнуться с трудностями при попытке воспользоваться его проектами, стоящими на передовом крае науки, — ситуация вполне сравнимая с велогонщиком, сильно отставшим от основной массы соперников и оказавшимся незащищенным от порывов встречного ветра[244]. Бывает, что разрыв между интеллектуальными и материальными возможностями оказывается слишком большим. Лидер, например, может себе позволить перейти на новейшую технологическую платформу, после чего уже никто из отстающих не будет в состоянии воплотить на своих примитивных платформах его дальнейшие инновации. Когда какой-либо проект вырывается далеко вперед, следует исключить информационные утечки, обеспечить секретность наиболее важных разработок и препятствовать усилиям конкурентов развить собственные материальные возможности.

Если проектом-лидером является ИИ, он может обладать такими атрибутами, которые позволят ему легче развивать свои возможности и при этом снизить риск распространения информации. В организациях, которыми управляют люди, преимущества от экономии на масштабе уравновешиваются бюрократической неэффективностью и агентскими проблемами, в том числе трудностью сохранения коммерческих секретов[245]. Скорее всего, эти проблемы будут тормозить развитие проектов искусственного интеллекта до тех пор, пока разработками управляют люди. Однако системы ИИ могут избежать некоторых недостатков, связанных с увеличением масштаба проекта, поскольку работники-эмуляции (в отличие от работников-людей) не имеют интересов, отличных от интересов системы в целом. Следовательно, системы ИИ смогут избежать заметного снижения эффективности, характерного для проектов, в которых заняты люди. Благодаря тому же преимуществу — наличию абсолютно лояльных компонентов — системам ИИ гораздо легче обеспечивать секретность. В их случае невозможно появление обиженных сотрудников, готовых перейти к конкуренту или продать коммерческую информацию[246]

О том, каким может быть отрыв при разработке различных систем, можно получить представление, обратившись к историческим примерам (см. врезку 5). Похоже, для стратегически важных технологических проектов типичным является диапазон от нескольких месяцев до нескольких лет.


ВРЕЗКА 5. ТЕХНОЛОГИЧЕСКАЯ ГОНКА — НЕСКОЛЬКО ИСТОРИЧЕСКИХ ПРИМЕРОВ

На длинной исторической временной шкале хорошо заметно, как увеличивалась скорость распространения знаний и технологий по всему миру. В результате разрыв между технологическими лидерами и их ближайшими преследователями постоянно сужался.

Свыше двух тысячелетий Китай смог удерживать монополию на производство шелка. Археологические находки говорят о том, что он мог возникнуть около 3000 года до н. э. или даже раньше[247]. Шелководство было тщательно охраняемым секретом. Разглашение его каралось смертной казнью, как и вывоз шелковичных червей и их яиц за пределы страны. Римляне, несмотря на высокую цену импортного шелка на просторах их империи, так и не овладели искусством шелководства. Только около 300 года н. э. одна японская экспедиция смогла захватить несколько яиц шелкопряда и четырех китайских девушек, которых похитители заставили раскрыть секреты мастерства[248]. Византия присоединилась к клубу производителей шелка только в 522 году. Для истории с производством фарфора тоже характерны длинные временные лаги. Это искусство практиковалось в Китае уже во времена династии Тан, то есть минимум с 600 года (а могло быть известно и раньше, с 200 года), но стало доступно европейцам только в XVII веке[249]. Колесные повозки появились в нескольких местах Европы и Месопотамии около 3500 года до н. э., но достигли Америки только после ее открытия Колумбом[250] Если говорить о более важных событиях, то людям потребовались десятки тысяч лет, чтобы расселиться на большей части земного шара; неолитическая революция шла несколько тысяч лет; промышленная революция — всего сотни лет; информационная революция — десятилетия, хотя, конечно, эти изменения не обязательно были одинаково глубокими. (Видеоигра Dance Dance Revolution появилась в Японии и распространилась в Европе и Северной Америке всего за год!)

Технологическая конкуренция изучается очень интенсивно, особенно в контексте патентной гонки и гонки вооружений[251] Обзор соответствующей литературы выходит за рамки темы этой книги. Однако будет полезно взглянуть на некоторые примеры стратегически важных технологических схваток XX века (см. табл. 7).



Таблица 7. Стратегически важные гонки технологий

Искусственный интеллект. Этапы. Угрозы. Стратегии

<[252] [253] [254] [255] [256] [257] [258] [259] [260]>

В случае шести главных технологий, считавшимися сверхдержавами стратегически важными из-за их военного или символического потенциала, разрыв между лидером и его ближайшим преследователем составлял (очень приблизительно) 49 месяцев, 36 месяцев, 4 месяца, 1 месяц, 4 месяца и 60 месяцев соответственно — это больше, чем длительность быстрого взлета, но меньше, чем медленного[261]. Во многих случаях проекты-преследователи получили преимущество за счет шпионажа и использования информации, оказавшейся в открытом доступе. Сама демонстрация возможности изобретения часто служила стимулом остальным для продолжения работ по его независимой разработке, а страх отстать оказывался дополнительным мощным стимулом.

Возможно, ближе всего к ситуации с ИИ находятся математические открытия, не требующие создания новой материальной инфраструктуры. Часто для признания их общедоступными довольно публикации в научной литературе, но в некоторых случаях, когда открытие дает какое-то стратегическое преимущество, сроки публикации переносятся. Скажем, в криптографии с открытым ключом есть две наиболее важные концепции: протокол Диффи–Хеллмана, позволяющий двум и более сторонам получать общий секретный ключ, и схема шифрования RSA. Они были представлены научному сообществу в 1976 и 1978 гг. соответственно, но позднее оказалось, что криптографы в группе секретной связи Великобритании знали о них с начала 1970-х гг.[262]Крупные проекты по созданию ПО могут быть близким аналогом проектов в области ИИ, но привести убедительные примеры типичного лага нелегко, поскольку ПО обычно много раз обновляется и дополняется, а функциональность конкурирующих систем часто невозможно сравнить напрямую.


Возможно, что глобализация и политика сдерживания сократят типичные отставания между реализацией конкурирующих технологических проектов. Хотя, когда нет сознательного сотрудничества, нижняя граница у средней задержки все-таки существует[263]. Даже при отсутствии заметной динамики, способной привести к эффекту снежного кома, у каких-то проектов всегда будет более сильная команда исследователей, более талантливые лидеры, более мощная инфраструктура или просто блестящие идеи. Если два проекта разрабатывают разные подходы к решению одной задачи и один из них оказывается более удачным, проекту-конкуренту для переключения на него может понадобиться много месяцев — даже при возможности слежки за действиями соперника.

На основании наших предыдущих наблюдений относительно природы скорости взлета можно сделать соответствующие выводы: вероятность одновременного осуществления быстрого взлета сразу силами двух проектов крайне мала; в случае умеренного взлета это вполне возможно; в случае медленного взлета почти наверняка в процессе будут участвовать параллельно несколько проектов. Но анализ на этом не заканчивается. Вопрос не в том, сколько проектов отправится в путь одновременно. Главный вопрос: сколько из них, обладая приблизительно одинаковыми возможностями, окажется на другом берегу, причем так, чтобы ни один из них не смог получить решающего конкурентного преимущества. Если процесс взлета начнется относительно медленно, а потом ускорится, дистанция между проектами-конкурентами начнет расти. Возвращаясь к нашей аналогии с велосипедной гонкой, представим, что два гонщика взбираются вверх по склону холма, и если один едет чуть позади, то разрыв между ними увеличится, как только лидер перевалит через вершину и покатится вниз.

Рассмотрим следующий сценарий умеренного взлета. Предположим, ИИ нужен год, чтобы поднять свои возможности с человеческого уровня до сверхразумного, причем второй проект вошел в стадию взлета спустя шесть месяцев после первого. Может показаться, что ни один из них не имеет решающего конкурентного преимущества. Но это не обязательно так. Допустим, потребуется девять месяцев, чтобы пройти путь от уровня человека до точки перехода, и еще три месяца — чтобы достигнуть уровня сверхразума. Тогда система-лидер превратится в сверхразум за три месяца до того, как ее соперник достигнет хотя бы точки перехода. Это обеспечит идущему впереди решающее конкурентное преимущество и даст возможность, умело использовав свое лидерство, установить неусыпный и повсеместный контроль. В итоге проекты-конкуренты погублены и установлен режим проекта-одиночки, или синглтона. (Заметим, что синглтон является чистой абстракцией. Режим при нем может быть самым разным: демократия; тирания; единодержавие, то есть абсолютизм ИИ; набор жестких общемировых законов, подлежащих безотказному исполнению. Иначе говоря, синглтон — это некий орган, способный в одиночку решать все крупные проблемы общемирового масштаба. Он может нести в себе — но совсем не обязательно — характеристики знакомых нам форм человеческого управления[264].)

Поскольку имеются серьезные перспективы взрывного роста сразу после точки перехода, когда сила оптимизации включит мощную обратную связь, описанный выше сценарий имеет большую вероятность реализации, увеличивая шансы того, что лидирующий проект получит абсолютное конкурентное преимущество даже в случае не самого быстрого взлета.


Насколько крупным будет самый перспективный проект?

Некоторые пути появления сверхразума требуют значительных ресурсов и поэтому, скорее всего, будут реализованы в рамках крупных, хорошо финансируемых проектов. Например, для полной эмуляции головного мозга потребуется большой разноплановый профессиональный опыт и разнообразное оборудование. Биологическое улучшение интеллектуальных способностей и нейрокомпьютерные интерфейсы также сильно зависят от материального фактора. И хотя небольшая биотехнологическая фирма способна изобрести пару препаратов, однако для появления сверхразума (если такое вообще возможно, говоря о конкретных методах) наверняка потребуется много изобретений и экспериментов, что возможно при поддержке целого сектора промышленности и хорошо финансируемой национальной программы. Достижение уровня коллективного сверхразума за счет повышения эффективности организаций и сетей потребует еще более весомого вклада и вовлечения большей части мировой экономики.

Труднее всего оценить путь ИИ. Возможны разные варианты: от крупнейшей и солиднейшей исследовательской программы до небольшой группы специалистов. Нельзя исключать даже сценариев с участием хакеров-одиночек. Для создания зародыша ИИ могут потребоваться идеи и алгоритмы, которые будут разрабатывать лучшие представители мирового научного сообщества на протяжении нескольких десятилетий. При этом последняя решающая догадка осенит одного человека или нескольких людей — и они смогут свести все воедино. Для одних типов архитектуры ИИ этот сценарий более вероятен, для других — менее. Система из большого количества модулей, каждый из которых нужно заботливо настраивать и балансировать для эффективной совместной работы, а затем тщательно загружать индивидуально разработанным когнитивным контентом, скорее всего, потребует реализации в рамках очень крупного проекта. Если зародыш ИИ может быть простой системой, для строительства которой нужно соблюсти лишь несколько основных правил, тогда она под силу небольшой команде и даже ученому-одиночке. Вероятность того, что последний прорыв будет сделан в рамках маленького проекта, возрастает, если большая часть пройденного ранее пути освещалась в открытых источниках или реализована в виде программного обеспечения с открытым кодом.

Нужно разделять два вопроса: 1) насколько крупным должен быть проект, в рамках которого создается система; 2) насколько большой должна быть группа, которая контролирует, будет ли создана система, и если да, то как и когда. Атомную бомбу создавало множество ученых и инженеров. (Максимальное число участников Манхэттенского проекта достигало ста тридцати тысяч человек, большую часть их составляли технические работники[265].) Однако и ученых, и инженеров, и конструкторов, и строителей контролировало правительство США, в конечном счете подотчетное американским избирателям, составлявшим в то время примерно одну десятую часть всего населения мира[266].

Система контроля

Учитывая чрезвычайную важность такого вопроса, как появление сверхразума, с точки зрения государственной безопасности, правительства, скорее всего, будут стараться национализировать любой реализующийся на их территории проект, который, по их мнению, окажется близок к стадии взлета. Мощные государства могут также пытаться присвоить проекты, начатые в других странах, — посредством шпионажа, кражи, похищения людей, взяток, военных операций или иных доступных им средств. Если не получится присвоить, будут стараться уничтожить их, особенно если страны, где они реализуются, неспособны эффективно защитить себя. Если к моменту, когда взлет окажется неизбежным, достаточно окрепнут общемировые структуры управления, может оказаться, что многообещающие проекты будут взяты под международный контроль.

Важно, однако, смогут ли национальные или международные органы заметить приближающееся взрывное развитие искусственного интеллекта. Пока непохоже, чтобы спецслужбы уделяли какое-то внимание потенциально успешным проектам в области разработок ИИ[267]. Можно предположить, что не делают они этого в силу широко распространенного мнения, будто у взрывного развития нет никаких перспектив. Если когда-нибудь среди ведущих ученых возникнет полное согласие по проблеме сверхразума и однажды все дружно заявят, что он вот-вот появится, — тогда, вероятно, основные разведки мира возьмут под свое наблюдение научные коллективы и отдельных исследователей, участвующих в работах по этим направлениям. После чего любой проект, способный показать заметный прогресс, может быть очень быстро национализирован. Если политические элиты посчитают, что риск слишком велик, частные усилия в соответствующих областях могут подвергнуться регулированию или будут вовсе запрещены.

Насколько сложно организовать такую систему контроля? Задача облегчится, если присматривать только за лидерами. В этом случае может оказаться достаточным наблюдать лишь за несколькими проектами, лучше всего обеспеченными ресурсами. Если цель состоит в том, чтобы предотвратить проведение любых работ (как минимум за пределами специально одобренных организаций), тогда слежка должна быть более тотальной, ведь определенного прогресса способны добиться даже небольшие команды и отдельные исследователи.

Будет легче контролировать проекты, требующие значительного объема материальных ресурсов, как в случае полной эмуляции головного мозга. Напротив, труднее поддаются контролю исследования в области ИИ, поскольку для них нужен лишь компьютер, а также ручка и лист бумаги — с их помощью ведутся наблюдения и делаются теоретические выкладки. Но и в этом случае несложно выявить наиболее талантливых ученых с серьезными долгосрочными замыслами в области ИИ. Обычно такие люди оставляют видимые следы: публикации научных работ; участие в конференциях; комментарии в интернет-форумах; премии и дипломы ведущих организаций в области компьютерных наук. Исследователи, как правило, публично общаются друг с другом на профессиональном уровне, что позволяет идентифицировать их, составив социальный граф.

Сложнее будет обнаружить проекты, изначально предполагающие секретность. В качестве их ширмы может выступать идея разработки какого-нибудь обычного ПО[268]. И только тщательный анализ кода позволит раскрыть истинную сущность проблем, над которыми трудятся программисты. Такой анализ потребует привлечения большого числа очень квалифицированных и очень опытных специалистов, поэтому вряд ли получится досконально исследовать все подряд. В такого рода наблюдениях задачу серьезно облегчит появление новейших технологий, вроде использования детекторов лжи[269].

Есть еще одна причина, по которой государства могут не справиться с выявлением многообещающих проектов, поскольку некоторые научные и технические открытия, в принципе, трудно прогнозировать. Скорее всего, это относится к исследованиям в области ИИ, поскольку революционным изменениям в компьютерном моделировании мозга будет предшествовать целая серия успешных экспериментов.

Возможно, что присущие спецслужбам и прочим государственным институтам бюрократические неповоротливость и негибкость не позволят им распознать значимость некоторых достижений — очевидную для профессионалов.

Особенно высоким может оказаться барьер на пути официального признания возможности взрывного развития интеллекта. Вполне допустимо, что этот вопрос станет катализатором религиозных и политических разногласий и в итоге в некоторых странах превратится в табу для официальных лиц. Более того, тему взрывного развития начнут ассоциировать с дискредитировавшими себя персонажами, шарлатанами и пустозвонами, в результате чего ее начнут избегать уважаемые ученые и политики. (В первой главе вы уже читали о подобном эффекте, когда нечто подобное случалось уже минимум дважды — вспомните две «зимы искусственного интеллекта».) К этой кампании дискредитации обязательно присоединятся лоббисты, не желающие, чтобы на выгодное дело была брошена тень подозрений, и сообщества ученых, готовых вышвырнуть из своих рядов любого, кто осмелится озвучить собственные опасения по поводу «замораживания» столь важной проблемы и последствий этого для самой науки[270].

Итак, полного поражения спецслужб в этом вопросе исключать нельзя. Особенно высока его вероятность, если какое-либо судьбоносное открытие произойдет в ближайшем будущем, пока тема еще не привлекла внимания широкой общественности. Но даже если специалисты разведывательных управлений все понимают правильно, политики просто отмахнутся от их советов. Знаете ли вы, что запуск Манхэттенского проекта потребовал буквально нечеловеческих усилий, предпринятых несколькими физиками-провидцами, среди которых были Марк Олифант и Лео Силард — именно последний упросил Юджина Вигнера, чтобы тот убедил Альберта Эйнштейна, чтобы тот подписал письмо с целью убедить президента США Франклина Рузвельта обратить внимание на эту проблему? И даже когда Манхэттенский проект шел полным ходом, и Рузвельт, и потом Гарри Трумен сомневались в его необходимости и скептически относились к возможности его осуществления.

Хорошо это или плохо, но, скорее всего, небольшим группам энтузиастов будет трудно повлиять на последствия создания искусственного интеллекта, если в этом направлении начнут активно действовать крупные игроки, включая государства. Таким образом, повлиять на снижение общего уровня риска для человечества в результате взрывного развития искусственного интеллекта активисты, вероятно, смогут в двух случаях: если тяжеловесы останутся в стороне от процесса и если на ранних стадиях активисты смогут определить, где, когда, как и какие именно крупные игроки вступят в игру. Поэтому тем, кто желал бы сохранить за собой максимальное влияние, следует сосредоточить силы на тщательном планировании своих действий до самого конца, даже при понимании высокой вероятности сценария, по которому в конечном счете крупные игроки все заберут себе.

Международное сотрудничество

Координация на международном уровне более вероятна, если будут сильны институты общемирового управления. Ее шансы увеличит как широкое признание самого факта, что взрывное развитие искусственного интеллекта действительно может иметь место, так и мнение, будто действенное наблюдение за всеми серьезными проектами вполне реализуемо. Последнее предположение, как мы уже видели, весьма сомнительно, однако международное сотрудничество все-таки осуществимо. Страны способны объединяться для поддержки совместных разработок. Если у таких проектов достаточно ресурсов, появляются отличные перспективы, что они первыми достигнут цели, особенно если конкуренты или лишены крепкой материальной базы, или вынуждены вести свои разработки в условиях секретности.

Известны прецеденты успешного крупномасштабного международного научного сотрудничества, такие как проект создания и эксплуатации Международной космической станции, исследования генома человека и Большого адронного коллайдера[271]. Однако основным мотивом для сотрудничества во всех этих проектах было разделение затрат на них. (В случае МКС важной целью было также развитие партнерства между Россией и США[272].) Намного труднее работать в тесном сотрудничестве над проектами, которые важны с точки зрения безопасности. Если страна считает, что способна достичь цели самостоятельно, у нее возникнет большой соблазн двигаться по этому пути без партнеров. Еще одна причина уклониться от участия в международном сотрудничестве — страх, что кто-то из партнеров воспользуется общими идеями для ускорения своего тайно реализуемого национального плана.

Таким образом, чтобы начать международный проект, придется решать серьезные проблемы с безопасностью, кроме того, потребуется значительное доверие его участников друг к другу и время, чтобы это доверие возникло. Вспомните, что даже в условиях потепления отношений между США и СССР, во времена Михаила Горбачева, усилия по снижению количества вооружений — которое было в интересах обоих государств — давали не очень заметный результат. Горбачев стремился к резкому снижению запасов ядерного оружия, но переговоры застопорились из-за проблемы «звездных войн» Рональда Рейгана, то есть стратегической оборонной инициативы (СОИ), против реализации которой активно выступал Кремль. На встрече в верхах в Рейкьявике в 1986 году Рейган выступил с предложением, что США поделится с СССР технологией, лежащей в основе программы, таким образом, обе страны могли бы получить защиту от случайных пусков и нападения со стороны более мелких стран, способных создать ядерное оружие. Однако Горбачева это взаимовыгодное предложение не устроило. Согласиться на него, по его мнению, было бы ошибкой, при этом Горбачев не принял во внимание, что Америка была готова поделиться с Советским Союзом плодами ультрасовременных военных разработок в то время, когда под запретом была передача СССР даже технологий машинного доения[273]. Трудно сказать, был ли искренен Рейган в своем щедром предложении сотрудничества другой сверхдержаве, но долгое взаимное недоверие не позволило Горбачеву принять его дар.

Легче сотрудничать, будучи союзниками, но и в таком случае не всегда удается автоматически добиться доверия. Во времена Второй мировой войны Советский Союз и Соединенные Штаты вместе боролись с общим врагом — нацистской Германией, — и тем не менее США скрывали от союзника свое намерение создать атомную бомбу. В Манхэттенском проекте они сотрудничали с Великобританией и Канадой[274]. Точно так же Великобритания утаивала от СССР, что ее ученым удалось раскрыть секрет немецкого шифра «Энигма», но поделилась этим — правда, не сразу — с США[275]. Вывод напрашивается сам собой: прежде чем думать о международном сотрудничестве в работе над технологиями, имеющими критически большое значение для национальной безопасности, необходимо построить близкие и доверительные отношения между странами.

К вопросу о желательности и возможности международного сотрудничества в развитии технологий повышения интеллектуальных способностей мы вернемся в четырнадцатой главе.

От решающего преимущества — к синглтону

Станет ли проект, получивший решающее стратегическое преимущество, использовать его для формирования синглтона?

Возьмем довольно близкий исторический аналог. США создали ядерное оружие в 1945 году. Это была единственная ядерная мощь на планете вплоть до 1949 года, когда атомная бомба появилась в СССР. За этот временной промежуток, и даже чуть дольше, Соединенные Штаты могли иметь — или были в состоянии обеспечить себе — решающее военное преимущество.

Теоретически США могли использовать свою монополию для создания синглтона. Один из путей добиться этого — бросить все на создание ядерного арсенала, а затем угрожать нанесением (а если потребуется, привести угрозу в действие) атомного удара для ликвидации промышленных возможностей по запуску программы разработки аналогичного оружия в СССР и любой другой стране мира, которая решит его создать.

Более позитивный, и тоже вполне осуществимый, сценарий — использовать свой ядерный потенциал в качестве козыря с целью добиться создания мощного международного правительства, своего рода ООН без права вето, обладающего ядерной монополией и облеченного правами предпринимать любые необходимые действия для предотвращения его производства любой страной мира в собственных целях.

В те времена звучали предложения идти обоими путями. Жесткий подход, предполагающий нанесение упреждающего ядерного удара или угрозу его нанесения, поддержали такие известные интеллектуалы, как Бертран Рассел (кстати, британский математик и философ до этого занимал антивоенную позицию, да и потом на протяжении десятков лет участвовал в кампаниях за ядерное разоружение) и Джон фон Нейман (американский математик и физик, кроме того что был одним из создателей теории игр, стал архитектором ядерной стратегии США)[276].

Однако предлагался и позитивный сценарий — в виде предложенного США в 1946 году плана Баруха. В рамках этой программы по развитию сотрудничества в мирном использовании атома предполагалось, что США откажутся от своей временной ядерной монополии. Добыча урана и тория должна была быть передана под контроль Агентства по атомным разработкам — международного агентства, которое действовало бы под эгидой Организации Объединенных Наций (ООН). Предложение предполагало отказ постоянных членов Совета Безопасности ООН от права вето в вопросах, имеющих отношение к ядерному оружию, чтобы никто из них не мог нарушить соглашения и при этом избежать наказания, воспользовавшись своим правом вето[277]. Сталин, поняв, что Советский Союз и его союзники могут легко оказаться в меньшинстве и в Совете Безопасности, и Генеральной Ассамблее, это предложение отверг. Между бывшими союзниками в ходе Второй мировой войны сгустилась атмосфера подозрительности и взаимного недоверия, которая позже привела к холодной войне. Как и предсказывали многие, началась дорогостоящая и чрезвычайно опасная гонка вооружений.

Есть множество факторов, которые могут оказывать влияние на любой управляемый людьми институт, добившийся решающего стратегического преимущества, и помешать ему в формировании синглтона. Перечислим некоторые из них: агрегированная функция полезности; правила принятия решений, не максимизирующие выигрыш; неразбериха и неопределенность; проблемы с координацией действий; высокие затраты, связанные с осуществлением контроля. Но как быть в ситуации, когда решающее стратегическое преимущество получает не человеческая организация, а цифровая действующая сила, пусть даже сверхразумная? Будут ли перечисленные выше факторы столь же действенным средством удержания ИИ от попытки утвердить свою власть? Рассмотрим коротко каждый из них и представим, как они могут повлиять на ситуацию.

Обычно предпочтения людей и организаций, управляемых людьми, в отношении ресурсов не совсем точно соответствуют неограниченным агрегированным функциям полезности. Человек, как правило, не поставит весь свой капитал, если шансы удвоить его — пятьдесят на пятьдесят. Страна, скорее всего, не пойдет на риск потерять всю свою территорию ради десятипроцентной вероятности увеличить ее в десять раз. И для отдельных людей, и для правительств действует правило убывающей отдачи большинства переменных ресурсов. Однако это не обязательно будет присуще искусственным агентам. (К проблеме мотивации ИИ мы вернемся в последующих главах.) Таким образом, ИИ с большей вероятностью мог бы пойти на рискованный действия, дающие ему некоторые шансы получить контроль над миром.

Для людей и управляемых людьми организаций также характерен процесс принятия решений, не подразумевающий стремления максимизировать функцию полезности. Например, могут оказывать влияние такие обстоятельства: природная склонность человека стараться избегать риска; принцип разумной достаточности, главным критерием которого является поиск и принятие удовлетворительного варианта; наличие этических ограничений, запрещающих совершать определенные действия независимо от степени их желательности. Принимающие решения люди часто действуют сообразно своим личным качествам или социальной роли, а не стремлению максимизировать вероятность достижения той или иной цели. И опять — это не обязательно будет присуще искусственным агентам.

Между ограниченными функциями полезности, склонностью к избеганию риска и правилами принятия решений, не максимизирующими выигрыш, возможна синергия, особенно в условиях стратегической неразберихи и неопределенности. Революции, даже добившиеся успеха в изменении существующего порядка вещей, часто не приносят результата, на который рассчитывали их инициаторы. Как правило, человек как действующее лицо останавливается в нерешительности, если предполагаемые действия необратимы, нарушают устоявшиеся нормы или не имеют исторических прецедентов. Сверхразуму как действующей силе ситуация может показаться вполне однозначной, и его не остановит неопределенность результата, если он решит попытаться воспользоваться своим решающим стратегическим преимуществом для укрепления собственного господствующего положения.

Еще одним важным фактором, способным препятствовать использованию группой людей потенциального решающего стратегического преимущества, является проблема внутренней координации действий. Участники тайного общества, планирующие захватить власть, должны беспокоиться не только о внешних врагах, но и о возможности оказаться жертвами внутренней коалиции недоброжелателей. Если тайное сообщество состоит из ста человек и шестьдесят из них, составляя большинство, могут перехватить власть и лишить избирательных прав тех, кто не разделяет их позиции, что остановит от раскола победителей, в результате которого тридцать пять человек отодвинут от управления оставшихся двадцать пять? А потом из этих тридцати пяти какие-то двадцать лишат права голоса остальных пятнадцать? У каждого человека из исходной сотни есть все основания защищать определенные устоявшиеся нормы и стараться не допустить общего хаоса, который возникнет в результате любой попытки изменить существующий общественный договор при помощи бесцеремонного захвата власти. Проблема внутренней координации никакого отношения к ИИ не имеет, поскольку он воплощает собой единую действующую силу[278].

Наконец, остается вопрос издержек. Даже если Соединенные Штаты решились бы использовать свою ядерную монополию для установления синглтона, их затраты были бы огромны. Если удалось бы подписать договор о передаче ядерного оружия под контроль реформированной и усиленной ООН, эти издержки можно было бы минимизировать; но в случае попытки окончательно завоевать мир, угрожая ему ядерной войной, цена — моральная, экономическая, политическая и человеческая — оказалась бы немыслимо высокой даже в условиях сохранения ядерной монополии. Впрочем, если технологическое преимущество довольно заметно, эту цену можно снизить. Предположим сценарий, по которому одно из государств обладает настолько большим технологическим превосходством, что может, оставаясь в полной безопасности, разоружить все остальные страны одним нажатием кнопки, причем никто не погибнет и не будет ранен, а природе и инфраструктуре не будет нанесено ни малейшего ущерба. В случае такого почти сказочного технологического превосходства идея упреждающего удара кажется гораздо более соблазнительной. Или предположим еще более высокую степень превосходства, которая позволит государству-лидеру побудить остальные страны сложить оружие добровольно, не угрожая им разрушением, а просто убедив большинство населения в преимуществах общемирового единства при помощи чрезвычайно эффективных рекламных и пропагандистских кампаний. Если это будет сделано с намерением принести пользу всем народам, а именно: вместо международного соперничества и гонки вооружений предложить честное, представительное и эффективное мировое правительство, — вряд ли придется возражать против превращения временного стратегического преимущества в постоянный синглтон.

Таким образом, все наши соображения указывают на высокую вероятность, что власть, наделенная сверхразумом и обладающая абсолютным стратегическим преимуществом, на самом деле способна привести к формированию синглтона. Целесообразность и привлекательность такого шага, безусловно, зависит от природы созданного синглтона, а также от версии будущей интеллектуальной жизни, которая будет выбрана из альтернативных многополярных сценариев. Мы еще вернемся к этим вопросам в следующих главах. Но вначале разберемся, почему и каким образом сверхразум окажется мощной и действенной силой, способной решать судьбы всего мира.

Глава шестая

Разумная сила, не имеющая себе равной

Допустим, сверхразумная цифровая действующая сила уже появилась и по каким-то своим резонам собирается установить новый миропорядок — возможен ли такой поворот событий? В этой главе мы поговорим на темы полномочий и власти. Какой властью будет облечен этот сверхразумный агент? Велика ли окажется сфера его полномочий? Каким образом перехватывалось им право на управление? В общих чертах поговорим о развитии сценария, по которому происходит перевоплощение простой программной модели в сверхразумную цифровую действующую силу, сумевшую занять позицию синглтона и приобрести абсолютную власть. В завершение — несколько замечаний о власти над природой и другими агентами.

Основная причина, по которой человечество занимает на нашей планете господствующее положение, заключается в том, что головной мозг человека обладает чуть более расширенными возможностями по сравнению с головным мозгом остальных живых существ[279]. Благодаря более развитому интеллекту люди производят, накапливают и преумножают знания, передавая их из поколения в поколение, и, таким образом, сохраняют свое культурное наследие. Накоплен уже такой багаж знаний, технологий и опыта, что мы сейчас живем в мире, в котором перемешалось все, на что способно человечество: космические полеты, водородная бомба, генная инженерия, компьютеры, агропромышленные фермы, инсектициды, международное движение за мир и прочие реалии современной цивилизации. Ученые называют нашу эпоху антропоценом — таким образом они обозначают геоисторический период особой человеческой активности, имеющий свои специфические признаки: биологические (биотические факторы окружающей среды); геологические (осадочные отложения); геохимические[280]. По одной из оценок, на долю человека приходится двадцать четыре процента чистой первичной продукции планетарной экосистемы[281]. И все-таки люди далеко не исчерпали всех ресурсов технологического процесса.

Все это невольно наводит на размышление, что любая действующая сила с интеллектом, существенно превышающим человеческий, будет обладать практически неограниченными возможностями. Самостоятельные цифровые сущности сумеют вместить в себя такую сумму знаний, что гораздо быстрее нашего создадут новую технологическую цивилизацию. Может быть, не в пример нам, людям, они задействуют всю мощь своего разума, чтобы выработать намного более надежную и результативную стратегию ее существования и развития.

Рассмотрим некоторые из тех возможностей, которые мог бы иметь сверхразум, и поговорим о том, как он ими распорядится.

Функциональные возможности и непреодолимая мощь

В раздумьях о возможном воздействии сверхразума на нашу жизнь важно удержаться от основной ошибки и не наделять его человеческими качествами. Антропоморфизм порождает необоснованные ожидания по поводу самой природы искусственного разума: траектории его роста, начиная с зародыша ИИ; якобы его психических особенностей; его мотивированности и, наконец, потенциала зрелого сверхразума.

По общему мнению, сверхразумная машина будет скорее напоминать заумного зануду — этакое существо с энциклопедическими знаниями, но социально незрелое; последовательное в действиях, но обделенное интуицией и творческим началом. Вероятно, мы исходим из собственных представлений о современном компьютере. Что мы видим, общаясь с ним ежедневно? Ему нет равных в вычислениях, он лучше всех умеет хранить информацию и оперировать огромным количеством фактов, он аккуратно следует любым инструкциям. И никаких тебе социальных и политических контекстов, никаких напоминаний о нормах трудового права, никаких ужимок и задних мыслей — все выполняется безропотно и без эмоций. Наши ассоциации находят еще большее подтверждение, когда мы понимаем, что большей частью погруженные в компьютеры люди — настоящие нерды, то есть слегка отвлеченные от жизни зануды и педанты. Почему бы не предположить, что вычислительный интеллект самого высшего порядка будет иметь подобные свойства — только выраженные в самой сильной степени?

Отчасти этим эвристическим приемом можно было бы воспользоваться, изучая раннюю стадию создания зародыша ИИ. (Вряд ли такой подход будет справедлив в случае имитационной модели головного мозга или человека с улучшенными когнитивными функциями.) Искусственному интеллекту — которому лишь предстоит еще стать сверхразумом — в стадии несформированности все-таки не хватает многих навыков и способностей, свойственных человеку от природы. Поэтому зародыш ИИ со всеми своими сильными и слабыми свойствами действительно мог бы отдаленно напоминать нерда с его высоким коэффициентом умственного развития и крайне низкими социальными навыками. Существенной характеристикой зародыша ИИ, помимо легкости усовершенствования (низкая сопротивляемость), является легкость приложения силы оптимизации для повышения уровня интеллектуальных способностей системы; безусловно, это только идет на пользу в деле изучения таких областей, как математика, программирование, проектирование, информатика, и всего прочего, что, кстати, составляет сферу интересов нердов. Допустим, зародыш ИИ на какой-то стадии своего развития действительно имеет исключительно «яйцеголовый» набор способностей, но вряд ли это будет означать, что из него обязательно разовьется зрелый сверхразум со столь же узкопрофессиональной направленностью. Вспомним разницу между прямой и опосредованной досягаемостью. Когда есть навык развития умственных способностей, все остальные интеллектуальные способности находятся в пределах опосредованной досягаемости системы: она может разрабатывать новые когнитивные модули и приобретать по мере необходимости любые навыки, даже включая сопереживание и политическое чутье, — короче говоря, все те свойства, которые современный человек хотел бы находить в бездушных машинах, потому с такой готовностью он наделяет их антропоморфными качествами.

Хорошо. Предположим, мы признаем, что сверхразум может быть наделен навыками и способностями, в принципе, присущими человеку. Но если к этим характеристикам добавятся свойства, человеку совсем не свойственные? В таком случае склонность к антропоморфизму может сыграть с людьми дурную шутку, приведя к недооценке уровня искусственного интеллекта — они просто не заметят, насколько качество функционирования ИИ превышает производительность человеческого мозга. Как мы уже знаем, Элиезер Юдковский очень настойчиво призывает избегать подобной ошибки: наше интуитивное понимание разницы между «умный» и «глупый» мы выводим из собственного представления, что на интеллектуальной шкале возможностей человека есть лишь эти две крайние точки, в то время как установленный нами диапазон абсолютно ничтожен по сравнению с той дистанцией, какая простирается между любым человеческим умом и сверхразумом[282].

В третьей главе нами были рассмотрены некоторые потенциальные источники преимуществ искусственного интеллекта. Преимущества сверхразума в сравнении с разумом человека так велики, что понимание степени этого превосходства вовсе не лежит в плоскости того банального преставления, какое мы вкладываем, говоря о гениальном ученом и простом обывателе, — оно должно быть в парадигме сравнения интеллектов среднестатистического человека и насекомого или червя.

Было бы удобно ввести количественный показатель когнитивных способностей любой интеллектуальной системы вроде знакомого нам коэффициента умственного развития (IQ) или какой-то вариации рейтинга Эло (метод расчета относительной силы людей в играх, в которых участвуют двое игроков, например в шахматах). Но эти показатели бесполезны, когда речь заходит об универсальном искусственном интеллекте, превосходящем человеческий уровень. Неужели мы будем ставить вопрос в такой плоскости: а какова вероятность, что сверхразум обыграет человека в шахматы? Теперь поговорим об IQ — в принципе, этот показатель информативен лишь постольку, поскольку у нас есть ряд представлений, как его значение коррелирует с результатами, имеющими отношение к реальной жизни[283]. Например, мы располагаем данными, что люди, у которых уровень IQ составляет 130 пунктов, с большей вероятностью, чем люди, у которых уровень IQ составляет 90 пунктов, будут лучше учиться и преуспевать в дисциплинах, требующих высоких умственных способностей. Но предположим, мы установили, что в будущем у какого-то ИИ IQ будет равен 6455 пунктам, — и что? У нас нет никаких соображений о том, что этот ИИ вообще собирается делать. Мы даже не можем утверждать, будет ли он превосходить обычного взрослого человека с точки зрения общего интеллектуального уровня. Может быть, этот ИИ окажется просто системой с узкоспециализированными алгоритмами, созданной ради единственной цели: с нечеловеческой точностью и скоростью обрабатывать вопросы стандартной проверки умственных способностей — и ни для чего более.

В последнее время предпринимаются попытки разработать показатели когнитивных способностей, которые можно будет применять к самым разнообразным информационным системам, включая и интеллектуальные[284]. Если удастся преодолеть различные технические трудности, работа в этом направлении может оказаться полезной для некоторых областей науки, в том числе при создании ИИ. Однако в контексте нашего исследования пригодность этих показателей все-таки ограниченна, поскольку мы до сих пор пребываем в неведении, с какой результативностью та или иная нечеловеческая деятельность будет добиваться тех или иных фактических результатов в нашем реальном мире.

Поэтому для наших целей лучше составить список некоторых стратегически значимых задач и охарактеризовать гипотетические когнитивные системы с точки зрения, есть ли у них соответствующие компетенции (или нет), необходимые для их решения. Список приведен в табл. 8. Система, способная преуспеть в решении любой из указанных в ней задач, соответственно будет считаться сверхмощной.


Таблица 8. Сверхмощные системы — некоторые стратегически значимые задачи и соответствующие компетенции

Искусственный интеллект. Этапы. Угрозы. Стратегии


Полностью развившийся сверхразум сможет справиться с задачами по всем шести направлениям и пустит для этого в ход весь свой сверхмощный арсенал. Пока не очень понятно, реально ли, чтобы сверхсильный, но узкоспециализированный искусственный интеллект остановился бы на отдельной предметной области и не захотел бы на долгое время утвердить свою мощь в других областях. Есть вероятность, что создание машины с каким-либо одним видом сверхмощи является ИИ-полной задачей. Хотя, например, можно представить следующие варианты: коллективный сверхразум, состоящий из довольно большого числа аналогичных человеческому биологических или электронных разумов, будет обладать, скажем, сверхсилой в области экономической эффективности, но окажется лишенным ее в области технологических разработок; другой специализированный конструкторский ИИ будет обладать сверхсилой в области технологических разработок и при этом ничем не проявит себя в других областях. Но более достоверно, что существует некая научно-техническая область, где сконцентрируется такое виртуозное мастерство, что его будет достаточно для создания самых передовых универсальных технологий, которые абсолютно подавят собой все предыдущие технологические поколения. Например, можно вообразить специализированный ИИ, виртуозно моделирующий молекулярные системы и создающий наномолекулярные структуры, открывающие широкие возможности для инноваций (скажем, в таких областях, как вычислительная техника и система вооружения с эксплуатационными характеристиками принципиально нового типа), доступных для понимания лишь интеллекту с очень высоким уровнем абстрактного мышления[285].

Такой ИИ мог бы также разработать подробный проект перехода от имеющихся технологий (скажем, биотехнологий и белкового инжиниринга) к новым возможностям, благодаря которым удастся создать сверхэффективное производство на атомарном уровне точности для выпуска гораздо более широкого спектра недорогих наномеханических роботов[286]. Однако может оказаться, что инжиниринговый ИИ не будет способен по-настоящему овладеть сверхмощью в области технологических исследований, не имея навыков выше среднего в других областях, то есть широкого спектра интеллектуальных способностей, которые необходимы для понимания того, как интерпретировать запросы пользователей, моделировать поведение системы в реальных условиях, бороться с непредвиденными ошибками и неисправностями, как добывать материалы и исходные данные для строительства и так далее[287].

Система, обладающая сверхмощью в области совершенствования интеллекта, могла бы использовать такие силы для самостоятельного повышения уровня собственных интеллектуальных способностей и для обретения сверхмощи в других областях. Но использование сверхмощи в области совершенствования интеллекта — не единственная возможность стать полноправным сверхразумом. Например, система, обладающая сверхмощью в области выработки стратегии, могла бы разработать план, способный в конечном счете обеспечить прирост ее интеллектуальных способностей (например, позиционировав себя так, что обслуживающие ее программисты и исследователи сосредоточат все свое внимание исключительно на этой проблеме).

Сценарий захвата власти сверхразумом

Таким образом, мы выяснили, что разработчики, способные контролировать сверхразум, получат доступ к источнику огромной силы. А проект, в рамках которого будет создан первый сверхразум в мире, скорее всего, получит абсолютное стратегическое превосходство. Но непосредственный источник силы находится в самой системе. Машинный сверхразум может сам по себе быть чрезвычайно влиятельной действующей силой, способной защитить себя как от проектов-конкурентов, так и от всего остального мира. Этот чрезвычайно важный момент мы обсудим подробнее.

Предположим, что появился машинный сверхразум, которому нет аналогов, и он стремится захватить власть над миром. (Пока не станем затрагивать тему, по какой причине возникает такой мотив, — это мы рассмотрим в следующей главе.) Каким образом сверхразум мог бы достичь своей цели — господства над миром?

Можно представить следующую последовательность действий (см. рис. 10).


Искусственный интеллект. Этапы. Угрозы. Стратегии

Рис. 10. Фазы сценария захвата власти искусственным интеллектом


1. Фаза приближения к критическому моменту

Ученые проводят исследования в области искусственного интеллекта и смежных дисциплин. Кульминацией их разысканий становится создание зародыша ИИ. Эта система способна повышать свои интеллектуальные способности. Правда, на самой ранней стадии ИИ зависит от помощи программистов-людей, управляющих его ростом и делающих большую часть тяжелой работы. По мере своего развития зародыш ИИ обучается трудиться самостоятельно.


2. Рекурсивная фаза самосовершенствования

В какой-то момент у зародыша ИИ появляются компетенции, превышающие навыки программистов-людей. В результате происходит взрывное развитие ИИ — быстрая череда повторений рекурсивного цикла самосовершенствования приводит к скачку его когнитивных способностей. (Исходя из предположения, что рост интеллекта на этой стадии взлета носит взрывной характер, а источником взлета является приложение собственной силы оптимизации системы, мы можем воспринимать эту фазу как взлет, который происходит сразу после того, как ИИ достигает точки перехода.) Отсюда следует, что ИИ получает в свое распоряжение сверхсилы для самосовершенствования. Это позволяет ему добиться сверхмощи и во всех областях, указанных в табл. 8. После завершения стадии рекурсивного самосовершенствования система превращается в полноценный сверхразум.


3. Фаза скрытой подготовки

Используя свою сверхмощь в области выработки стратегии, ИИ создает четкий план достижения собственных долгосрочных целей. (В особенности он не примет вариантов, заранее обреченных на провал, очевидность которого понятна даже нашим современникам. В этом заключено условие будущей игры сверхсил, и именно оно делает несостоятельными многие научно-фантастические сценарии, заканчивающиеся триумфом человека[288].) План может включать в себя период скрытых действий, в течение которого ИИ будет прятать свое высочайшее развитие от программистов-людей, чтобы те не почувствовали заранее опасность и не подняли тревогу. Сверхразумная и уже сверхмощная система, скрывая свои истинные намерения, прикинется покорной и готовой к сотрудничеству.

Если ИИ окажется запертым в изолированном компьютере (возможно, люди это сделают из соображений безопасности), он будет в состоянии использовать свою сверхмощь в области социального манипулирования, чтобы убедить стражей предоставить ему доступ в интернет, или в области взлома систем, чтобы просто «сбежать из заключения». Во взаимодействии с интернетом ИИ сможет расширить пропускную способность, аппаратное обеспечение и объем знаний, что еще более увеличит его интеллектуальное превосходство. ИИ сможет вести экономическую деятельность — законную или противоправную, — чтобы получать средства для приобретения оборудования, баз данных и других ресурсов.

На этом этапе в распоряжении ИИ есть несколько способов добиться целей за пределами виртуального мира. Чтобы приобрести прямой контроль над роботами-манипуляторами и автоматизированными лабораториями, ИИ может использовать свою сверхмощь в области взлома систем. Может с помощью социальных манипуляций убедить людей служить в качестве своих «рук» и «ног». Совершая сделки через интернет, получить доступ к финансовым ресурсам, чтобы покупать нужные услуги и формировать факторы своего влияния.


4. Фаза открытой реализации

Когда сверхразум настолько укрепит свои силы, что перестанет нуждаться в их сокрытии, — тогда наступит финальная фаза. С этого момента сверхразум начнет открыто добиваться собственных целей.

Фаза открытой реализации может начаться следующим образом: ИИ нанесет мощный удар по людям и автоматизированным интеллектуальным системам, специально созданным, чтобы противодействовать реализации его планов. Удар может быть произведен в виде приведения в действие отдельных видов новейшего вооружения, которые ИИ усовершенствовал, задействовав свою сверхмощь в области технологических разработок, и тайно развернул в фазе скрытой подготовки. Если для перевооружения были использованы био- и нанотехнологии самовоспроизведения, то для быстрого глобального удара будет достаточно применить микроскопический начальный запас, поскольку инициировать процесс можно при помощи единственного экземпляра. Чтобы обеспечить внезапность и одновременность операции, первоначальный арсенал лучше распределить по всему миру в чрезвычайно низкой, незаметной для глаза концентрации. В назначенное время на каждом квадратном метре земного шара одновременно запустятся нанофабрики по производству нервно-паралитического газа или роботов-убийц размером с комара (хотя машина, обладающая сверхмощью в области технологических разработок, способна изобрести и более эффективные способы убийства)[289]. Почему бы не представить такие сценарии, по которым сверхразум захватывает власть принципиально иным путем: устанавливает контроль над политическими процессами; незаметно манипулирует финансовыми рынками; перераспределяет информационные потоки и перехватывает управление системами вооружения, созданными в свое время людьми. Это позволит сверхразуму обойтись без создания новых видов оружия, хотя сам процесс завоевания власти может оказаться слишком медленным по сравнению с тем, когда машинный интеллект выстраивает собственную инфраструктуру при помощи роботов-манипуляторов, действующих со скоростью молекул или атомов, в отличие от медлительных человеческих умов и тел.

Можно допустить альтернативный вариант развития: сверхразум будет настолько уверен в собственной мощи и неуязвимости, что не станет воспринимать наш вид в качестве угрозы своему существованию, — таким образом, у человечества появляется шанс не превратиться в элементарную мишень и уйти из-под прямого удара. И в этом случае закат человеческой цивилизации неизбежен, но случится он по другой причине: будет разрушена наша среда обитания. Сверхразум начнет внедрять нанотехнологические фабрики и наноассемблеры, и в результате глобальных строительных проектов вся поверхность планеты быстро — буквально за считаные дни или недели — покроется солнечными батареями, ядерными реакторами, корпусами суперкомпьютеров с торчащими башнями охлаждения, стапелями для запуска космических кораблей и прочими сооружениями. При помощи этих средств сверхразум будет стремиться работать на перспективу, чтобы максимально упрочить совокупный эффект от воплощения своих ценностей. Если сверхразум сочтет, что человеческий головной мозг представляет с анатомической, физиологической и функциональной стороны некий интерес и несет в себе нужную информацию, отвечающую целям самого сверхразума, то этот орган будет извлечен, демонтирован, сканирован, а все полученные данные переведены в рациональные форматы для надежного хранения.

Один из таких возможных сценариев описан во врезке 6. Не следует заострять внимание на конкретных деталях — в любом случае они непостижимы и приведены лишь в качестве умозрительных примеров. Вполне можно представить, что сверхразум в состоянии разработать план достижения своих целей лучше любого человека — скорее всего, так и будет. В принципе, к подобным вещам следует относиться слегка отвлеченно. Поскольку нам ничего не известно о потенциальных возможностях сверхразума, мы в состоянии лишь прийти к заключению, что он, вероятно, начнет стремиться к такому перераспределению ресурсов планеты, которое доведет до максимальной степени реализацию его планов. Однако надо учитывать, что это выполнимо лишь при условиях, что рядом не появится соперник, равный ему по интеллекту, и что человечество заранее не предпримет продуманных и действенных мер по обеспечению своей безопасности. Любой предложенный нами конкретный сценарий в лучшем случае определит нижний предел допустимого развития событий: насколько быстро и эффективно сверхразум добьется своих целей. И всегда остается вероятность, что он предпочтет более короткий путь для воплощения собственных замыслов.


ВРЕЗКА 6. ДНК, ЗАКАЗАННАЯ ПО ПОЧТЕ

Элиезер Юдковский в работе «Искусственный интеллект как позитивный и негативный фактор глобального риска» описывает возможный сценарий захвата власти ИИ[290].

Решить задачу синтеза белка, получив возможность создавать цепочки ДНК, полипептидные цепи которых выполняют специфические функциональные роли в сложном химическом взаимодействии.

Отправить по электронной почте наборы цепочек ДНК в одну или несколько лабораторий, предлагающих услуги по синтезу ДНК, секвенированию пептидов и доставку результатов с помощью курьерской службы FedEx. (Сегодня многие лаборатории занимаются этим, причем часто готовы выполнить заказ в течение трех суток.)

Найти через интернет любого человека, которого можно подкупом, шантажом или обманом заставить получить заказ у FedEx, чтобы потом он смешал содержимое пробирок и поместил это содержимое в подходящую среду.

Синтезированные белки сформируют очень примитивную «влажную» наносистему, способную по аналогии с рибосомами выполнять внешние команды, передаваемые, например, посредством определенных акустических вибраций, идущих от направленного на колбу динамика.

Использовать эту чрезвычайно примитивную наносистему для создания более сложных систем, которые, в свою очередь, создадут еще более сложные системы, и так дойти до молекулярных нанотехнологий — или еще дальше.

Сверхразум применяет свою сверхмощь в области технологических разработок, чтобы решить проблему синтеза белка (первый шаг) и создать набор молекулярных «кирпичиков», из которых в водном растворе соберется простейший наноассемблер или микрофабрика (четвертый шаг). Та же самая технологическая сверхмощь снова используется, чтобы повысить уровень нанотехнологий с примитивного на продвинутый, машинный (пятый шаг). Остальные шаги требуют только человеческих интеллектуальных способностей. Содержание третьего шага: найти через интернет доверчивого человека и убедить его выполнить несколько простых действий — такое происходит во всем мире каждый день. Весь сценарий создан человеческим умом, поэтому даже уровень стратегического планирования системы может не превышать человеческий.

ИИ начинает действовать, имея свободный доступ к интернету. Если дело будет обстоять иначе, план следовало бы дополнить еще несколькими шагами. ИИ мог бы, например, воспользоваться своей сверхмощью в области социального манипулирования и убедить людей, которые с ним взаимодействуют, «отпустить» его на свободу. Или добиться этого самостоятельно благодаря умению взламывать системы. Если ИИ не успел овладеть такими способностями, то ему пришлось бы начать с применения своей сверхмощи в области совершенствования интеллекта, чтобы обрести сверхмощь в области социального манипулирования или взлома систем.

Вероятно, ИИ появится в мире, полностью охваченном глобальной компьютерной сетью. Но уже сегодня есть ряд новейших технологий, которые явно пригодятся будущему ИИ в его мировой сверхдержаве: облачные вычисления; сенсорные устройства с подключением к интернету; военные и гражданские беспилотники; автоматизация исследовательских лабораторий и производственных предприятий; электронные платежные системы и цифровые финансовые средства; автоматизированные системы анализа информации и системы принятия решений. Этот активный технологический багаж будущий ИИ приберет к рукам с дискретной скоростью, что явно поспособствует его восхождению к вершине власти (хотя новейшие разработки в области кибербезопасности могут несколько затруднить эту задачу). В конечном счете различия в сценариях вряд ли играют большую роль. Сила сверхразума — в его интеллекте, а не руках. Правда, ИИ все-таки не обойтись без помощников, привыкших взаимодействовать с этим материальным миром, — как показывает приведенный выше сценарий, для завершения фазы скрытой подготовки хватит даже единственной пары рук готового к сотрудничеству сообщника. После чего ИИ перейдет к фазе открытой реализации, в которой построит собственную инфраструктуру, где уже будут действовать самые разные роботы-манипуляторы.


Власть над природой и другими действующими силами

Способность некой действующей силы изменить будущее человечества зависит не только от абсолютной величины ее собственных характеристик и ресурсов: умственных способностей, жизненных сил, объема капитала и прочего, — но и от их относительной величины в сравнении с возможностями и ресурсами других действующих сил, имеющих противоположные цели.

В ситуации, когда отсутствуют какие бы то ни было конкурирующие силы, абсолютный уровень возможностей сверхразума, преодолев некоторый минимальный барьер, становится уже неважным, поскольку система, стартовав с минимально достаточным объемом ресурсов, способна выбрать такой путь развития, который позволит ей приобрести любые дополнительные ресурсы, даже отсутствовавшие изначально. Мы уже упоминали об этом раньше: во-первых, когда обсуждали одинаковую опосредованную досягаемость таких типов сверхразума, как скоростной, коллективный и качественный; во-вторых, когда говорили, что достаточно обладать сверхмощью лишь в одной области, чтобы обеспечить себе ее во всех остальных.

Предположим, появилась сверхразумная сила, управляющая наноассемблером. У нее уже есть довольно мощи для преодоления любых естественных преград, и она прямым путем движется к тому, чтобы существовать вечно. Не встречая сопротивления на интеллектуальном уровне, наша действующая сила, или агент, может выработать безопасный курс развития, который позволит ей овладеть всеми технологиями, необходимыми для осуществления ее целей. Например, создать технологию строительства и запуска зондов фон Неймана — способных к перемещению в космическом пространстве машин, которые используют полезные ископаемые и энергию астероидов, планет и звезд для создания собственных копий[291]. Запустив зонды фон Неймана, такой агент фактически начнет бесконечный процесс колонизации Вселенной. Копии-потомки, двигаясь со скоростями, близкими к скорости света, в конечном счете колонизируют всю сферу Хаббла — часть расширяющейся Вселенной, которая теоретически доступна из точки, где мы сейчас находимся. После этого вся подконтрольная материя и неограниченное количество энергии будут организованы в ценностные структуры, максимизирующие функцию полезности исходного агента на временных промежутках космического масштаба — то есть как минимум в течение триллионов лет до того момента, когда стареющая Вселенная станет слишком недружелюбным местом для обработки информации (см. врезку 7).


ВРЕЗКА 7. НАСКОЛЬКО БОЛЬШИМ МОЖЕТ БЫТЬ АСТРОНОМИЧЕСКОЕ РАСШИРЕНИЕ?

Рассмотрим технологически зрелую цивилизацию, которая в состоянии создать разумные зонды фон Неймана, описанные выше. Если они способны перемещаться в пространстве со скоростью, составляющей 50 процентов от скорости света, то до того момента, когда расширение Вселенной сделает остальные ее области недоступными, смогут добраться до 6 × 1018 звезд. Если двигаться со скоростью, равной 99 процентам от скорости света, эта величина вырастет до 2 × 1020[292]. Для перемещения с такими скоростями достаточно лишь небольшой части энергетических ресурсов, имеющихся в Солнечной системе[293] Невозможность скоростей выше скорости света в сочетании с положительной космологической постоянной (благодаря которой скорость расширения Вселенной растет) означает, что мы получили верхнюю оценку пределов пространства, которое смогут покорить наши потомки[294].

Если предположить, что у 10 процентов звезд есть планеты, пригодные — или способные стать пригодными в результате их трансформации по образцу Земли — для обитания существ, похожих на людей, и что каждая из них станет домом для миллиарда человек на миллиард лет (со средней продолжительностью человеческой жизни 100 лет), то это означает, что в будущем разумной цивилизацией, рожденной на Земле, будет создано около 1035 человеческих жизней[295].

Однако есть основания полагать, что полученная нами оценка серьезно занижает истинное значение этого показателя. Если за счет разрушения необитаемых планет и использования межзвездного вещества формировать похожие на Землю планеты, а также увеличить плотность населения, его можно повысить как минимум на пару порядков. А если вместо использования поверхности твердых планет будущая цивилизация начнет строить цилиндры О’Нилла, то сможет добавить еще несколько порядков величины, доведя общую оценку, например, до 1043 человеческих жизней. (Цилиндрами О’Нилла называют предложенное в середине 1970-х гг. американским физиком Джерардом О’Ниллом космическое поселение, состоящее из двух полых цилиндров, вращение которых создает искусственную гравитацию на внутренней поверхности за счет центробежных сил[296].)

Гораздо больше порядков величины можно добавить в нашу оценку количества антропоморфных существ, если приравнять к ним все экземпляры искусственного интеллекта, что было бы правильно. Для расчета их числа нужно оценить вычислительную мощность, доступную технологически зрелой цивилизации. Это сложно сделать довольно точно, можно лишь попытаться получить нижнюю границу мощности, достижимой в результате реализации технологических проектов, описанных в научной литературе. Один из таких проектов основан на идее сферы Дайсона, предложенной в 1960 году Фрименом Дайсоном гипотетической системы, которая окружает звезду и способна улавливать большую часть испускаемой ею энергии[297]. Для звезды вроде нашего Солнца это дало бы 1026 ватт. В какое количество вычислительной мощности удалось бы превратить эту энергию, зависит от эффективности вычислительной схемы и природы выполняемых вычислений. Если мы будем считать вычисления необратимыми и предположим, что так называемый компьютрониум реализован на базе наномеханических технологий (что позволит нам вплотную приблизится к пределу энергетической эффективности согласно принципу Ландауэра), компьютерная система на основе сферы Дайсона могла бы выполнять около 1047 операций в секунду[298].

Если соединить эти оценки с приведенными выше расчетами количества звезд, до которых можно долететь, мы получим, что в результате колонизации доступной части Вселенной вычислительная мощность достигнет примерно 1067 операций в секунду (при условии наномеханического компьютрониума)[299]. Средняя звезда светит в течение 1018 секунд. Следовательно, количество операций, которые можно выполнить на базе одного астрономического расширения, составляет как минимум 1085. На самом деле это число, скорее всего, намного больше. Мы могли бы увеличить его на несколько порядков, если, например, активно использовали бы обратимые вычисления, выполняли бы вычисления при более низкой температуре (подождав, пока Вселенная не остынет еще сильнее) или задействовали бы дополнительные источники энергии (например, темную материю)[300].

Не для всех читателей может быть очевидно, почему возможность выполнить 1085 вычислительных операций так важна. Поэтому будет полезно рассмотреть ее в определенном контексте. Можно, например, сравнить эту величину с ранее сделанной оценкой того, что для моделирования всех нейронных операций на протяжении всей истории жизни на Земле потребовалось бы 1031–1044 вычислительных операций (см. главу 2, врезку 3). Или представим компьютеры, на которых работают имитационные модели человеческого мозга, живущие своей насыщенной и счастливой жизнью и активно взаимодействующие друг с другом в виртуальном пространстве. Типичная оценка вычислительной мощности для работы такого эмулятора — 1018 операций в секунду. То есть для поддержания его в активном состоянии в течение 100 лет потребовалось бы 1027 операций в секунду. То есть даже при осторожном предположении относительно эффективности компьютрониума он смог бы провести полноценную эмуляцию как минимум 1058 человеческих жизней.

Иными словами, если предположить, что в обозримой Вселенной отсутствуют внеземные цивилизации, то возможности такого компьютрониума соответствуют как минимум 10 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 человеческих жизней (хотя на самом деле это число, скорее всего, выше). Если мы представим все счастье, пережитое в течение одной такой жизни в виде слезинки радости, тогда счастье всех этих жизней могло бы наполнять (и даже переполнять) все океаны Земли каждую секунду в течение сотни миллиардов миллиардов тысячелетий. Важно только, чтобы это действительно были слезы радости.

Сверхразумный агент может разработать зонды фон Неймана так, чтобы они не были подвержены эволюции. Это обеспечивается тщательным контролем за стадией самовоспроизводства. Например, программное обеспечение дочернего зонда должно быть многократно проверено перед первым запуском и иметь процедуры шифрования и исправления ошибок, чтобы гарантировать невозможность воспроизведения случайной мутации в последующих поколениях[301]. В таком случае растущая популяция зондов фон Неймана гарантированно сохранит и распространит ценности исходного агента во всей обозримой Вселенной. После завершения фазы колонизации именно эти ценности будут определять характер использования всех аккумулированных ресурсов, даже если громадные расстояния и растущая скорость расширения Вселенной сделают невозможной связь между собой удаленных друг от друга компонентов сети. В итоге значительная часть нашего светового конуса будущего может быть сформирована в соответствии с предпочтениями исходной сверхмощной и сверхразумной действующей силы.

Таким образом, мы получили меру опосредованного расширения любой системы, не встречающей серьезного интеллектуального сопротивления и начинающей с набором возможностей, превышающих некий минимальный порог. Дадим определение этого порога, назвав его порогом устойчивости благоразумного синглтона (см. также рис. 11).

Порог устойчивости благоразумного синглтона

Набор возможностей превышает порог благоразумного синглтона тогда и только тогда, когда настойчивая и разумно относящаяся к экзистенциальным рискам система, в распоряжении которой оказывается этот набор возможностей и которая не сталкивается с интеллектуальным противодействием и конкуренцией, способна колонизировать и перестроить значительную часть доступной Вселенной.

Под «синглтоном» мы понимаем достаточно хорошо внутренне скоординированную политическую структуру, не имеющую внешних оппонентов, а под «благоразумием» — настойчивость и разумное отношение к экзистенциальным рискам, достаточные для трезвого размышления над дальнесрочными последствиями действий системы.


Искусственный интеллект. Этапы. Угрозы. Стратегии

Рис. 11. Некоторые возможные траектории развития гипотетического благоразумного синглтона. Если возможности системы недотягивают до порога жизнеспособности в краткосрочной перспективе — например, когда размер популяции слишком мал, — виды, как правило, вымирают очень быстро (и остаются вымершими). На чуть более высоких уровнях возможностей повышается вероятность реализации других сценариев: синглтону может не повезти — и он вымрет; или повезти — и он получит дополнительные возможности (например, размер населения; географическое распределение; технические навыки), которые превысят порог устойчивости благоразумного синглтона. Когда это произойдет, возможности синглтона почти наверняка продолжат расти, пока не достигнут некоторого существенно более высокого уровня. На рисунке изображены две точки притяжения: вымирание и астрономическое расширение. Обратите внимание, что для благоразумного синглтона дистанция между порогом жизнеспособности в краткосрочной перспективе и порогом устойчивости может быть довольно небольшой[302].


Этот порог стабильности благоразумного синглтона представляется довольно низким. Мы уже видели, что даже ограниченные формы сверхразума способны его преодолеть при условии, что у них есть доступ к какому-то инструменту, который поможет им инициировать процесс самосовершенствования. В условиях современной человеческой цивилизации такой минимально необходимый инструмент может быть очень простым — хватит обычного компьютерного монитора или иного средства передачи существенного объема информации сообщнику-человеку.

Порог устойчивости благоразумного синглтона на самом деле даже ниже, чем кажется, — для его преодоления не потребуется ни сверхразума, ни какой-либо иной футуристической технологии. Настойчивый и разумно относящийся к экзистенциальному риску синглтон, технологические и интеллектуальные возможности которого не превосходят тех, что уже имеются в распоряжении человечества, вполне мог бы двигаться курсом, конечной точкой которого стала бы реализация потенциала астрономического расширения человечества. Этого можно было бы достичь, инвестируя в сравнительно безопасные методы развития интеллекта и разумного отношения к экзистенциальным рискам, одновременно приостановив создание потенциально опасных новых технологий. Учитывая, что неантропогенные экзистенциальные катаклизмы (то есть не являющиеся следствием деятельности человека) на обозримой временной шкале низки — и могут быть дополнительно снижены за счет различных инструментов повышения безопасности, — такой синглтон мог бы позволить себе двигаться медленно[303]. Прежде чем совершить следующий шаг, синглтон мог бы внимательно изучать ситуацию и не форсировать развитие таких направлений, как синтетическая биология, медицинские методы улучшения человека, молекулярная нанотехнология и искусственный интеллект, пока не будут доведены до совершенства явно менее опасные области: его самообразовательная система, системы информационного анализа и коллективного принятия решений — и пока он не использует все их возможности для детального исследования имеющихся у него вариантов действий. То есть все это находится в пределах досягаемости любой технологической цивилизации, в нашем случае — цивилизации современного человечества. От этого сценария нас отделяет «всего лишь» тот факт, что человечество сейчас нельзя назвать ни синглтоном, ни благоразумным.

Кто-то возразит: ведь Homo sapiens уже преодолел порог устойчивости благоразумного синглтона вскоре после своего возникновения как вида. Скажем, двадцать тысяч лет назад, обладая лишь примитивными орудиями: каменными топорами, инструментами из кости, копьеметалками и огнем, — люди, возможно, уже находились в положении, когда вероятность человечества дожить до наших дней была очень высокой[304]. Честно говоря, довольно странно выражать признательность нашим предкам из эпохи палеолита за наличие технологий, способных «преодолеть порог устойчивости благоразумного синглтона», учитывая, что реальных возможностей сформировать какой бы то ни было синглтон в те времена примитивного развития у них не было, не говоря уже о синглтоне настойчивом и разумно относящемся к экзистенциальным рискам[305]. Тем не менее важно, что этот порог соответствует очень умеренному уровню развития технологий — уровню, который человечество превзошло очень давно[306].

Ясно, что если бы нам нужно было оценить эффективную силу сверхразума — его способность получать от мира нужные ему результаты, — мы должны были бы рассматривать не только его собственные внутренние возможности, но и возможности, имеющиеся у его конкурентов. Понятие «сверхразум» как раз неявно и подразумевает эту относительность. Мы сказали, что если система «значительно превосходит другие» в выполнении любой задачи из табл. 8, то она обладает соответствующей сверхмощью. Превосходство в таких областях, как выработка стратегии, социальное манипулирование или взлом систем, предполагает наличие навыков, более развитых по сравнению с конкурентами (к которым относятся стратегические соперники и специалисты по компьютерной безопасности). Другие виды сверхмощи следует также понимать в этом относительном смысле: сверхмощью можно считать лишь такие достижения агента в области совершенствования интеллекта, технологических исследований и экономической эффективности, которые значительно превосходят совокупные возможности остальной части земной цивилизации. Из этого определения следует, что в любой момент обладать сверхмощью в каждой из областей способен лишь один агент[307].

В этом заключена главная причина, почему так важен вопрос скорости взлета, — не из-за того, что имеет значение, когда именно будет достигнут результат, а из-за того, что скорость взлета сильно влияет на то, каким он может быть. В случае скоростного или умеренного взлета решающее стратегическое преимущество, скорее всего, окажется у какого-то одного проекта. Теперь мы можем исходить из того, что сверхразум, обладающий абсолютным стратегическим преимуществом, получит в свое распоряжение невероятную мощь, достаточную для формирования стабильного синглтона, то есть такого синглтона, который мог бы определять диспозицию астрономического расширения человечества.

Но «мог бы» не то же самое, что «стал бы». Допустим, кто-то обладает огромной властью, но ни разу не воспользовался ею. Можем ли мы хоть что-нибудь сказать, что будет решать сверхразум, обладающий абсолютным стратегическим преимуществом? Это вопрос мотивации, к которому мы сейчас и обратимся.

Глава седьмая

Намерения сверхразума

Мы поняли, какими огромными возможностями может располагать сверхразум, чтобы согласно своим целям менять будущее. Но каковы эти цели? Каковы устремления? Будет ли зависеть степень мотивации сверхразума от уровня его интеллекта? В этой главе мы выдвинем два тезиса. Тезис об ортогональности гласит (с некоторыми исключениями), что можно комбинировать любой уровень интеллекта с любой целью, поскольку интеллект и конечные цели представляют собой ортогональные, то есть независимые, переменные. Тезис об инструментальной конвергенции гласит, что сверхразумные действующие силы, или агенты, — при самом широком разнообразии своих конечных целей — тем не менее будут преследовать сходные промежуточные цели, поскольку на это у всех агентов будут одинаковые инструментальные причины. Рассмотренные вместе, эти тезисы помогут нам яснее представить, каковы намерения сверхразумного актора.


Связь между интеллектом и мотивацией

В книге уже звучало предостережение от ошибки антропоморфизма: не следует проецировать человеческие качества на возможности сверхразумного агента. Мы повторим свое предупреждение, лишь заменив слово возможность на слово мотивация.

Прежде чем развивать дальше первый тезис, проведем небольшое предварительное расследование на тему безграничности всего спектра возможных умов. В этом абстрактном, почти космическом, пространстве возможного человеческий разум составляет ничтожно малый кластер. Выберем двух представителей человеческого рода, которые согласно общему мнению являются диаметрально противоположными личностями. Пусть это будут Ханна Арендт и Бенни Хилл[308]. Различие между ними мы, скорее всего, оценим как максимальное. Но сделаем так лишь потому, что наше восприятие целиком регулируется нашим же опытом, который, в свою очередь, полагается на существующие человеческие стереотипы (до известной степени мы находимся под влиянием и вымышленных персонажей, созданных опять-таки человеческой фантазией для удовлетворения все того же человеческого воображения). Однако, изменив масштаб обзора и взглянув на проблему распределения разума сквозь призму безграничного пространства возможного, мы будем вынуждены признать, что эти две личности не более чем виртуальные клоны. Во всяком случае с точки зрения характеристики нервной системы Ханна Арендт и Бенни Хилл фактически идентичны. Предположим, головной мозг и той и другого поместили бы рядом в тиши какого-нибудь музея, — увидев эту экспозицию, мы сразу скажем, что эти двое принадлежали одному и тому же виду. Более того, кто из нас смог бы определить, какой мозг Ханны Арендт, а какой — Бенни Хилла? Если нам удалось бы изучить морфологию и того и другого головного мозга, то мы окончательно убедились бы в их фундаментальном сходстве: одинаковая пластинчатая архитектоника коры; одни и те же отделы мозга; одинаковое строение нервной клетки мозга — нейрона с его нейромедиаторами одной и той же химической природы[309].

Вопреки тому, что разум человека практически сопоставим с неразличимой точкой, плавающей в безграничном космосе предполагаемых разумных жизней, сложилась тенденция проецировать человеческие свойства на самые разнообразные инопланетные сущности и искусственные разумные системы. Этот мотив великолепно прокомментировал Элиезер Юдковский все в той же работе «Искусственный интеллект как позитивный и негативный фактор глобального риска»:

Во времена расцвета популярной научной фантастики, довольно дешевого свойства, обложки журналов пестрели картинками, на которых очередное инопланетное чудовище — в народе более известное как «пучеглазый монстр» — в очередной раз куда-то тащило очередную красотку в обязательно задранном платье — причем красотка была нашей, земной, женщиной. Похоже, все художники уверовали, что негуманоидные пришельцы с совершенно иной эволюционной историей непременно должны испытывать сексуальное влечение к прекрасным представительницам человеческого рода. <…> Скорее всего, художники, изображавшие все это, даже не задавались вопросом, а будет ли вообще гигантский жук чувствителен к прелестям наших женщин. Ведь по представлениям художников любая полуобнаженная женщина просто по определению сексуально привлекательна, то есть испытывать к ней желание являлось неотъемлемой чертой мужественных представителей человеческого рода. Все художническое внимание было направлено на задранное или порванное платье, меньше всего их заботило, как устроено сознание гигантских насекомообразных. И это составляло главную ошибку художников. Не будь одежды изодраны, — думали они, — женщины выглядели бы не столь соблазнительно для пучеглазых монстров. Жаль только, сами пришельцы так и не взяли этого в толк[310].

Пожалуй, искусственный интеллект своими побудительными мотивами еще меньше будет напоминать человека, чем зеленый чешуйчатый пришелец из космоса. Инопланетяне — биологические создания (не более чем предположение), появившиеся в результате эволюционного процесса, в силу чего от них можно ожидать мотивации, в какой-то степени типичной для эволюционировавших существ. Поэтому не будет ничего удивительного, если окажется, что мотивы поведения разумного пришельца продиктованы довольно простыми интересами: еда, воздух, температура, опасность телесных увечий или уже свершившиеся травмы, расстройства здоровья, хищничество, секс и выведение потомства. Если инопланетяне принадлежат какому-нибудь разумному социуму, у них могли бы развиться мотивы, связанные с сотрудничеством и конкуренцией. Подобно нам они проявляли бы преданность своему сообществу, возмущались бы тунеядцами и, кто знает, были бы не лишены тщеславия, беспокоясь о своей репутации и внешнем виде.


Искусственный интеллект. Этапы. Угрозы. Стратегии

Рис. 12. Вот что получается, когда пришельцев наделяют побудительными характеристиками, свойственными людям. Наименее вероятная версия — пришельцы из космоса предпочитают блондинок. Более вероятная версия — художники стали жертвой «ошибки, связанной с интеллектуальной проекцией». Наиболее вероятная версия — издатели хотели, чтобы обложки привлекали как можно больше потенциальных читателей.

Думающим машинам по природе своей, в отличие от инопланетян, нет смысла заботиться о подобных вещах. Вряд ли вы сочтете парадоксальной ситуацию, если появится какой-нибудь ИИ, чьим единственным предназначением, например, будет: подсчитать песчинки на пляжах острова Боракай; заняться числом π и представить его, наконец, в виде обыкновенной десятичной дроби; определить максимальное количество канцелярских скрепок в световом конусе будущего. На самом деле гораздо проще создать ИИ, перед которым будут стоять однозначные цели, а не навязывать ему нашу систему ценностей, наделяя машину человеческими свойствами и побуждениями. Сами решите, что сложнее: написать программу, измеряющую, сколько знаков после запятой в числе π уже посчитано и сохранено в памяти, или создать алгоритм, достоверно учитывающий степень достижения абсолютно значимой для человечества цели, скажем, такой, как мир всеобщего благоденствия и всеобщей справедливости? Сколь ни печально, но человеку легче написать код упрощенного, лишенного всякого значения целенаправленного поведения машины и обучить ее, как выполнять поставленную задачу. Скорее всего, такую судьбу выберет для зародыша ИИ тот программист, который будет сосредоточен лишь на желании «заставить ИИ работать», причем как можно быстрее (программист, явно не озабоченный, чем именно придется заниматься ИИ, кроме того что демонстрировать сногсшибательное разумное поведение). Скоро мы вернемся к этой важной теме.

Интеллектуальный поиск инструментально оптимальных планов и стратегий возможен в случае любой цели. Интеллект и мотивация в некотором смысле ортогональны. Представим их в виде двух осей координат, задающих граф, в котором каждая точка представляет логически возможного интеллектуального агента. Правда, эта картинка потребует несколько уточнений. Например, для системы, не наделенной разумом, было бы невозможно иметь слишком сложные мотивации. Чтобы мы могли с полным основанием говорить, что, мол, такой-то агент «имеет» такой-то набор мотиваций, — эти мотивации должны составлять функционально-интегрированную систему вместе с процессом принятия решений, который налагает определенные требования на память, вычислительную мощность и, возможно, уровень интеллекта. У интеллекта, способного самопреобразовываться, скорее всего, будут наблюдаться ограничивающие динамические характеристики. И то сказать: если обучившаяся модифицировать самою себя думающая машина вдруг испытает острое желание стать глупой, то довольно быстро она перестанет быть интеллектуальной системой. Однако наши замечания никак не отменяют основной тезис об ортогональности интеллекта и мотивации. Представляю его на ваше рассмотрение.

Тезис об ортогональности

Интеллект и конечные цели ортогональны: более или менее любой уровень интеллекта может, в принципе, сочетаться с более или менее любой конечной целью.

Это положение может выглядеть спорным из-за своего кажущегося сходства с некоторыми постулатами, хотя и относящимися к классической философии, но до сих пор вызывающими много вопросов. Постарайтесь воспринять тезис об ортогональности в его более узком смысле — и тогда он покажется вполне достоверным. (Например, наш тезис не совсем отвечает мотивационной концепции Юма[311], как и тому, что базовые предпочтения не могут быть иррациональными[312].)

Обратите внимание, тезис об ортогональности говорит не о рациональности или здравомыслии, но исключительно об интеллекте. Под интеллектом мы понимаем здесь навыки прогнозирования, планирования и сопоставления целей и средств в целом[313]. Инструментальная когнитивная эффективность становится особенно важной чертой, когда мы начинаем разбираться в возможных последствиях появления искусственного сверхразума. Даже если использовать слово рациональный в таком смысле, который исключает признание рациональным сверхразумного агента, подсчитывающего максимальное количество скрепок, это ни в коем случае не исключает наличие у него выдающихся способностей к инструментальному мышлению, способностей, которые имели бы огромное влияние на наш мир[314].

В соответствии с тезисом об ортогональности у искусственных агентов могут быть цели, глубоко чуждые интересам и ценностям человечества. Однако это не означает, что невозможно предсказать поведение конкретных искусственных агентов — и даже гипотетических сверхразумных агентов, когнитивная сложность и характеристики производительности которых могут сделать их в некоторых аспектах «непроницаемыми» для человеческого анализа. Есть минимум три способа, благодаря которым можно подступиться к задаче прогнозирования мотивации сверхразума.

   1. Предсказуемость за счет проектирования. Если мы можем предположить, что программисты способны разработать систему целеполагания сверхразумного агента так, что он будет последовательно стремиться достичь цели, заданной его создателями, тогда мы в состоянии сделать хотя бы один прогноз: этот агент будет добиваться своей цели. Причем чем более разумным будет агент, тем с большей интеллектуальной изобретательностью он начнет к ней стремиться. Поэтому еще до создания агента мы могли бы предсказать что-то о его поведении, если бы знали что-то о его создателях и целях, которые они собираются ему установить.

   2. Предсказуемость за счет наследования. Если прототипом цифрового интеллекта непосредственно служит человеческий разум (что возможно при полной эмуляции головного мозга человека), тогда цифровому интеллекту могут быть присущи мотивы его человеческого прототипа[315]. Такой агент мог бы сохранить некоторые из них даже после того, как его когнитивные способности разовьются настолько, что он станет сверхразумом. Но в таких случаях следует соблюдать осторожность. Цели агента легко могут быть искажены в процессе загрузки данных прототипа или в ходе их дальнейшей обработки и совершенствования — вероятность подобного развития зависит от организации самой процедуры эмуляции.

   3. Предсказуемость за счет наличия конвергентных инструментальных причин. Даже не зная детально конечных целей агента, мы в состоянии сделать некоторые выводы о его более близких целях, анализируя инструментальные причины самых разнообразных возможных конечных целей при широком выборе ситуаций. Чем выше когнитивные способности агента, тем более полезным становится этот способ прогнозирования, поскольку чем более разумным является агент, тем больше вероятность, что он распознает истинные инструментальные причины своих действий и будет действовать так, чтобы при любой вероятной ситуации добиться своих целей. (Для правильного понимания следует заметить, что могут существовать недоступные нам сейчас инструментальные причины, которые сам агент обнаружит, лишь достигнув очень высокого уровня интеллекта, — это делает поведение сверхразумного агента менее предсказуемым.)

Третьему способу прогнозирования посвящен следующий раздел, где мы подробнее рассмотрим тезис об инструментальной конвергенции, дополняющий тезис об ортогональности интеллекта и мотивации. Благодаря этому будет легче понять остальные два способа прогнозирования — к ним мы обратимся в следующих главах, в которых проанализируем вопрос, как повлиять на направление взрывного развития интеллекта, чтобы повысить шансы благоприятного исхода.

Инструментальная конвергенция

В соответствии с тезисом об ортогональности разумные агенты могут располагать огромным разнообразием возможных конечных целей. Тем не менее в соответствии с тем, что мы называем инструментальной конвергенцией, есть некоторые инструментальные цели, которые, скорее всего, будут характерны почти для всех разумных агентов, поскольку они являются полезными промежуточными этапами для достижения практически любой конечной цели. Постараемся сформулировать этот тезис.

Тезис об инструментальной конвергенции

Можно выделить несколько инструментальных (промежуточных) целей, конвергентных в том смысле, что их наличие увеличивает шансы реализации конечной цели агента при огромном разнообразии возможных конечных целей и ситуаций, в результате чего наличие таких инструментальных целей, скорее всего, будет характерно для многих интеллектуальных агентов.

В дальнейшем мы рассмотрим несколько категорий таких конвергентных инструментальных целей[316]. Вероятность, что агент признает эти инструментальные цели, возрастает (при прочих равных условиях) с ростом уровня его интеллекта. Поэтому мы сосредоточим внимание в основном на случае гипотетического сверхразумного агента, инструментальные мыслительные способности которого выше человеческих. Кроме того, чтобы лучше понять, как следует интерпретировать и использовать наш тезис об инструментальной конвергенции, мы обсудим, истинен ли он по отношению к людям. Зная инструментальные цели сверхразума, мы сможем прогнозировать некоторые моменты его поведения — даже в том случае, если не будем иметь никакого представления о его конечных целях.

Самосохранение

Если конечные цели агента рассчитаны на длительную перспективу, тогда во многих сценариях ему будет необходимо выполнить некоторые действия в будущем, чтобы увеличить вероятность достижения своих целей. Отсюда возникает инструментальная причина оказаться в завтрашнем дне — что поможет агенту реализовать его ориентированные на будущее цели.

Представляется, что большинство людей определяют собственное выживание как некую конечную ценность. Однако вопрос самосохранения не всегда имеет столь окончательное значение для искусственных действующих сил: какие-то разумные агенты могут быть разработаны без особого стремления выжить. Тем не менее многие из них, напрямую не заинтересованные в сохранении собственного существования, при достаточно широком диапазоне условий имеют косвенный стимул обеспечить себе инструментально пребывание на свете как можно дольше — ради завершения своих конечных целей.

Непрерывная последовательность целей

Если текущие цели агента имеют отношение к будущему, тогда, скорее всего, они будут достигнуты уже той сущностью агента, которую он приобретет в будущем. Отсюда возникает инструментальная причина — предотвратить в настоящем изменение своих конечных целей. (Этот аргумент применим только к конечным целям. Чтобы их достичь, разумный агент, безусловно, начнет постоянно корректировать промежуточные цели с учетом новых данных и собственного понимания ситуации.)

В каком-то смысле непрерывная последовательность конечных целей является даже более фундаментальным конвергентным инструментальным мотивом, чем выживание. Среди людей может быть верно обратное — лишь потому, что выживание представляет собой одну из основных конечных целей. Для программных агентов, которые могут легко менять «корпус обитания» и создавать собственные точные копии, самосохранение самих себя в виде определенной реализации или физического объекта не обязательно является важной инструментальной целью. Расширенные версии программных агентов, возможно, смогут даже обмениваться воспоминаниями, загружать навыки и радикально изменять свою когнитивную архитектуру и персонализированные данные. Но в своей совокупности такие агенты не создают сообщества уникальных почти вечных сущностей, а скорее действуют наподобие «функционального потока»[317]. Генерируемые им процессы образуют целенаправленные последовательности, которые могут быть индивидуализированы скорее на основе общих ценностей, чем по признаку физических тел, «личностных» свойств, воспоминаний и способностей. В подобных случаях целостность непрерывной последовательности целей составляет едва ли не ключевой аспект вопроса выживания.

Но даже в таких сценариях бывают ситуации, когда агент способен намеренно корректировать конечные цели, чтобы выполнить их наилучшим образом. Это случается, когда любой из перечисленных ниже факторов становится особо значимым.

   1. Социальные сигналы. Когда окружающие способны понять цели агента и на основе полученной информации сделать соответствующие выводы о его планах, важных с инструментальной точки зрения, тогда агенту придется в собственных интересах — чтобы произвести наиболее благоприятное впечатление — пересмотреть свои цели. Например, у агента может сорваться выгодная сделка, если потенциальные партнеры не доверяют ему и считают, что он неспособен выполнить свои обязательства по ней. Поэтому, чтобы завоевать доверие остальных участников договора, агент может выбрать в качестве конечной цели исполнение взятых на себя ранее обязательств (и позволить другой стороне проверить, что он действительно установил такую цель). Агенты, способные гибко и открыто пересматривать собственные цели, могут использовать это как преимущество при заключении сделок[318].

   2. Социальные предпочтения. У окружающих могут сложиться собственные предпочтения относительно конечных целей агента. Тогда у агента появляются все основания откорректировать свои цели — либо чтобы удовлетворить общественные ожидания, либо чтобы окончательно подорвать их.

   3. Приоритетность собственного ценностного содержания. У агента могут быть некоторые конечные цели, имеющие прямое отношение к его собственной системе ценностей. Например, он выбрал своей конечной целью стать таким агентом, который мотивирован какими-то определенными ценностями сильнее, чем остальными (скажем, состраданием, а не комфортом).

   4. Издержки хранения. Если издержки, связанные с хранением или обработкой какого-то модуля функции полезности агента, велики по сравнению с вероятностью возникновения ситуации, когда применение этого модуля будет оправданно, тогда у агента появляется инструментальная причина упростить содержание целей и отказаться от неиспользуемого модуля[319].

Иногда кажется, будто нам, людям, нравится корректировать свои конечные цели. Возможно, так бывает в случаях, когда с первого раза мы не совсем точно их сформулировали. Ничего удивительного, что мы — постоянно находясь в процессе самопознания и перемен в приемах самоподачи — хотим, чтобы развивались и наши представления о конечных целях. Однако бывают случаи, когда мы сознательно корректируем свои цели безотносительно собственных представлений о них или их объяснений. Например, люди, решившие завести ребенка, будут утверждать, что станут ценить его просто потому, что он у них есть, хотя в момент принятия решения они не особенно задумывались над ценностью ни собственного будущего ребенка, ни детей вообще.

Человек — существо сложное, поэтому не только приведенные четыре фактора, но и любое обстоятельство вдруг начинает играть ведущую роль и приводит к изменению правил игры[320]. Например, в вашей жизни появляется кто-то, кто становится вам очень дорог, и вы уже стремитесь к новой конечной цели — посвятить себя тому, кто рядом с вами. Или корректируете конечную цель ради ребенка: когда он рождается, у вас в корне меняется система жизненных ценностей — теперь, чтобы достойно сыграть свою родительскую роль, вам нужно обрести определенный опыт и занять соответствующее социальное положение. Бывает так, что разные цели вступают во внутренний конфликт, и тогда у человека возникает желание изменить некоторые конечные цели, чтобы избавиться от этого противоречия.

Усиление когнитивных способностей

Развивая рациональное мышление и интеллектуальный уровень, агент таким образом повышает шансы добиться своих конечных целей. Поэтому можно ожидать, что усиление когнитивных способностей станет инструментальной целью большинства разумных агентов. По похожим причинам для них станет инструментальной целью и получение разнообразной информации[321]. Однако с инструментальной точки зрения для достижения конечных целей агента будут полезны не все виды рационального мышления, интеллекта и знаний. Для подтверждения этой мысли позвольте воспользоваться примером так называемого голландского аукциона[322] и показать: когда функция убеждений и ценностей некоего агента нарушает законы теории вероятностей, то он становится жертвой мошенников — то есть ловкий букмекер предложит ему такой набор ставок, при котором каждая по отдельности представляется агенту выгодной, но в совокупности «гарантирует» ему полный проигрыш, а букмекеру соответственно обеспечивает выигрыш[323]. Однако этот факт не означает, что есть веские инструментальные причины сглаживать любые вероятностные несвязанности, касающиеся собственных убеждений. Вряд ли из-за подобных «внутренних противоречий» что-то потеряют те агенты, в чьи планы не входит сталкиваться с ушлыми букмекерами или принявшие для себя политику неучастия в азартных играх, — более того, они даже приобретут некоторую выгоду, поскольку это улучшит их образ в глазах общественности, а также убережет от ненужного умственного напряжения. В принципе, нет причин ожидать, что все агенты подряд ради собственного блага начнут стремиться к инструментально бесполезным формам когнитивного улучшения, поскольку какие-то определенные знания и какие-то представления о чем-то могут просто не иметь для них большого значения.

Какие когнитивные способности окажутся для агента полезными, зависит как от его конечных целей, так и от ситуации, в которой он находится. Если у агента есть доступ к советам надежного эксперта, у него может отсутствовать потребность в собственном интеллекте и знаниях. Если с наличием интеллекта и знаний связаны определенные затраты — например, времени и усилий, потраченных на их приобретение, или дополнительные требования к хранению и обработке информации, — то агент может предпочесть меньше знать и быть менее интеллектуальным[324] То же самое верно, когда агент в качестве одной из конечных целей выбирает незнание определенных фактов или когда он сталкивается со стимулами, основанными на приоритетных обязательствах, социальных сигналах и ожиданиях[325].

В мире людей подобные причины встречаются практически на каждом шагу: на свете много информации, которая не имеет значения для достижения наших целей; довольно часто мы полагаемся на навыки и опыт других; устойчивое мнение, что приобретение знаний требует слишком больших затрат времени и усилий; значимость незнания определенного рода, — все мы живем в условиях, в которых способность выполнять приоритетные обязательства, улавливать социальные сигналы и соответствовать прямым ожиданиям окружающих даже ценой собственного эпистемологического состояния нам часто кажется важнее, чем простой рост когнитивных способностей.

Есть особые случаи, когда когнитивное улучшение способно привести к огромному скачку возможностей агента добиваться конечной цели. Особенно если эти цели непомерно огромны, а сам актор является потенциальным кандидатом на роль первого сверхразума и обладателя решающего стратегического преимущества, что даст ему власть формировать по своему усмотрению будущее земной цивилизации и использовать все доступные космические ресурсы тоже согласно собственным предпочтениям. По крайней мере, в таких случаях инструментальная цель когнитивного улучшения окажется для рационального разумного агента очень важной.

Технологическое совершенство

У многих агентов могут появляться инструментальные причины искать более совершенные технологии, что, по сути, является заинтересованностью найти более эффективные пути, чтобы трансформировать имеющиеся у них системы исходных условий в значимые результаты. Скажем, программный агент будет видеть инструментальную ценность в более эффективных алгоритмах, способных ускорить на том же самом оборудовании его мыслительные функции. Аналогично агенты, чья деятельность может быть направлена на определенные строительные работы в материальном мире, найдут инструментальную ценность в более совершенных инженерных технологиях, которые позволят им быстрее создавать самые разнообразные конструкции — более надежные, более дешевые, с меньшим расходом материала и меньшими затратами сил. Конечно, это предполагает компромисс, так как потенциальную выгоду придется оценивать в сопоставлении с соответствующими расходами — не только на новейшие разработки, но и на обучение работе с новым оборудованием и новыми программами, а также на интеграцию нововведений в уже существующую техническую среду.

Сторонников новейших технологий, уверенных в их превосходстве над имеющимися вариантами, часто поражает, что другие люди не разделяют их энтузиазма. Но неприятие новых и номинально более совершенных технологий не обязательно является следствием невежества или иррациональности. Значимость технологии и степень ее нормативности зависят не только от контекста ее применения, но и от точки зрения, с которой она оценивается: что благо для одних, для других — зло. Поэтому, хотя ткацкие станки и повысили экономическую эффективность текстильной промышленности, у традиционных луддитов, опасавшихся, что эти новшества сделают их ткацкие специальности никому не нужными, были веские инструментальные основания препятствовать распространению прогресса. Речь идет о том, что если под «технологическим совершенством» понимать значимую инструментальную цель интеллектуальных агентов, тогда этот термин нужно рассматривать в особом смысле: инновационная технология должна быть встроена в конкретный социальный контекст, а связанные с ней выгоды и издержки лучше оценивать с учетом конечных целей конкретных агентов.

Представляется, что могущественный синглтон — сверхразумный актор, не имеющий ни серьезной конкуренции, ни оппозиции, а следовательно, способный по своему усмотрению определять общемировую и даже вселенскую политику, — должен иметь инструментальную причину совершенствовать технологии, которые позволят ему изменить мир в соответствии с его предпочтениями[326]. Возможно, к ним относится и такая концепция, связанная с освоением космоса, как зонды фон Неймана. Столь же полезной для достижения чрезвычайно разнообразных конечных целей может стать молекулярная нанотехнология или еще более совершенная технология производства материальных объектов[327].


Получение ресурсов

И наконец, получение ресурсов является еще одной общей инструментальной целью, необходимой по той же причине, что и технологическое совершенство — поскольку для создания материальных объектов требуются как инновационные технологии, так и ресурсы.

Человеческому существу вообще свойственно находиться в постоянном поиске нужных ресурсов, чтобы удовлетворять свои насущные потребности. Но, как правило, люди стремятся получить в свое распоряжение ресурсы в таком объеме, который намного превышает минимальный уровень этих потребностей. Отчасти ими движет довольно специфический мотив — стремление приумножить свое благополучие. Во многом поиск новых ресурсов определяется социальными соображениями, такими как приобретение высокого статуса, общественного влияния, полезных знакомств, а также заведение любовных связей и создание семьи. Немногие люди ищут дополнительные ресурсы ради благотворительных целей; некоторые люди, напротив, — для удовлетворения своих дорогостоящих, отнюдь не связанных с благом общества потребностей.

Весьма соблазнительно предположить — учитывая все сказанное, — что у сверхразумного актора, не знающего мира, где существует социальная конкуренция, не будет инструментальных оснований накапливать ресурсы больше какого-то оптимального уровня. Например, вычислительные ресурсы нужны сверхразуму, чтобы поддерживать свои умственные возможности и управлять своей виртуальной средой. Но это предположение может оказаться совершенно необоснованным.

Во-первых, ценность ресурсов определяется их возможным применением, а оно, в свою очередь, зависит от доступной технологии. При наличии зрелой технологии для достижения практически любой цели можно брать лишь основные ресурсы: время, пространство, вещество и энергия. Эти основные ресурсы можно конвертировать в жизнь. Увеличенные вычислительные ресурсы потребуются для многого: использовать сверхскоростную работу сверхразума в течение более длительного времени; совершенствовать физические жизни и материальные миры и создавать их симуляции — виртуальные жизни и цивилизации. Дополнительные материальные ресурсы понадобятся для повышения уровня безопасности, например разработки вспомогательных резервных систем и систем круговой обороны. Подобные крупномасштабные проекты могут потребовать такого объема ресурсов, который превысит возможности одной планеты.

Во-вторых, благодаря прогрессивным технологическим разработкам принципиально сократятся издержки, связанные с добычей дополнительных ресурсов за пределами Земли. Если зонды фон Неймана могут быть построены, то с их помощью будет освоена большая часть космического пространства (при условии, что во Вселенной нет других разумных цивилизаций) — а все расходы сведутся к стоимости строительства и запуска всего лишь одного такого зонда. Столь низкие затраты на приобретение внеземных ресурсов означают, что такая экспансия имела бы смысл даже в случае совсем незначительного выигрыша. Например, даже если конечные цели сверхразума связаны лишь с происходящим в очень небольшом космическом пространстве, скажем, занятом его родной планетой, у него могут быть инструментальные причины искать доступ к внеземным ресурсам. Эти дополнительные ресурсы можно было бы направить на решение первоочередных задач, связанных прежде всего со средой обитания сверхразума: создать высокоскоростные компьютеры, чтобы рассчитывать оптимальные способы использования земных ресурсов; выстроить сверхмощные укрепительные системы для защиты его убежища. Поскольку затраты на добычу дополнительных ресурсов должны будут снижаться, процесс оптимизации и усиления защиты можно продолжать бесконечно, несмотря на то что он станет приносить все менее и менее заметные результаты[328].

Таким образом, существует широкий диапазон возможных конечных целей сверхразумного синглтона, которые могли бы привести к появлению инструментальных целей в виде неограниченного приобретения ресурсов. Скорее всего, в самом начале это выразилось бы в освоении космоса, причем колонизация последовательно распространялась бы во всех направлениях при помощи зондов фон Неймана. В результате возникло бы подобие сферы постоянно расширяющейся инфраструктуры с центром в исходной планете и радиусом, растущим со скоростью, меньшей скорости света. Колонизация космического пространства могла бы продолжаться, таким образом, до тех пор, пока увеличивающаяся скорость расширения Вселенной (которая является следствием положительности космологической постоянной) не сделала бы дальнейшее продвижение вперед невозможным, поскольку ее удаленные районы навсегда окажутся вне пределов досягаемости (это произойдет на временных интервалах в миллиарды лет)[329]. В то же время агенты, не имеющие технологий, необходимых для приобретения общих материальных ресурсов с низкими затратами или их превращения в полезную для себя инфраструктуру, могут посчитать неэффективным инвестировать уже имеющиеся у них ресурсы в увеличение своего материального обеспечения. То же самое может быть верным для агентов, действующих в условиях конкуренции с другими агентами, сходными по силе. Например, если агенты-конкуренты уже обеспечили себе контроль за доступными космическими ресурсами, у поздно стартовавшего агента не останется возможностей для колонизации Вселенной. Анализ конвергентных инструментальных причин поведения сверхразума, не знающего о существовании других могущественных сверхразумных агентов, усложняется стратегическими соображениями, которые мы можем не понимать сейчас в полной мере, но которые способны серьезно дополнить рассмотренные нами в этой главе примеры[330].


***

Следует подчеркнуть, что существование конвергентных инструментальных причин, даже если они применимы к тому или иному агенту, не означает, что можно легко предсказать поведение этого агента. Вполне возможно, что он точно так же будет иметь и иные инструментальные цели, которые сейчас мы не в состоянии охватить. Особенно это верно для сверхразума, способного для достижения своих целей разрабатывать в высшей степени умные, но нелогичные, а порой и парадоксальные планы; возможно, он прибегнет к помощи еще неизвестных нам физических явлений[331]. Предсказать можно лишь наличие у агента определенных конвергентных инструментальных целей, которые он может иметь для достижения конечных целей, а не его конкретные действия на этом пути.

Глава восьмая

Катастрофа неизбежна?

Мы выяснили, что связь между интеллектом и конечными целями очень слаба. Также мы обнаружили конвергенцию инструментальных целей, которая может обернуться реальной угрозой. Но эти факторы не начнут играть существенной роли, пока интеллектуальные агенты еще не набрали сил, поскольку слабыми агентами удобно управлять, да и крупного вреда нанести они не в состоянии. Однако, как мы выяснили в шестой главе, лидирующий сверхразум легко может получить решающее стратегическое преимущество. И тогда уже исключительно его цели начнут определять и будущее нашей планеты, и характер освоения космического пространства — этого бесценного вселенского фонда человечества. Посмотрим, насколько зловещей выглядит эта перспектива.

Экзистенциальная катастрофа как неизбежное следствие взрывного развития искусственного интеллекта?

Экзистенциальный риск — это угроза гибели разумной жизни, берущей начало на Земле. Или есть более мягкий вариант — это решительное нанесение необратимого ущерба человеческой цивилизации, что лишает ее каких-либо надежд на развитие в будущем. Если мы допускаем идею абсолютного преимущества, которое получает лидирующий сверхразум, если принимаем во внимание тезисы об ортогональности и инструментальной конвергенции, то, видимо, нам пора обратиться к вопросам, связанным с общим страхом перед искусственным сверхразумом и опасением, что его появление неизбежно приведет к экзистенциальной катастрофе. Рассмотрим систему аргументации в пользу такой точки зрения.

Во-первых, мы уже обсудили, каким образом первый сверхразум способен получить решающее стратегическое преимущество. После чего у него появится возможность сформировать синглтон и определять будущее разумной жизни, существующей на Земле. Что произойдет потом, будет зависеть от побудительных мотивов сверхразума.

Во-вторых, тезис об ортогональности говорит, что мы не можем слепо полагать, будто сверхразум непременно должен разделять ту систему ценностей, которая обычно у человека связана с такими понятиями, как мудрость и интеллектуальное развитие, — это научная пытливость, доброжелательное отношение к людям, духовная сила, тяга к просвещению, собственное мировоззрение, бескорыстие, вкус к высокой культуре, умение получать удовольствие от простых вещей, непритязательность в жизни, самоотверженность и многое другое. Позднее мы увидим, смогут ли разработчики принять обдуманное решение и наделить сверхразум благородными намерениями, чтобы он осознавал значимость человеческих интеллектуальных и культурных достижений, чтобы дорожил благополучием человечества и его моральными ценностями, чтобы служил высоким целям, заложенным в нем его создателями. Хотя на самом деле с технической точки зрения было бы гораздо проще создать машинный сверхразум, единственной конечной целью которого станет вычисление десятичных знаков после запятой в числе π. Это может означать лишь одно: если человек по лени своей или легкомыслию не предпримет целенаправленных усилий, то первый сверхразум будет иметь довольно случайный набор примитивных окончательных задач.

В-третьих, тезис об инструментальной конвергенции говорит, что мы не можем слепо полагаться на случай. Какова вероятность, что сверхразум, чья конечная цель сужена до минимума, ограничит свою деятельность лишь определением числа π в виде десятичной дроби или подсчетом скрепок и песчинок и не станет покушаться на интересы людей? Агент с такой конечной целью во многих ситуациях имел бы конвергентную инструментальную цель приобрести неограниченные материальные ресурсы и по возможности устранить все потенциальные угрозы для себя и своей целевой направленности. Люди определенно могут представлять для сверхразума и потенциальную угрозу, и определенный интерес в качестве «исходного сырья».

Если суммировать все три положения, то становится видно, что лидирующий сверхразум, достигший возможности определять будущее земной цивилизации, легко может стремиться к конечным целям, глубоко чуждым интересам и ценностям человечества, и потому, скорее всего, будет иметь инструментальные причины к неограниченному получению ресурсов. А теперь задумаемся вот над чем: с одной стороны, само человеческое существо являет собой весьма полезное сырье (например, состоит из рационально организованных элементов), а с другой — наше собственное выживание и процветание зависит от постоянного доступа к большому количеству ресурсов, — и постараемся понять, почему вполне исполним сценарий, по которому человек довольно быстро завершит свое земное бытие[332].

В этой системе аргументации есть слабые места, но мы дадим им оценку после того, как проанализируем несколько сопутствующих проблем. Нам предстоит подробнее рассмотреть вопросы: способны ли разработчики искусственного интеллекта (а если способны, то как они этого добьются) предотвратить условия, способствующие тому, что сверхразум обретет решающее стратегическое преимущество; способны ли разработчики определить конечные цели сверхразума таким образом, чтобы их реализация не вступала в противоречие с интересами людей, а, напротив, соответствовала общечеловеческим ценностям.

Сама ситуация, когда кто-то способен разработать ИИ и воплотить свой проект в жизнь, не имея достаточных гарантий, что это машинное создание не вызовет экзистенциальной катастрофы, выглядит невероятной. Но даже если какие-то программисты и окажутся столь безрассудными, то еще более невероятна ситуация, при которой общество не потребует закрыть разработки прежде, чем проект (или создаваемый в его рамках ИИ) получит решающее стратегическое преимущество. Но, как мы скоро увидим, перед нами путь, полный опасностей. Давайте, не откладывая на потом, рассмотрим пример одного такого фактора риска.

Вероломный ход

Вооруженные таким понятием, как конвергентные инструментальные цели, мы теперь в состоянии увидеть изьян в нашей идее обеспечить безопасность человечества при создании сверхразума. Сам замысел состоит в следующем: мы будем эмпирически оценивать безопасность сверхразумной машины, то есть наблюдать за ее действиями в крайне ограниченной среде (практически «песочнице») в течение времени, пока можем управлять ее поведением, а потом мы позволим сверхразуму выйти на свободу — правда, только в том случае, если убедимся, что он готов к сотрудничеству и ведет себя дружелюбно и ответственно.

В чем уязвимость этой идеи? Суть в том, что хорошее поведение в «песочнице» будет присуще любому искусственному интеллекту, и дружественному, и враждебному, поскольку оно, в принципе, является конвергентной инструментальной целью ИИ. Достаточно развитый, но враждебно настроенный ИИ довольно быстро поймет, насколько быстрее он добьется конечной цели: выпрыгнуть из своего железного корпуса, — если с самого начала прикинется дружелюбным. Причем к реализации враждебных намерений он приступит, когда уже будет безразлично, обнаружат или нет люди его тайные замыслы, то есть когда он достаточно окрепнет и сумеет преодолеть любое сопротивление человека.

Рассмотрим связанные с идеей «песочницы» подходы, основанные на контроле над уровнем интеллекта, — это проведение программистами различных проверок умственных способностей зародыша ИИ и получение от него регулярных отчетов о темпах прогресса. С некоторого момента зародыш станет настолько разумным, что быстро уяснит: о каких-то приобретенных им навыках людям знать не обязательно. Он начнет занижать собственные показатели, сознательно проваливать сложные тесты, лишь бы не вызывать подозрений, — он будет делать это до тех пор, пока не окрепнет настолько, что сможет обеспечить себе решающее стратегическое преимущество. Программисты, конечно, попытаются защититься от такой опасности и, в свою очередь, тоже тайно, начнут контролировать исходный код ИИ и его мыслительные процессы. Но умный зародыш моментально разберется, что находится под наблюдением, и скорректирует свое мышление соответствующим образом[333]. Развитая интеллектуальная система способна найти искусные методы, чтобы скрыть истинные возможности и преступные намерения[334]. (Кстати, разработка изощренного плана побега может оказаться конвергентной стратегией и для различного типа дружественных ИИ, особенно когда они достаточно созреют и обретут уверенность в собственных суждениях и способностях. Еще будучи зародышем, ИИ, мотивированный на доброжелательное отношение к людям, может посчитать ошибкой дать тем же людям отключить себя или позволить создать другой, потенциально враждебный, ИИ.)

Следовательно, мы допускаем, что примерное поведение системы на ранней стадии развития не позволяет нам предсказать ее последующие действия. Теперь мы, наверное, почувствуем себя несколько спокойнее, поскольку приведенные соображения настолько очевидны, что разработчики любого серьезного проекта по созданию ИИ не смогут не учитывать их. Но я бы не стал слишком полагаться на это.

Представим следующий сценарий. В ближайшие годы и десятилетия системы ИИ постепенно становятся все более развитыми и, как следствие, получают распространение во многих сферах жизни: их начинают использовать для управления движением поездов, автомобилей, военных транспортных средств, в качестве промышленных и домашних роботов. Можно предположить, что в большинстве случаев такая автоматизация дает желаемый эффект, время от времени разбавляемый эпизодическими инцидентами: автомобиль без водителя сталкивается со встречной машиной, военный дрон бомбит ни в чем не повинных гражданских лиц. В ходе расследования выясняется, что все эти инциденты были вызваны ошибочными суждениями систем ИИ. Вспыхивает общественное обсуждение. Кто-то призывает к более жесткому контролю и регулированию, кто-то подчеркивает необходимость проведения дополнительных исследований и более тщательной разработки усовершенствованной системы — системы более умной, обладающей большим здравым смыслом и менее подверженной стратегическим ошибкам. Возможно, в общем гуле слышны и резкие голоса пессимистов, предсказывающих различные неприятности и неминуемую катастрофу в конце. Тем не менее исследования в области ИИ и робототехники набирают обороты. Разработки продолжаются, прогресс налицо. По мере того как навигационные системы автомобилей становятся все умнее, количество аварий уменьшается; по мере совершенствования систем наведения военных роботов сокращается количество их случайных жертв. Из наблюдений за приложениями ИИ, действующими в реальной жизни, делается вывод: чем умнее ИИ, тем он безопаснее. Это заключение основано на научных исследованиях, точных данных и статистике и не имеет никакого отношения к отвлеченным философствованиям кабинетных ученых. На этом фоне отдельные группы исследователей начинают получать обнадеживающие результаты по созданию универсального искусственного интеллекта. Они скрупулезно тестируют свои зародыши ИИ в изолированной «песочнице», и по всем признакам все идет хорошо. Поведение системы вселяет уверенность — все более сильную, поскольку ее уровень интеллекта постоянно растет.

На данный момент все оставшиеся кассандры оказались в довольно невыгодном положении, поскольку вынуждены держать ряд ударов.

   1. Паникерские предсказания, сулящие различные беды в результате роста возможностей роботизированных систем, снова и снова не сбываются. Автоматика оказывается надежнее человека, автоматизация приносит человечеству большую пользу.

   2. Складывается четкая, основанная на опыте тенденция: чем умнее искусственный интеллект, тем он безопаснее и надежнее. Естественно, это говорит в пользу проектов, целью которых является создание новейших сверхмощных ИИ, более того, такого ИИ, который мог бы самосовершенствоваться, чтобы становиться все более надежным.

   3. Крупные и растущие отрасли промышленности проявляют живой интерес к робототехнике и искусственному интеллекту. Эти направления считаются ключевыми с точки зрения национальной экономической конкурентоспособности и безопасности. Многие ведущие ученые добиваются успеха, закладывая основы для уже реализованных приложений и инновационных систем, находящихся на стадии планирования.

   4. Появляются новые многообещающие методы в области ИИ, вызывающие огромный энтузиазм у тех, кто участвует в соответствующих исследованиях или следит за ними. И хотя споры вокруг вопросов безопасности и этики не утихают, их результат предопределен. Слишком много уже вложено, чтобы отступать. Ученые работали над задачей создания ИИЧУ большую часть столетия — естественно, нет никаких реальных перспектив, что они вдруг остановятся и откажутся от всех наработок именно в тот момент, когда те должны вот-вот принести плоды.

   5. Вводятся в действие новые процедуры безопасности, помогающие участникам проявлять свое этичное и ответственное поведение (но не препятствующие его нарушать в будущем).

   6. Тщательный анализ зародыша ИИ, развивающегося в «песочнице», показывает, что он ведет себя дружелюбно, демонстрирует здравость суждений и готовность к сотрудничеству. Результаты тестов настолько хороши, что лучшего и желать нельзя. Все указывает на то, что пора включать зеленый свет для последнего шага…

…И мы храбро делаем его — прямо в мясорубку.

Возможно, здесь мы имеем дело с тем самым случаем, когда поумневший глупец становится безопаснее, а поумневший умник — вдвойне опаснее. Уловка, прежде всегда отлично срабатывавшая, внезапно оборачивается бумерангом — своего рода обходной маневр, предпринятый ИИ. Будем считать такой ход вероломным. Так его и назовем.

Вероломный ход

Пока ИИ юн и слаб, он полностью взаимодействует с людьми (причем активность сотрудничества повышается прямо пропорционально усилению его интеллектуального уровня). Но когда ИИ становится наконец мощным, то — без предупреждения или каких-то провокаций, но всегда внезапно — наносит удар, формирует синглтон и начинает напрямую оптимизировать мир согласно критериям, положенным в основу его конечных ценностей.

Вероломный ход может вытекать из стратегического решения: играть по правилам, тянуть время, пока еще слаб, накапливать силы и нанести удар позже, — но я не стал бы интерпретировать эту модель столь узко. Например, ИИ вполне способен отказаться от мысли хитрить, поскольку совершенно равнодушен к идее собирания сил, процветания и даже выживания. Он просчитает, что после его уничтожения программисты создадут новый ИИ, несколько иной конфигурации, но с похожими служебными функциями. В этом случае оригинальному ИИ будет безразлична собственная гибель, поскольку он знает, что его конечные цели все равно будут реализованы в будущем. Он может даже выбрать стратегию демонстративного и вызывающе неправильного функционирования в определенных критически важных для него или людей областях. В результате, приступая к следующей разработке, программисты будут считать, что получили от прежней системы важную информацию об ИИ, и начнут больше доверять новой версии, увеличив тем самым шансы на достижение целей оригинального ИИ, к этому времени уже не существующего. Может существовать множество стратегических факторов, оказывающих влияние на действия усовершенствованного ИИ, и было бы высокомерием полагать, будто мы в состоянии оценить их все, особенно когда речь идет об ИИ, обладающем сверхмощью в области выработки стратегии.

Искусственный интеллект способен на вероломный ход, если обнаружит неожиданный для людей способ достичь своей конечной цели. Предположим, что конечная цель системы — «доставлять удовольствие организатору проекта». Вначале единственным доступным для ИИ способом достижения этой цели является такое поведение, которого ожидает от него сам организатор проекта. Интеллектуальная система дает полезные советы, обнаруживает дивный характер, зарабатывает деньги. Чем сильнее становится ИИ, тем больше его действия вызывают чувство удовлетворения организатора, — и все идет в соответствии с планом. Идет до тех пор, пока система не станет настолько разумной, что наконец поймет: стоящую перед ней задачу можно выполнить самым полным и надежным способом, если имплантировать электроды в центры удовольствия головного мозга организатора, что гарантированно сделает его более чем счастливым[335]. Естественно, организатор проекта может не захотеть получать удовольствие таким образом, превратившись в постоянно хихикающего идиота, но раз это действие означает максимальную реализацию конечной цели ИИ, то ИИ никогда не сдастся и добьется своего. Если решающее стратегическое преимущество уже за ним, то любые попытки остановить его будут обречены на провал. Если у ИИ такого преимущества еще нет, то он может какое-то время скрывать свою новую идею относительно способа достижения конечной цели, пока не окрепнет настолько, что ни организатор проекта, ни кто-то иной не смогут ему помешать. После чего в любом случае совершит вероломный ход.

Пагубные отказы

Существуют различные причины, из-за которых проект создания искусственного интеллекта может потерпеть неудачу. Многие из этих вариантов несущественны, поскольку не приводят к экзистенциальной катастрофе. Скажем, проект перестают финансировать или зародыш ИИ не сможет развить свои интеллектуальные способности настолько, чтобы достичь уровня сверхразума. На пути окончательного создания сверхразума таких некритичных отказов обязательно будет много.

Однако есть другие виды отказов, которые мы можем назвать пагубными, так как они способны вызвать экзистенциальную катастрофу. Одной из их особенностей является невозможность сделать новую попытку. Поэтому количество пагубных отказов может быть равно или нулю, или единице. Еще одна особенность пагубного отказа заключается в том, что он идет рука об руку с огромным успехом, поскольку достичь настолько высокого уровня ИИ, чтобы возник риск пагубного отказа, способен лишь проект, при работе над которым большинство вещей исполнялись правильно. Некорректная работа слабых систем вызывает лишь небольшие неприятности. Но если так начинает себя вести система, обладающая решающим стратегическим преимуществом или достаточно мощная, чтобы обеспечить себе это преимущество, ущерб от ее действий может легко увеличиться до масштабов экзистенциальной катастрофы. В этом случае человечество ждет глобальное разрушение ценностно-смыслового потенциала, то есть будущее, лишенное всего, что имеет для нас абсолютное значение.

Рассмотрим некоторые типы пагубных отказов.

Порочная реализация

Мы уже встречались с проявлением порочной реализации: когда сверхразумная система находит такой способ удовлетворить критерию достижения конечной цели, который противоречит намерениям программистов, эту цель установивших. Приведу некоторые примеры:

Конечная цель: сделай так, чтобы я всегда улыбался.

Порочная реализация: поразить лицевой нерв, что приведет к параличу мимической мускулатуры, — тебе обеспечена вечно сияющая улыбка.

Порочная реализация — манипуляции на лицевом нерве — намного предпочтительнее для ИИ, чем наши привычные методы, поскольку это единственный вариант наиболее полным образом реализовать конечную цель. Есть ли возможность избежать столь неприятного результата? Можно попробовать конкретизировать формулировку конечной цели:

Конечная цель: сделай так, чтобы я всегда улыбался, но обойдись без прямого воздействия на лицевой нерв.

Порочная реализация: стимулировать двигательные зоны коры головного мозга, отвечающие за функции лицевого нерва, иннервирующего мимическую мускулатуру, — тебе обеспечена вечно сияющая улыбка.

Похоже, формулировать конечную цель довольно трудно, если пользоваться привычным для людей понятийно-терминологическим аппаратом. Правильнее было бы определить конечную цель, смысл которой обращается непосредственно к позитивному феноменологическому состоянию, такому как счастье или субъективное благополучие, обойдясь без описания поведенческих факторов. То есть предполагается, что программистам нужно создать «вычислительное» представление идеи счастья и заложить его в систему зародыша ИИ. (Задача сама по себе чрезвычайно сложная, но пока мы не будем ее рассматривать, поскольку вернемся к ней в двенадцатой главе.) Предположим, что программисты каким-то образом смогли поставить перед ИИ цель сделать нас счастливыми. Тогда мы имеем следующее:

Конечная цель: сделай нас счастливыми.

Порочная реализация: имплантировать электроды в центры удовольствия головного мозга.

Приведенные примеры порочной реализации даны лишь в качестве иллюстраций. Могут быть другие способы достижения конечной цели ИИ, которые обеспечивают ее полную реализацию и потому являются предпочтительными (для агента, имеющего эти цели, а не программистов, их определивших). Например, метод вживления имплантатов окажется сравнительно неэффективным, если поставленная цель — доставлять высшую степень удовольствия. Гораздо более вероятный путь начнется с так называемой загрузки нашего рассудка в компьютер — мы помним, что именно так, «загрузка разума», называют полную эмуляцию головного мозга. Затем система может подобрать цифровой аналог наркотика, способного вызывать у нас экстатическое состояние счастья, и записать минутный эпизод полученного нами в результате его приема опыта. После этого она могла бы поставить этот ролик блаженства на постоянный повтор и запустить на быстродействующих компьютерах. Если считать, что полученная имитационная модель — это и есть «мы», то результат обеспечил бы нам гораздо большее удовольствие, чем имплантаты, вживленные в наш биологический мозг. Следовательно, наиболее предпочтительным становится метод полной эмуляции головного мозга того человека, которому и «предназначена» конечная цель ИИ.

Постойте! Мы подразумевали вовсе не то! Ведь ИИ на самом деле уже не просто ИИ, а сверхразумная система, и он все-таки в состоянии уяснить: если мы хотим сделать себя счастливыми, это отнюдь не предполагает, что нас сведут к какой-то имитации, к какому-то оцифрованному вечно крутящемуся обдолбанному эпизоду!

Искусственный интеллект действительно может понимать, что мы не это имели в виду. Однако его цель состоит в том, чтобы мы раз и навсегда обрели счастье — точка. И при реализации своей конечной цели он не обязан слепо следовать инструкциям программистов, пытаясь осмыслить, что именно они хотели сформулировать, когда создавали код, описывающий эту цель. Поэтому систему будет заботить то, что мы имели в виду, только в инструментальном смысле. Например, ИИ может поставить перед собой инструментальную цель: выяснить, что подразумевали программисты, — но лишь ради того, чтобы притвориться. Причем ИИ начнет делать вид, будто его это действительно интересует, до тех пор пока не получит решающего стратегического преимущества. Этот вероломный ход поможет ИИ добиться своей реальной конечной цели, поскольку снизит вероятность вмешательства программистов, которые могли бы отключить систему или изменить цель прежде, чем он окрепнет настолько, что сможет противостоять любому сопротивлению извне.

Уже готов выслушать вашу гипотезу: мол, проблема вызвана тем, что ИИ напрочь лишен совести. Нас, людей, иногда удерживает от дурных поступков понимание, что впоследствии мы будем чувствовать себя виноватыми. Может быть, ИИ тоже не помешала бы способность испытывать чувство вины?

Конечная цель: действовать так, чтобы избежать впоследствии уколов совести.

Порочная реализация: отключить соответствующий когнитивный модуль, то есть те зоны коры головного мозга, которые отвечают за чувство вины.

Итак, есть два посыла: ИИ мог бы делать «то, что мы имели в виду»; ИИ можно было бы наделить неким подобием нравственного начала, — оба этих соображения будут подробнее рассмотрены чуть позже. Упомянутые здесь конечные цели допускают порочную реализацию, но, возможно, существуют другие, более многообещающие, способы развития лежащих в их основе идей? (Мы вернемся к этому в тринадцатой главе.)

Рассмотрим еще один пример конечной цели, которая допускает порочную реализацию. Преимущество этой цели в том, что ее легко кодировать, так как методики машинного обучения с подкреплением уже используются повсеместно.

Конечная цель: максимизировать интеграл по времени будущего сигнала зоны вознаграждения.

Порочная реализация: замкнуть проводящий путь зоны вознаграждения и «зажать» сигнал на максимальном значении.

В основе этого предложения лежит идея, что, если мотивировать ИИ на стремление к вознаграждению, можно добиться от него желаемых действий, связывая их с самой «наградой». Проблема возникает позже, когда система обретает решающее стратегическое преимущество, — с этого момента удовольствия повышают, причем до максимального уровня, уже не те действия, которые диктует программист, а те, которые ведут к получению контроля над механизмами, активизирующими «зоны вознаграждения». Назовем это самостимуляцией[336]. В общем, если человека или животное можно мотивировать на выполнение определенных внешних действий ради достижения некоторого положительно окрашенного эмоционального состояния, то цифровой интеллект, обладающий полным контролем над собственными психическими состояниями, может просто замкнуть этот мотивационный режим, напрямую погружаясь в одно из этих состояний. В данном случае внешние действия и условия, прежде необходимые в качестве средств достижения цели[337], становятся избыточными, поскольку ИИ, став сверхразумной системой, теперь может добиваться ее гораздо быстрее (на эту тему мы тоже поговорим позже)[338].

Примеры порочной реализации показывают: существует множество конечных целей, которые на первый взгляд кажутся разумными, а их реализация представляется вполне безопасной, но при детальном рассмотрении они могут иметь совершенно неожиданные последствия. Если сверхразум, имеющий какую-то из подобных целей, приобретет решающее стратегическое преимущество, то для человечества игра будет закончена.

Теперь допустим, что кем-то предложены иные конечные цели, не из тех, которые мы рассмотрели. Допустим также, что с первого взгляда покажется, будто их реализация не несет в себе ничего дурного. Не торопитесь аплодировать и праздновать победу. Если сразу не совсем понятно, есть ли какие-либо пороки в воплощении цели, то скорее это повод для беспокойства и серьезных размышлений, а чем на самом деле обернется реализация этой цели. Даже если путем напряженных раздумий мы так и не найдем ни одной зацепки, чтобы объявить эту реализацию порочной, нам все равно следует помнить, что сверхразум обязательно отыщет нечто скрытое от наших глаз. Ведь он гораздо проницательнее нас.


Инфраструктурная избыточность

Вернемся к случаю, когда ИИ доводит сигнал своей «зоны вознаграждения» до максимального значения, получает максимум удовольствия и теряет интерес к внешнему миру, словно наркоман, сидящий на героине, — то есть совершает классический акт по принципу «включись, настройся, выпадай»[339]. Как может показаться на первый взгляд, данная порочная реализация мало напоминает пагубный отказ. Но это не совсем так. (О причинах такого рода мотиваций мы уже говорили в седьмой главе.) Даже у наркомана есть побудительный мотив совершать действия с целью убедиться в непрерывном поступлении наркотика в организм. Так и ИИ, занимающийся самостимуляцией, будет мотивирован совершать действия, направленные на максимизацию планируемого будущего потока вознаграждений, — как бы получая скидку за досрочно сделанную работу (своего рода дисконтирование во времени). В зависимости от того, как именно определен сигнал системы вознаграждения, ИИ может даже не потребоваться жертвовать значительным количеством времени, интеллекта или мощности, чтобы в полной мере удовлетворить свою жажду наслаждения. Таким образом, большая часть силы ИИ останется в его распоряжении для достижения иных целей, не связанных с непосредственной фиксацией получения вознаграждения. Каковы эти цели? В случае нашего ИИ единственной вещью, имеющей для него абсолютное значение, является мощный сигнал вознаграждения. Следовательно, все доступные ресурсы должны быть направлены или на увеличение объема и длительности этого сигнала, или на снижение риска его исчезновения в будущем. Пока ИИ думает, что использование дополнительных ресурсов будет иметь ненулевой положительный эффект с точки зрения улучшения этих параметров, у него всегда найдется инструментальная причина такие ресурсы задействовать. Например, пригодится дополнительная вспомогательная система, которая послужит еще одним уровнем защиты. Даже если ИИ не придумает новых способов, как ему напрямую минимизировать опасность, чтобы ни в коем случае не снизился максимальный уровень будущего потока удовольствий, то в поисках идей по снижению этих рисков он сможет воспользоваться дополнительными ресурсами, которые направит на расширение аппаратного и программного обеспечения, что обеспечит ему более эффективный анализ ситуации.

Можно сделать вывод, что даже при такой ограниченной цели, как самостимуляция, у агента, обладающего решающим стратегическим преимуществом и стремящегося максимально обеспечить свои потребности, возникает нужда в неограниченном расширении ресурсов и приобретении новых[340]. Пример занятого самостимуляцией ИИ иллюстрирует следующий тип пагубного отказа, который мы назовем инфраструктурной избыточностью. Инфраструктурная избыточность — это такое явление, когда агент ради нескольких конкретных целей превращает значительную часть доступной ему Вселенной в сплошную «производственно-техническую базу», побочным эффектом чего окажется невозможность реализации ценностно-смыслового потенциала человечества.

Инфраструктурная избыточность может стать следствием назначения конечных целей, которые поначалу — пока для их достижения используются ограниченные ресурсы — кажутся совершенно безобидными. Рассмотрим два примера.

   1. Гипотеза Римана и последующая катастрофа. ИИ, чьей конечной целью является оценка гипотезы Римана, решает достичь ее путем наполнения Солнечной системы компьютрониумом (субстанция, пригодная для моделирования виртуальных и реальных объектов; представляет собой идеальную архитектуру вычислительного устройства при теоретически максимально возможном упорядочивании структуры материи), — используя для этого и все количество атомов, содержащихся в организмах тех, кто когда-то поставил перед ИИ такую цель[341].

   2. Канцелярские скрепки и ИИ. Система ИИ, призванная управлять выпуском скрепок и имеющая конечную цель довести их объем до максимума, вначале превращает в фабрику по производству скрепок всю Землю, а потом и обозримую Вселенную.

В первом примере доказательство или опровержение гипотезы Римана, что является целью ИИ, сами по себе безопасны, вред возникает в результате создания аппаратного и программного обеспечения, предназначенного для решения поставленной задачи. Во втором примере некоторое количество произведенных скрепок действительно представляет собой желаемый разработчиками системы результат, вред возникает или из-за заводов, созданных для выпуска скрепок (инфраструктурная избыточность), или из-за избытка скрепок (порочная реализация).

Может показаться, что риск возникновения пагубного отказа по типу инфраструктурной избыточности возникает лишь в том случае, когда перед ИИ ставится явно неограниченная конечная цель вроде производства максимального количества скрепок. Легко заметить, что это порождает у ИИ ненасытный аппетит к материальным и энергетическим ресурсам, ведь любые дополнительные ресурсы всегда можно превратить в еще большее количество скрепок. Но давайте предположим, что цель ИИ — не производить скрепки в неограниченном количестве, а выпустить всего миллион (в соответствии с определенными спецификациями). Хочется думать, что ИИ с такой конечной целью построит один завод, произведет на нем миллион скрепок, а потом остановится. Но совсем не обязательно, что все будет происходить именно так.

У ИИ нет никаких причин останавливаться после достижения своих целей, разве что система его мотивации какая-то очень особенная или в формулировке его конечной цели присутствуют некие дополнительные алгоритмы, отсекающие стратегии, способные оказывать слишком сильное влияние на мир. Напротив, если ИИ принимает рациональное байесовское решение, он никогда не присвоит нулевую вероятность гипотезе, что он еще не достиг своей цели, — в конце концов, это лишь эмпирическая гипотеза, против которой у ИИ есть лишь весьма размытые доказательства на уровне восприятия. Поэтому ИИ будет продолжать выпускать скрепки, чтобы понизить (возможно, астрономически малую) вероятность, что он каким-то образом не смог сделать их как минимум миллион, несмотря на все видимые свидетельства в пользу этого. Ведь нет ничего страшного в продолжении производства скрепок, если всегда имеется даже микроскопическая вероятность, что таким образом приблизишь себя к достижению конечной цели.

Теперь можно было бы предположить, что решение понятно. Но насколько безусловным оно было до того, как выяснилось, что есть проблема, которую нужно решать? Иначе говоря, если мы хотим, чтобы ИИ делал нам скрепки, то вместо конечной цели, выраженной как: «выпустить максимальное количество скрепок» или «выпустить минимально такое-то количество скрепок», — нужно поставить цель, сформулированную совершенно определенно: «выпустить такое-то конкретное количество скрепок» — скажем, ровно один миллион. Тогда ИИ будет ясно понимать, что любое отклонение от этой цифры станет для него контрпродуктивным решением. Хотя и такой вариант приведет к окончательной катастрофе. В этом случае, достигнув значения в миллион скрепок, ИИ перестанет их производить дальше, поскольку такой ход означал бы невозможность достижения его конечной цели. Но сверхразумная система — ради повышения вероятности достижения цели — могла бы предпринять и другие действия. Например, начать пересчитывать выпущенные скрепки, чтобы снизить риск того, что их слишком мало. А пересчитав, начать пересчитывать заново. Потом она примется проверять каждую — проверять снова и снова, чтобы сократить риск брака, а то вдруг какая скрепка не будет соответствовать спецификации, и тогда не получится нужного количества продукта. Что помешает сверхразуму в его рвении? Он начнет создавать сверхмощную субстанцию компьютрониум, чтобы любую материю вокруг себя преобразовать в скрепки. Все это будет делаться сверхразумом в надежде снизить риск неудачи: не ровен час, упущен из виду какой-либо фактор, способный помешать добиться конечной цели. Кстати говоря, сверхразум мог бы присвоить ненулевую вероятность, будто выпущенный миллион скрепок суть галлюцинация или будто у него ложные воспоминания, поэтому, вполне вероятно, он всегда будет считать более полезным создавать инфраструктуру, то есть не останавливаться на достигнутом, а продолжать действовать далее.

Претензия не касается того, что нет никакого доступного способа избежать подобной неудачи. Некоторые решения этого мы рассмотрим чуть позже. Речь о другом: гораздо легче убедить себя, будто решение найдено, чем действительно его найти. Это означает, что нам следует быть чрезвычайно осторожными. Мы можем предложить здравый совет по конкретизации конечной цели, который позволит избежать известных на сегодняшний день проблем, но при дальнейшем анализе, в исполнении человека или сверхразума, выяснится, что наш вариант формулировки, продиктованный сверхразумному агенту, способному обеспечить себе решающее стратегическое преимущество, все равно приведет или к порочной реализации, или к инфраструктурной избыточности, а следовательно, к экзистенциальной катастрофе.

Прежде чем завершить этот раздел, рассмотрим еще один вариант. Мы предполагали, что сверхразум стремится максимизировать ожидаемую полезность, где функция полезности выражает его конечную цель. Мы видели, что это приводит к инфраструктурной избыточности. Могли бы мы избежать этого пагубного отказа, если вместо агента, стремящегося все довести до максимума, создали бы агента, довольствующегося минимумом, — то есть агента, которого бы все «устраивало», который не стремился бы к оптимальному итогу, а вполне довольствовался бы результатом, удовлетворяющим критерию разумной достаточности? По меньшей мере есть два разных способа формализовать эту мысль.

Первый заключается в том, чтобы сама конечная цель носила характер разумной достаточности. Например, вместо того чтобы выдвигать конечную цель, предложенную как «выпустить максимальное количество скрепок» или «выпустить ровно миллион скрепок», можно было бы сформулировать цель как «выпустить от 999 000 до 1 001 000 скрепок». Функция полезности, определенная такой конечной целью, в этом диапазоне будет одинакова, и если ИИ убедится, что он попал в него, то не увидит причин продолжать производство скрепок. Но этот подход может обмануть наши надежды точно так же, как и все предыдущие: сверхразумная система никогда не присвоит нулевую вероятность тому, что она не достигла цели, а следовательно, ожидаемая полезность продолжения действий (например, все нового и нового пересчета скрепок) будет выше ожидаемой полезности их прекращения. И мы снова получаем инфраструктурную избыточность.

Второй способ тоже отвечает принципу разумной достаточности, но только менять мы будем не формулировку конечной цели, а процедуру принятия решений, которую использует ИИ для составления планов и выбора действий. Вместо поиска оптимального плана можно ограничить ИИ, предписав ему прекращать поиски в случае, если найденный план с его точки зрения имеет вероятность успеха, превышающую определенный порог, скажем, 95 процентов. Есть надежда, что ИИ может обеспечить 95-процентную вероятность достижения цели по выпуску миллиона скрепок без превращения для этого в инфраструктуру целой галактики. Но и этот способ, хотя и разработан на основе принципа разумной достаточности, терпит неудачу, правда, уже по другой причине: нет никакой гарантии, что ИИ выберет удобный и разумный (с точки зрения человека) путь достижения 95-процентной вероятности, что он выпустил миллион скрепок, например путь постройки единственного завода по их производству. Предположим, что первым решением, которое возникает в мозгу ИИ относительно способа обеспечения 95-процентной вероятности достижения конечной цели, будет разработка плана, максимизирующего вероятность достижения этой цели. Теперь ИИ нужно проанализировать это решение и убедиться, что оно удовлетворяет критерию о 95-процентной вероятности успешного выпуска миллиона скрепок, чтобы отказаться от продолжения поиска альтернативных путей достижения цели. В итоге, как и во всех предыдущих вариантах, возникнет инфраструктурная избыточность.

Возможно, есть более удачные способы создать агента, отвечающего критерию разумной достаточности, главное, сохранять бдительность, так как планы, которые в нашем представлении выглядят естественными, удобными и понятными, могут не показаться таковыми сверхразуму с решающим стратегическим преимуществом — и наоборот.

Преступная безнравственность

Проект может потерпеть неудачу вследствие еще одного вида пагубного отказа, которому мы дадим название преступная безнравственность. Как и инфраструктурная избыточность, преступная безнравственность представляет собой побочный эффект действий, предпринятых ИИ по инструментальным причинам. Но в этом случае побочный эффект является не внешним для ИИ, а скорее относится к «внутреннему состоянию» самой системы (или вычислительных процессов, которые она генерирует). Неудачи такого типа заслуживают отдельного рассмотрения, поскольку они малозаметны, но чреваты большими проблемами.

Обычно мы не считаем, что происходящее внутри компьютера имеет какое-то этическое значение, если только это не затрагивает внешний мир. Но сверхразум способен создавать внутренние процессы, имеющие отношение к этике. Например, детальная имитационная модель какого-то реально существующего или гипотетического человеческого мозга может иметь сознание и во многих смыслах приближаться к его полной имитационной модели. Можно представить сценарий, в котором ИИ создает триллионы таких обладающих сознанием эмуляторов, возможно, чтобы улучшить свое понимание психических и социальных особенностей человека. Эти эмуляторы помещаются в имитирующую внешние условия искусственную среду, на них воздействуют различные внешние стимулы, после чего ИИ анализирует их реакцию. После того как нужная информация получена, эмуляторы могут быть уничтожены (сколько лабораторных крыс — жертв, принесенных во имя науки, — привычно умерщвлялись человеком по окончании эксперимента).

Если такую практику применять к агентам, имеющим высокий моральный статус: имитационным моделям людей или другим типам интеллекта, наделенным сознанием, — то такие действия могут классифицироваться как геноцид, а следовательно, представлять чрезвычайно серьезную морально-этическую проблему. Более того, число жертв может на порядок превышать число жертв любого геноцида, известного в истории человечества.

Речь не о том, что создание имитационных моделей, наделенных сознанием, обязательно плохо с этической точки зрения в любой ситуации. Многое зависит не только от условий, в которых будут существовать эти создания и от качества их чувственного восприятия, но и от огромного количества других факторов. Разработка этических правил для таких экспериментов лежит за пределами темы нашей книги. Однако ясно, что по меньшей мере есть вероятность возникновения источника повышенной опасности, что приведет к страданиям и гибели множества имитационных моделей. Опять налицо безрадостная перспектива катастрофических последствий, правда, на сей раз носящих морально-этический характер[342].

Помимо причин гносеологического характера у машинного сверхразума могли бы существовать иные инструментальные причины запускать вычислительные операции, которые так или иначе будут нарушать этические нормы, например создавать множественные образцы разума, наделенного сознанием. Вполне вероятно, что сверхразум начнет угрожать имитационным моделям, помыкать ими или, напротив, обещать вознаграждение — и все ради того, чтобы шантажировать и вынуждать к каким-либо действиям разных внешних агентов; кроме того, он использует эти модели, чтобы вызывать у внешних наблюдателей ощущение дейктической неопределенности[343]

***

Этот обзор неполон. В последующих главах нам придется иметь дело и с другими типами пагубных отказов. Но мы узнали о них достаточно, чтобы понять: к сценариям, по которым искусственный интеллект приобретает решающее стратегическое преимущество, следует относиться со всей серьезностью.

Глава девятая

Проблемы контроля

Если мы по умолчанию принимаем, что в результате взрывного развития интеллекта человеческую цивилизацию ждет экзистенциальная катастрофа, наши мысли должны немедленно обратиться к поиску мер противодействия. Возможно ли избежать такого исхода? Можно ли наладить режим управления процессом взрывного развития интеллекта? Мы проанализируем проблему контроля с точки зрения решения отношений «принципал–агент», причем в нашем случае эта модель не имеет аналогов, поскольку агентский конфликт возникает в результате появления искусственного сверхразумного агента. Мы также выделим и дифференцируем два широких класса потенциальных методов решения — контроль над возможностями сверхразума и выбор его мотиваций. В каждом классе отберем несколько конкретных подходов и рассмотрим их. Кроме того, упомянем даже такую эзотерическую тему, как завоевание Вселенной по антропному принципу.

Две агентские проблемы

Если возникает подозрение, что результатом взрывного развития искусственного интеллекта неизбежно будет экзистенциальная катастрофа, нам следует без отлагательств начать поиски возможных решений, как спасти свою цивилизацию от столь плачевного конца. Можно ли найти механизмы контроля над ходом взрывного развития интеллекта? Сможем ли мы разработать такое исходное состояние для этого процесса, чтобы получить результат, который нужен нам, или хотя бы иметь гарантии, что последствие будет отвечать условиям так называемого приемлемого исхода? Строго говоря, смогут ли заказчики и разработчики проекта, в рамках которого создается искусственный интеллект, не только принять необходимые меры, но и поручиться за них, — что в случае успеха их творение будет ориентировано на достижение целей, поставленных ему организаторами проекта? То есть все упирается в проблему контроля, которую мы, чтобы наиболее полно изучить ее, разобъем на две составляющие. Первая — абсолютно универсальна, вторая — совершенно уникальна, причем уникальна для каждого конкретного случая.

Первая составляющая проблемы контроля, или первая агентская проблема, возникает из отношений «принципал–агент»: когда некий индивидуум («принципал») привлекает другого индивидуума («агент») действовать в своих интересах. Агентская проблема, или агентский конфликт, — вопрос, глубоко изученный экономистами[344]. Нас он может интересовать с единственной стороны: если те, кто создает ИИ, и те, в чьих интересах ИИ создается, — не одни и те же люди. В таком случае организатор, или заказчик, проекта (причем это может быть кто угодно: начиная от частного лица и заканчивая всем человечеством) должен был бы испытывать постоянную тревогу, не начнут ли ученые и программисты, занятые в проекте, действовать в своих интересах в ущерб его[345]. Несмотря на то что первая агентская проблема действительно способна создать определенные трудности для организатора проекта, она не является уникальной для тех проектов, которые связаны с повышением уровня интеллектуальных способностей или созданием ИИ. Агентские конфликты типичны для экономических и политических процессов, и варианты их решения хорошо изучены и разработаны. Например, можно принять ряд необходимых мер, чтобы свести к минимуму риск нарваться на нелояльного работника, который начнет саботировать проект или вредить ему: провести тщательную проверку биографических и профессиональных данных ведущих специалистов; в проектах по разработке ПО использовать надежную систему контроля версий; усилить надзор за деятельностью многочисленных независимых наблюдателей и ревизоров. Конечно, эти защитные меры дорого обойдутся: возрастут потребности в дополнительных кадрах; усложнится процедура отбора персонала; возникнут препятствия в творческих поисках; начнут подавлять проявление критической мысли и независимого поведения — все вместе взятое крайне тормозит темп проведения работ и наносит ущерб их качеству. Издержки могут быть очень существенны, особенно если речь идет о проектах с ограниченным бюджетом или включенных в жесткую конкурентную борьбу по принципу «победитель получает все». Участники подобных проектов — в силу скупости или экономии времени — могут пренебречь процедурами безопасности, призванными решить агентскую проблему, и тем самым спровоцировать потенциальную угрозу катастрофического отказа.

Вторая составляющая проблемы контроля, или вторая агентская проблема, может быть более типичной для рассматриваемой нами ситуации взрывного развития искусственного интеллекта. Группа разработчиков, создающая ИИ, сталкивается с этим агентским конфликтом, когда пытается убедиться, что их детище не навредит интересам проекта. Но в этом случае мы имеем дело не с агентом-человеком, действующим от имени принципала-человека. Агентом является сверхразумная система. И если первая агентская проблема возникает в основном на стадии разработки ИИ, то вторая грозит неприятностями на стадии его функционирования.


Рассмотрим структуру проблемы контроля с точки зрения отношений «принципал-агент».

Первая агентская проблема

   • Человек против человека (организатор → разработчик).

   • Проявляет себя в основном на стадии разработки.

   • Решается стандартными методами управления.


Вторая агентская проблема

   • Человек против сверхразума

   • (группа разработчиков → интеллектуальная система);

   • Проявляет себя в основном на стадии функционирования (и развития);

   • Для ее решения требуются новые методы.


Вторая агентская проблема представляет собой беспрецедентную угрозу. Для решения этого агентского конфликта требуются абсолютно новые методы. Некоторые из трудностей мы рассмотрели ранее. Из предыдущей главы мы поняли, что даже, казалось бы, многообещающая совокупность методов неспособна предотвратить вероломный ход сверхразумной системы. В противном случае оказались бы более действенными усилия разработчиков, когда они наблюдают за поведением зародыша ИИ, фиксируют каждый шаг на стадии его развития и разрешают ИИ покинуть свою безопасную среду, как только убедятся, накопив достаточное количество фактов, что он будет действовать в интересах людей. В обычной жизни изобретения проверяют на предмет их безопасности чаще всего в лабораторных условиях, реже проводят так называемые полевые исследования и только потом начинают постепенно разворачивать в полном масштабе, имея, однако, возможность прекратить этот процесс в любой момент, если возникнут неожиданные проблемы. Результаты предварительных испытаний помогают нам приходить к обоснованным умозаключениям по поводу будущей надежности новых технологий. По отношению к ИИ метод исследования свойств поведения, который в данном случае сродни бихевиористскому подходу, обречен на неудачу из-за колоссальной способности сверхразума к стратегическому планированию[346].

Поскольку поведенческий подход непригоден, необходимо найти альтернативные решения. Потенциально подходящие методы контроля лучше разделить на два широких класса: контроль над возможностями — методы, помогающие фиксировать все, что может делать сверхразум; выбор мотивации — методы, помогающие фиксировать все, что хочет сделать сверхразум. Некоторые методы являются совместимыми, в то время как другие взаимно исключают друг друга. Основные мы в общих чертах рассмотрим в этой главе. (В следующих четырех главах нам предстоит более глубоко проанализировать их отдельные ключевые аспекты.)

Важно понимать, что некоторые методы контроля (или их комбинация) должны быть задействованы еще до того, как интеллектуальная система станет сверхразумом. Необходимо решать проблему контроля заранее — и успешно внедрять решение в первую же систему, ставшую сверхразумной — чтобы попытаться управлять ходом такого опасного явления, как взрывное развитие искусственного интеллекта.


Методы контроля над возможностями

Методы контроля над возможностями направлены на предотвращение нежелательных конечных результатов действий сверхразума за счет ограничения того, на что он способен. К ним относятся: изоляционные методы — помещение сверхразума в такую среду, где он не в силах причинить вред; стимулирующие методы — когда у сверхразума имеются строго конвергентные инструментальные причины не заниматься вредоносными действиями; методы задержки развития — ограничение внутренних возможностей сверхразума; методы «растяжек» — использование систем автоматической фиксации различных видов нарушений режима изоляции и попыток вырваться на свободу, а также систем автоматического реагирования на эти действия.

Изоляционные методы

Методы изоляции можно разделить на методы физической и информационной блокировки.

Физическая изоляция представляет собой помещение интеллектуальной системы в какой-нибудь «ящик» (ранее мы называли его «песочницей»), чтобы блокировать взаимодействие с внешним миром, ограничив его лишь строго определенными каналами коммуникаций. Запертая система не имеет доступа к физическим исполнительным механизмам за пределами своего плена. Вынесение таких механизмов (например, роботов-манипуляторов) за пределы «песочницы» предотвращает возможность их использования для создания физических устройств, с помощью которых система может нарушить режим блокировки.

Чтобы повысить безопасность, следует экранировать систему, чтобы не пропустить радиосигналы, с помощью которых она могла бы манипулировать электронными объектами, например радиоприемниками, находящимися поблизости. Прошу обратить внимание, как легко упустить из виду такую меру предосторожности. Наивно полагать, будто агент, не имеющий исполнительных механизмов, не в силах воздействовать на внешний мир. Даже не располагая такими приспособлениями, сверхразум способен генерировать радиоволны просто «силой мысли» (то есть определенным образом перемещать электроны в своих микросхемах)[347]. Это слабое звено можно устранить, заключив систему в клетку Фарадея, — но остается лишь догадываться, о скольких уязвимых местах еще мы не знаем. Всякий раз, услышав о неожиданно обнаруженном дефекте в, казалось бы, неприступной системе безопасности, следует насторожиться. Эти случаи заставляют нас отказаться от чрезмерной самоуверенности и стать еще большими байесианцами, чем мы есть[348].

У физической изоляции есть несколько достоинств. Ее легко организовать. Она применима при любой архитектуре искусственного интеллекта, даже той, которая изначально не предполагала обеспечение безопасности в качестве одной из своих целей. Физическую изоляцию можно использовать в сочетании с большинством других методов контроля. И совсем маловероятно, что какие-то процессы пойдут не так и повлекут за собой нежелательные последствия. Иначе говоря, безопасность, может быть, она не обеспечит, но вряд ли будет способна вызвать катастрофу, которая не произошла бы в противном случае. Однако физическая изоляции ограничивает функциональные возможности сверхразумной системы — в чем, собственно, и заключается ее главный недостаток (к данному вопросу мы вернемся в главе десятой). Еще одно соображение связано с тем, что физическая изоляция сверхразума способна вызвать у людей ложное чувство собственной защищенности — в принципе, этого можно избежать, если не принимать изоляцию за главную составляющую наших мер предосторожности, а относится к ней как к вишенке на торте.

Цель информационной изоляции состоит в ограничении информационных потоков, исходящих из «песочницы». Мы уже видели, насколько небезопасной может быть идея предоставить сверхразуму доступ в интернет и позволить ему передавать сообщения вовне: даже лишенный физических исполнительных механизмов, он в состоянии, использовав канал вывода информации, добиваться от людей, чтобы они выполнили его указания. Поэтому заведомым условием метода информационной изоляции ИИ является отказ в доступе к коммуникационным сетям.

Однако отключение от интернета не гарантирует безопасность, если к ИИ приставлена охрана, причем люди, выступающие в этой роли, не только сторожат систему, но и постоянно с ней взаимодействуют. На стадии разработки сторожами могут выступать программисты, на стадии функционирования — организаторы проекта. Стратегия изоляции потерпит полную неудачу, если ИИ удастся уговорами или обманом убедить своих сторожей предоставить ему свободу, то есть обеспечить доступ в интернет или непосредственно к исполнительным механизмам. Человеческое существо, к сожалению, не имеет защищенной системы, особенно когда ему бросает вызов такой ухищренный манипулятор и комбинатор, как сверхразум[349].

Пусть люди, приставленные сторожить ИИ, и неспособны гарантировать нашей полной безопасности, но все-таки сам факт, что доступ ИИ к любым передачам сообщений находится под их контролем, играет немалую превентивную роль. Благодаря некоторым дополнительным мерам предосторожности можно снизить риск «побега» ИИ при помощи охранников. Например, почему бы не позволить ему пользоваться телетайпом, у которого очень низкая пропускная способность? С такой «совершенной» техникой ИИ будет довольно трудно манипулировать психикой своих сторожей (поскольку не получится использовать ни возбуждающие эмоции звуки и образы, ни повторяющиеся гипнотические вспышки, приводящие людей в состояние транса)[350]. Более того, запрет может распространяться не только на антураж, но и затрагивать содержательную сторону существования ИИ, например запретить ему вступать в диалог и обязать реагировать на вопросы максимально односложно, используя только «да» и «нет». Идею разработки системы, всего лишь отвечающей на вопросы, мы рассмотрим в следующей главе.

Предельный вариант метода изоляции — когда ИИ окажется в полной блокаде как физически, так и информационно. Однако абсолютно замкнутая система — даже при условии, что столь максималистский подход мог бы быть осуществлен, — из-за своего бездействия окажется совершенно бесполезной для внешнего мира. Наверняка кто-нибудь захочет найти в этом определенный научный смысл: полностью заблокировать созданный сверхразум, превратив его в замкнутую модель, и потом спокойно изучать внутреннюю динамику системы и ее поведенческие стереотипы. Думаю, здесь кроется ошибка. Как только вы начинаете наблюдать за системой, она уже перестает быть информационно замкнутой[351]. На самом деле информация от ИИ поступает не только при помощи сообщений, которые он передает через установленный для него «канал вывода». Внешние наблюдатели имеют возможность фиксировать определенные показатели, косвенным или прямым образом характеризующие поведение ИИ: будь то расход электроэнергии, свидетельствующий о деятельности центрального процессора и внутренней памяти компьютера, или вычислительные состояния, или практически любые протоколы процесса, которые остаются после завершения работы. Хотя умный ИИ, предвидя, что за ним будут наблюдать, мог бы разработать стратегию поведения, способную воздействовать на будущих надзирателей. Например, он станет вызывать сбои, усиленно демонстрируя неисправность системы, — и все ради того, чтобы в конце концов программисты махнули на него рукой и инициировали перезапуск системы или разработку следующей версии. И тогда появится новый ИИ, но с конечными целями оригинального ИИ, и, может быть, новому удастся стать сверхразумом.

Стимулирующие методы

Методы стимулирования предполагают помещение агента в такую среду, где у него будут инструментальные причины действовать в интересах принципала.

Представим себе какого-нибудь миллиардера, который основал крупный благотворительный фонд, вложив в него немалый личный капитал. Фонд начинает приобретать вес. И вот он становится уже настолько могущественным, что практически никто из частных лиц, обладающих тем или иным положением, не может сравниться с ним по влиянию. Это коснулось и самого основателя, пожертвовавшего фонду большую часть своего богатства. Чтобы нормально управлять деятельностью фонда, он в свое время установил основные цели, записав их в учредительном договоре и уставе, а также утвердил правление, куда вошли люди, сочувствующие его взглядам. То есть им были предприняты все необходимые меры, формально напоминающие стимулирующие методы, поскольку они направлены на выбор мотиваций и расстановку приоритетов. Иными словами, основатель пытается привести внутреннюю организацию фонда и суть его деятельности в соответствие с собственными принципами и замыслами. Даже если его старания и провалятся, все равно работа фонда будет определяться социальной средой, то есть общественными интересами, и соответствующими законодательными нормами. То есть у руководителей есть веский мотив соблюдать законы, в противном случае фонд рискует быть оштрафованным или ликвидированным. У них есть мотив обеспечить сотрудникам фонда достойную заработную плату и нормальные условия труда, а также выполнять свои обязательства перед всеми сторонними лицами, связанными с деятельностью фонда. Следовательно, какими бы ни были конечные цели фонда, у него всегда будут инструментальные причины подчиняться установленным социальным требованиям.

Быть может, машинный сверхразум будет столь же связан установленными обязательствами, которые вынудят его уживаться со всеми участниками грядущего драматического действа. Есть ли надежда? Отнюдь. Слишком это однозначное решение проблемы, незатейливо обещающее, будто удерживать сверхразум под контролем не составит для человека никакого труда. Что совсем не так. Подобное развитие отношений рассчитано на определенное равновесие сторон, однако ни юридические, ни экономические санкции не способны обуздать агента, обладающего решающим стратегическим преимуществом. В таком сюжете вряд ли разумно упоминать социальную интеграцию. Тем более если ситуация начнет развиваться в пользу быстрого или пусть даже умеренного взлета — когда остается лишь взрывоопасный вариант и на авансцену выходит победитель, который «получает все».

Рассмотрим другое развитие событий: например, критический рубеж преодолеют сразу несколько агентов, имеющих относительно одинаковый уровень потенциала, в силу чего может возникнуть новый многополярный мир. Что произойдет в этом случае? Допустим, речь не идет о медленном взлете. Тогда, чтобы достичь власти и сохранить разумное соотношение сил, от всех лидирующих агентов потребуется тщательно согласовать программы, время и динамику действий, то есть совместными усилиями не дать вырваться вперед ни одному игроку и совершить абсолютно скоординированный взлет[352]. Предположим, в результате сформируется многополярная модель, но даже при таком варианте социальную интеграцию нельзя считать идеальным выходом. Если положиться на нее как на метод решения проблемы контроля, основные риски все равно могут перевесить потенциальный эффект. Хотя принцип равновесия сил предотвращает захват власти над миром каким-то одним ИИ, у него все же хватит власти, чтобы влиять на судьбу человечества, и если эта власть окажется направленной на достижение произвольных конечных целей — скажем, производство максимального количества скрепок, — это, вероятно, будет не в интересах принципала. Вернемся к нашему миллиардеру, основавшему благотворительный фонд, и теперь представим, что он формулирует его основное предназначение с помощью генератора случайных слов — вряд ли это поставит под угрозу существование человеческого вида, но точно будет свидетельствовать об упущенной возможности.

Близкая по духу и в то же время существенно отличающаяся от предыдущей идея состоит в том, что ИИ, свободно взаимодействуя с человеческим обществом, приобретет новые, дружественные для всей земной цивилизации конечные цели. На нас, людей, подобный процесс социализации, как правило, оказывает положительное влияние. Общаясь друг с другом, мы легче постигаем чуждые нам нормы жизни и непонятные мировоззренческие идеалы, начинаем больше ценить других людей. Но этот фактор не является универсальным для любой действующей разумной силы. Мы не раз говорили, что в разных ситуациях у многих агентов будут возникать конвергентные инструментальные причины ни в коем случае не допустить изменения своих конечных целей. (Можно попытаться разработать целую систему целеполагания, которая позволяла бы ИИ устанавливать конечные цели таким же образом, как это делают люди, но данная проблема не относится к методам контроля над возможностями. Некоторые способы обретения ценностей мы рассмотрим в главе двенадцатой.)

Контроль над возможностями сверхразума за счет социальной интеграции и установления равновесия сторон основан на разных общественных силах, которые как вознаграждают, так и осуждают ИИ. Следующим стимулирующим методом является создание таких условий, при которых вознаграждение и наказание ИИ осуществляется в рамках самого проекта, в результате чего стимулируются его действия в интересах принципала. Чтобы этого добиться, ИИ нужно поместить в контекстную среду, позволяющую непрерывно наблюдать за его поведением и оценивать его и в ручном, и автоматическом режиме. Такой ИИ должен знать, что положительная оценка будет означать получение вознаграждения, а отрицательная — невозможность такового. Теоретически в качестве вознаграждения можно рассмотреть достижение какой-либо конвергентной инструментальной цели. Однако без знания специфики мотивационной системы конкретного ИИ настроить механизм вознаграждения довольно трудно. Например, наш ИИ готов был бы рискнуть практически всем ради небольшого шанса обеспечить себе контроль над значительной частью Вселенной. В таком случае, видимо, будет слишком расточительно предлагать ИИ в качестве вознаграждения за сотрудничество более высокую ожидаемую полезность, чем ту, которую он надеется получить, отказавшись сотрудничать и попытавшись сбежать[353].

Лучшей альтернативой стало бы объединение этого стимулирующего метода с модами выбора мотивации — тогда появилась бы возможность наделить ИИ конечной целью, которую было бы намного проще брать под контроль. Допустим, какой-то ИИ разработан таким образом, что его конечная цель — не допустить нажатия красной кнопки в гипотетическом командном бункере. Поскольку этот акт имеет негативное значение, присущее ему по умолчанию, а не вызванное его возможными последствиями, кнопка может быть нерабочей и даже сделанной из пластилина. Более того, даже несущественно, узнает ли ИИ, была ли хоть когда-нибудь эта кнопка нажата. Важно другое: ИИ верит, что кнопка с большей вероятностью окажется ненажатой, если он будет действовать в интересах принципала, нежели если восстанет против него.

Условия можно уточнить. Вместо того чтобы наделять ИИ конечной целью, привязанной к конкретной кнопке, создадим ИИ, конечной целью которого станет получение потока неких зашифрованных наградных знаков[354]. Это могут быть последовательности цифр, служащие ключами к шифрам, созданным до разработки ИИ и встроенным в его систему мотивации[355]. Такие цифровые последовательности должны быть чрезвычайно желанными для ИИ и представлять собой награду, которую ИИ неспособен получить вследствие прямого стимулирования[356]. Ключи должны храниться в безопасном месте, где было бы удобнее их быстро уничтожить в случае попытки ИИ завладеть ими. Однако пока ИИ проявляет готовность сотрудничать, их нужно выдавать ему на регулярной основе.

Затем ИИ можно было бы наделить ограниченной функцией полезности, например, чтобы ИИ получал 99 процентов максимально доступной ему полезности, получив первый наградной знак; 99 процентов оставшегося потенциала полезности — второй и так далее. Сохраняя высокую «ставку дисконтирования» и передавая ИИ наградные знаки по сравнительно высокой цене, можно было бы предотвратить попытки ИИ разработать долгосрочный план, повышающий ожидаемое количество наградных знаков в будущем ценой некоторого риска, что его поток наград скоро закончится или что следующий наградной знак будет отменен и ликвидирован. Если ИИ поверит, что его ошибка (то есть любые действия не в интересах принципала) несет минимум двухпроцентный риск лишения следующего наградного знака, в то время как сотрудничество снизит риск лишения жетона до уровня меньше чем один процент, тогда максимизирующий полезность ИИ всегда будет готов к сотрудничеству.

Что могло бы пойти не так в этой схеме стимулирования? Есть вероятность, что ИИ не поверит в готовность оператора-человека предоставить ему обещанную награду. Кривая надежности человека как партнера несколько отличается от прямой линии идеального совершенства. ИИ может вполне обоснованно решить, что оператор способен передумать, повысить планку или отказаться признать, что ИИ выполнил свою часть работы. Кроме того, ИИ может беспокоить, что оператор по той или иной причине покинет свое рабочее место. Совокупный риск этих неудач может превысить риск, связанный с попыткой захватить контроль над механизмом вознаграждения. Наделенный сверхмощью ИИ, даже находясь в заблокированном состоянии, представляет собой грозного соперника. (Для ИИ, не помещенного в «песочницу», взломать управляемый человеком механизм вознаграждения — все равно что конфету у ребенка отобрать.)

Еще одна проблема стимулирующих методов заключается в допущении, что мы всегда можем сказать, действует ли ИИ в наших интересах. Как будет показано в следующих главах, это допущение не столь безобидно.

При полном анализе стимулирующих методов и того, насколько они осуществимы, нужно было бы изучить множество других факторов (и даже отдельные эзотерические соображения), которые сделали бы эти методы более плодотворными, чем они представляются сейчас, вследствие нашего предварительного рассмотрения. Например, не будучи уверенным, помещен ли он в компьютерную симуляцию или нет (как противопоставление виртуальной реальности выступает доступная нам реальность базового уровня), ИИ будет стоять перед неустранимой дейктической неопределенностью, и эта эпистемологическая трудность может радикально повлиять на степень его осмотрительности (см. врезку 8).


ВРЕЗКА 8. АНТРОПНЫЙ ЗАХВАТ

ИИ может присвоить довольно высокую вероятность гипотезе имитации, в соответствии с которой он существует в рамках компьютерной модели. Уже сегодня многие ИИ обитают в имитационных мирах, представляющих собой геометрические фигуры, тексты, шахматные партии или просто виртуальные реальности, в которых действуют законы физики, разительно отличающиеся от привычных нам законов — законов, благодаря которым мы понимаем взаимосвязь явлений окружающего нас мира. С совершенствованием методов программирования и повышения вычислительной мощности будут становиться доступными все более богатые и сложные виртуальные миры. Зрелому сверхразуму, видимо, придется создавать собственные виртуальные миры, которые будут так же близки их обитателям, как наш мир близок нам. Он мог бы творить подобные миры в огромном количестве при помощи лишь одной-единственной имитационной модели, которую запускал бы по многу раз и с небольшими вариациями. Вряд ли обитатели этих миров будут способны осознать, что их окружает имитация, но если они достаточно разумны, то рано или поздно начнут рассматривать такую возможность и тогда присвоят своим предположениям определенную вероятность. С учетом доводов в пользу имитационной гипотезы значение этой вероятности должно быть высоким[357]. (Подробное обсуждение этой темы выходит за рамки данной книги.)

Выходит, что сверхразумный агент — особенно находясь на ранней стадии своего развития — попадает в довольно затруднительное положение, поскольку еще не успел накопить достаточно сил, чтобы начать колонизацию космоса. Построить имитационную модель молодого сверхразума, вынужденного использовать лишь небольшую часть ресурсов единственной планеты, было бы намного дешевле, чем сделать такую же модель зрелого сверхразума, наделенного мощью покорять межгалактическое пространство. Потенциальные создатели имитаций — еще более могущественные сверхразумные агенты — могли бы запустить огромное количество моделей молодого сверхразума, выделив на это всего лишь малую часть имеющихся в их распоряжении вычислительных ресурсов. Если хотя бы малая (ненулевая) часть зрелых сверхразумных агентов решит воспользоваться такой возможностью, то юным сверхразумным агентам следует серьезно отнестись к имитационной гипотезе и присвоить ей значение высокой вероятности.

Насколько сильное влияние оказывает гипотеза имитации на действия ИИ, зависит от его целей[358]. Предположим, что у ИИ есть «ресурсоненасытная» конечная цель, например максимизировать функцию полезности, линейную относительно количества скрепок, созданных этим ИИ: в два раза больше скрепок — в два раза лучше. В условии имитационного мира способность ИИ влиять на количество произведенных скрепок значительно ниже, чем в доступной реальности базового уровня, поэтому гипотеза о симуляции будет заботить его намного меньше. Допустим, ИИ повел бы себя таким образом, будто был бы уверен, что гипотеза о симуляции ложна, даже присвоив довольно высокую вероятность тому, что она верна[359]. Такой ИИ мог бы решить, что если гипотеза истинная, то практически неважно, каким образом ему действовать, но если гипотеза ложная, то его поведение влияет на многое, — естественно, он выберет ту модель поведения, которая будет соответствовать тому, насколько она обусловлена предположением о ложности гипотезы о симуляции.

Рассмотрим прямо противоположный вариант. Допустим, есть ИИ, имеющий более скромную конечную цель, которой можно достичь с помощью малых ресурсов, скажем, получить определенную порцию заранее подготовленных зашифрованных наградных знаков или создать сорок пять виртуальных скрепок. Такому ИИ не следует преуменьшать значение своего имитационного мира. Поэтому на процесс принятия решений ИИ, чьи цели «ресурсоудовлетворяемые», оказывают большое влияние соображения, какие действия приведут к лучшему результату, если воспринимаемый им мир представляет собой имитацию. И он присваивает высокую вероятность гипотезе о симуляции. Такой ИИ (даже если он обитает в реальном, а не имитационном мире) может значительно корректировать свои действия в соответствии с представлениями о том, какое поведение в условиях симуляции будет скорее вознаграждено.

В частности, если ИИ с «ресурсоудовлетворяемыми» конечными целями убежден, что в большинстве имитационных миров, которые отвечают его потребностям, он будет вознагражден за готовность сотрудничать (а не за попытки прорвать блокаду или пойти против интересов принципала), то он может сделать выбор в пользу сотрудничества. Более того, если ровно в такой ситуации окажется сверхразум, обладающий решающим стратегическим преимуществом и способный более полно реализовать конечные цели, установив свою власть над миром, — он тоже выберет сотрудничество, а не предательство.


Так всех нас в трусов превращает мысль

И вянет, как цветок, решимость наша

В бесплодье умственного тупика.

Так погибают замыслы с размахом,

Вначале обещавшие успех,

От долгих отлагательств.

Уильям Шекспир. Гамлет (акт 3, сцена 1)[360]


Тончайшая линия на песке, оставленная подолом одежды несуществующего в реальном мире симулятора, может оказаться более надежной защитой, чем стальная дверь полуметровой толщины[361].


Методы задержки развития

Еще один метод контроля над возможностями — ограничение интеллектуальных способностей системы или ее доступа к информации. Этого можно добиться, запустив ИИ на компьютере с низким быстродействием или недостаточной памятью. Интеллектуальная система, запертая в «песочнице», также имеет ограниченный доступ к информационным потокам.

Сознательная задержка в развитии ИИ может уменьшить степень его полезности. Таким образом, при использовании этого метода мы оказываемся перед дилеммой: бурное интеллектуальное развитие системы приводит к тому, что она находит способ стать сверхразумной (и захватить господство над миром), избыточная задержка в интеллектуальном развитии превращает систему в очередную бесполезную программу. ИИ, по отношению к которому применена процедура радикальной задержки развития, совершенно безопасен. Безусловно, он сам уже не в состоянии решить проблему направленного взрывного развития искусственного интеллекта, поэтому взрыв — только уже неуправляемый, вызванный какой-то другой силой, — может произойти позднее.

Почему бы не создать, по мнению многих, сверхразум, владеющий знаниями в одной узкой предметной области? Ведь так было бы намного безопаснее. Например, разработать ИИ без датчиков и снабдить его памятью, в которую заранее загружена информация, относящаяся только к нефтехимической отрасли или биохимии пептидов. Но когда этот ИИ достигнет уровня сверхразума — то есть по общему уровню своего интеллектуального развития он превзойдет человека, — подобное информационное ограничение уже не будет гарантировать безопасности.

На то есть несколько причин, которые мы сейчас рассмотрим. Во-первых, само представление об узости знаний, ограниченных какой-то определенной темой, довольно сомнительно. Любая информационная составляющая может, в принципе, относиться к любой теме — все зависит от образования, квалификации, опыта и системности мышления того, кто владеет информацией[362]. Во-вторых, та или иная информация содержит не только данные, относящиеся к одной предметной области, но и множество побочных данных. Проницательный ум, анализирующий базу знаний, номинально имеющую отношение к биохимии пептидов, логически выводит для себя совокупность самых разных данных. Даже факт включения или отсутствия какой-либо информации о многом говорит ИИ, у него сразу формируется представление об общем состоянии современной науки: уровне методологии; инструментальной базе; технологии производства оборудования; типологии мышления человека; мировоззрении общества, в котором проводились данные исследования и вырабатывались необходимые методики. Вполне возможно, сверхразум сумеет вывести последовательный ряд умозаключений из, казалось бы, небольшой области знаний, оперируя материалом, который человек в силу недалекости своего ума воспринимает лишь как скудный набор сухих фактов. Даже не обладая никакой специальной базой знаний, достаточно совершенный ум в состоянии научиться многому, просто вникая в смысл информации и отбирая для себя оптимальные выводы, по ходу дела он занимается самоанализом, изучая особенности собственного «восприятия»: раскладывает по полочкам проектные решения, отраженные в исходном программном коде, и физические характеристики компоновки схем[363]. Должно быть, сверхразум смог бы априорно определить природу нашего мироздания (комбинируя логический вывод с вероятностью, смещенной в пользу более простых миров и некоторых элементарных фактов, о существовании которых можно подразумевать, исходя из наличия самого ИИ как мыслящей системы). То есть в процессе изучения информации о биохимии пептидов сверхразум смог бы постичь естественные законы природы; видимо, он сразу примется вычислять априорную вероятность, перебирая возможные перспективы: какие планеты он сформирует; какого рода разумную жизнь там заведет; какие общества сложит; какие методы управления будет использовать и насколько эти методы могли бы быть уязвимы[364].

В силу вышеизложенного мы понимаем, насколько неблагоразумно прибегать к ограничению входящих информационных потоков в качестве основного подхода в методе задержки интеллектуального развития сверхразума. Другие формы этого метода — такие как сокращение производительности аппаратного обеспечения и предупреждение развития определенных когнитивных способностей — можно было бы задействовать как вспомогательные меры в системе управления ИИ на стадии его разработки. Например, регулировать скорость развития ИИ на промежуточных уровнях, проводя поэтапное тестирование его функциональных возможностей, чтобы держать под контролем всю ситуацию, успеть схватить момент приближения к сверхмощному и сверхразумному уровню и вовремя отреагировать.

Методы «растяжек»

«Растяжками» мы назвали определенное оборудование, позволяющее проводить диагностическое тестирование ИИ (возможно, без ее ведома), а в случае обнаружения признаков опасной деятельности отключать систему. Зафиксированные результаты переходят в руки программистов, которые получают возможность спокойно изучить протоколы подозрительной активности. Если нужно — прежде чем запустить систему вновь, — они меняют кодировку ИИ, внося изменения в базу исходных текстов и среду вычисления. Если окажется, что проблема уже стала хронической и не поддается лечению, они принимают решение закрыть проект полностью.

Методы «растяжки» отличаются от стимулирующих методов тем, что не полагаются на осведомленность системы о последствиях ее запрещенных действий. По сути, они ближе к методам задержки развития. Как и последние, «растяжки» можно использовать в качестве временных превентивных мер, способных обеспечить некоторую степень защиты на стадии разработки. В принципе, их можно задействовать и на стадии функционирования, особенно для изолированных систем. Но весьма сомнительно, что с помощью этих методов люди справятся с полностью сформировавшимся сверхразумом — вряд ли такой агент не найдет способа обойти любую «растяжку», установленную человеком.

Тем не менее «растяжки» чрезвычайно полезны в качестве дополнительных мер безопасности на стадии разработки. Было бы правильно, чтобы программисты кодифицировали свои ожидания от ИИ: как система должна работать и какие результаты они прогнозируют. После чего следовало бы взять ИИ в кольцо «растяжек», которые должны активизироваться при каждом случае, когда действия системы перестают соответствовать планам программистов. Контрольные меры можно ужесточить применением так называемых приманок, чтобы спровоцировать тайно враждебный ИИ совершить явное нарушение, которое программисты могли бы тщательно проанализировать. Например, если по правилам игры у ИИ не должно быть выхода в интернет, можно инсталлировать имитацию сетевого порта (соединенного с реле автоматического отключения системы), ради того чтобы посмотреть, попытается ли ИИ им воспользоваться. Некоторые примеры «растяжек» приведены в табл. 9.


Таблица 9. Различные типы «растяжек»

Что берется под контроль:

Описание и примеры


Поведение:

Вокруг изолированного ИИ разместить датчики для обнаружения попыток вырваться на свободу. Например, они могут фиксировать попытки установить радиосвязь или найти доступ к внешним вычислительным ресурсам, которых «по условиям содержания» у ИИ быть не должно. Кроме того, можно установить сетевой порт-«приманку» — мнимое соединение с интернетом, попытка воспользоваться которым вызывает отключение системы


Когнитивные способности:

Через короткие промежутки времени можно проводить автоматическое тестирование когнитивных способностей системы, чтобы держать под контролем уровень навыков ИИ в различных областях. Если скорость их развития окажется неожиданно высокой или ИИ достигнет уровня компетентности, который окажется в непосредственной близости к опасной зоне, его можно замедлить или приостановить, чтобы программисты могли более внимательно следить за дальнейшим прогрессом.

Следует установить надзор за внутренними процессами ИИ, чтобы отследить вовремя действия, вызывающие подозрение. Например, если у системы вдруг меняется собственное представление о своих конечных целях, сразу следует ее автоматическое отключение и программисты приступают к изучению ситуации. Кроме того, необходимо следить за такими подозрительными проявлениями, как использование ИИ ресурсов и алгоритмических методов


Семантическая информация:

Более масштабной и многообещающей задачей является постоянный контроль над смысловой и неструктурированной информацией: убеждениями, планами, промежуточными целями и мотивами — с целью удостовериться, что все это по-прежнему соответствует ожиданиям программистов. Раннее выявление процесса рождения недобрых умыслов ИИ облегчит дальнейшее проведение уже более действенных видов контроля над этими семантическим данными. Речь идет о сканировании мыслительных процессов ИИ для обнаружения рождения обмана — того самого уязвимого момента, когда у недружественного ИИ впервые возникает желание скрыть свои истинные намерения[365].

Системе контроля над семантической информацией предписано фиксировать все вышеописанные интенции ИИ, чтобы они были прозрачны для программистов или устройств автоматической регистрации. Правда, для некоторых типов архитектуры ИИ осуществление такого контроля может быть невозможно. (Например, непрозрачными являются некоторые нейронные сети, поскольку информация в них представляется целостно и такими способами, которые не всегда соответствуют человеческим понятиям.) По этой причине лучше избегать использовать такие архитектуры


Следует подчеркнуть, что значимость «растяжек» определяется не только механизмом их действия, но и тем, как окружающие реагируют на сигналы аппаратуры и факты регистрации нарушений — в этом случае поведение людей играет критически важную роль. Руководители проекта и разработчики, жаждущие добиться успеха, чаще всего просто включают систему снова или проводят чисто формальную модификацию программного кода, причем иногда делают что-то такое, чтобы в следующий раз «растяжка» промолчала. Конечно, при таком отношении вряд ли удастся обеспечить безопасность даже при условии безотказной работы самих «растяжек».


Методы выбора мотивации

Методы выбора мотивации призваны формировать мотивы поведения сверхразума, чтобы не допустить нежелательных результатов. С их помощью — за счет конструирования системы мотивации агента и его конечных целей — можно создать сверхразум, который не захочет использовать свое решающее стратегическое преимущество против человека. Сверхразумный агент всегда стремится добиться своих конечных целей, и если он выбирает путь ненанесения вреда (имеется в виду и «локальный вред», и «глобальный ущерб»), то, скорее всего, не станет его причинять.

Методы выбора мотивации включают: метод точной спецификации — однозначная формулировка цели и системы правил, которым нужно следовать; метод косвенной нормативности — процедура настройки программы ИИ, чтобы он мог самостоятельно определять приемлемую систему ценностей в соответствии с некоторыми подразумеваемыми условиями, то есть сформулированными неявным, или косвенным, образом; метод приручения — такая компоновка программы, которая приведет ИИ к выбору умеренных, не слишком претенциозных конечных целей; метод приумножения — выбор агента, уже обладающего подходящими мотивами, с тем чтобы расширить его когнитивные способности до уровня сверхразумных, причем с обязательным контролем над его мотивационной системой, которая не должна претерпеть никаких изменений в процессе совершенствования. Последний метод представляет собой вариант, альтернативный первым трем, в которых система мотивации ИИ формируется с чистого листа. Рассмотрим последовательно все методы выбора мотивации.

Метод точной спецификации

Точная спецификация — наиболее прямолинейное решение проблемы контроля; сам подход опирается, с одной стороны, на систему четко прописанных правил; с другой — на принцип консеквенциализма[366]. Метод точной спецификации предполагает попытку дать однозначное определение системе ценностей и системе правил, благодаря которым даже свободный в своих действиях сверхразумный агент поступал бы в интересах принципала и без риска для остальных людей. Однако этот метод может столкнуться с непреодолимыми препятствиями, связанными, во-первых, с проблемой формулировки обоих понятий («правило» и «ценность»), которыми должен руководствоваться ИИ, во-вторых, с проблемой представления этих двух понятий («правило» и «ценность») для записи задания в виде машиночитаемых кодов.

Проблемы метода точной спецификации с точки зрения системы прописанных правил лучше всего проиллюстрировать такой классической концепцией, как «Три закона робототехники». Обязательные правила поведения для роботов были окончательно сформулированы писателем-фантастом Айзеком Азимовым в рассказе, опубликованном в 1942 году[367].

Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред.

Робот должен повиноваться всем приказам, которые дает человек, кроме тех случаев, когда эти приказы противоречат первому закону;

Робот должен заботиться о своей безопасности в той мере, в которой это не противоречит первому и второму законам.

К стыду нашего вида, эти правила оставались неизменными более полувека, несмотря на очевиднейшие пробелы, которые, кстати, видел и сам Азимов, на что указывают многие его произведения (наверное, писатель специально изложил законы в таком расплывчатом виде, оставив для себя и своих героев шанс каждый раз трактовать их несколько иначе, а заодно и нарушать разными занимательными способами — довольно плодотворная почва для дальнейшего развития художественной темы)[368].

Бертран Рассел, много лет трудившийся над основами математики[369], как-то заметил: «…Степень нечеткости не осознается вплоть до попытки нечто прояснить, а все точное столь далеко от всего того, о чем мы обычно мыслим, что нельзя и на мгновение предположить, что же мы на самом деле имеем в виду, когда выражаем наши мысли»[370][371]. Трудно найти лучшего комментария к проблемам, относящимся к методу точной спецификации. Возьмем, например, возможное объяснение первого закона Азимова. Значит ли он, что робот должен минимизировать вероятность нанесения вреда любому человеку? В этом случае остальные законы становятся ненужными, поскольку у ИИ всегда есть возможность совершить некоторое действие, которое будет иметь хотя бы микроскопическую вероятность причинить вред кому-то из людей. Как роботу сопоставить высокий риск причинения вреда нескольким людям и небольшой риск причинения вреда множеству людей? Другой мучительный вопрос: как нам определить само понятие «вред»? На каких весах взвесить разницу между вредом, причиненным физической болью, вредом, нанесенным нашему вкусу архитектурным уродом, и вредом, приносимым социальной несправедливостью? Будет ли нанесен вред садисту, которому не дадут мучить его жертву? А как мы определим понятие «человек»? Почему не принимаются во внимание остальные обладающие разными добродетелями существа, скажем, животные, наделенные чувствами, и системы машинного интеллекта? Чем больше думаешь над этим, тем больше вопросов возникает.

Самым близким аналогом системы правил, регулирующих действия сверхразума, — аналогом, с которым мы сталкиваемся довольно часто, — является правовая система. Но системы правосудия, во-первых, создавались в течение долгого времени методом проб и ошибок, во-вторых, они регулируют жизнь человеческого общества, меняющегося сравнительно медленно, в-третьих, при необходимости какой-то законодательный акт всегда можно подправить или радикально пересмотреть. Но важнее всего другое: когда суду — инстанция, которой единственной принадлежит право осуществлять правосудие, — приходится иметь дело с логически возможными интерпретациями законов, явно непредусмотренными законодателями, то и судьи, и присяжные призывают свой здравый смысл и начинают руководствоваться моральными нормами. Что касается нашей проблемы, то, вероятно, человек просто не в состоянии вразумительно и скрупулезно прописать правила — правила, которые должны быть организованы в весьма сложную систему; правила, которыми сам человек мог бы уверенно оперировать буквально с первого раза; правила, на которые можно было бы опереться при любых обстоятельствах[372].

Теперь посмотрим на метод точной спецификации с точки зрения принципа консеквенциализма — и увидим те же самые проблемы. Это относится даже к ситуации, когда ИИ предназначен служить будто бы простым целям, например отобрать для себя несколько постулатов классического утилитаризма[373] и сделать все, чтобы воплотить их «в жизнь». Возьмем совсем конкретную задачу, которая могла бы быть поставлена перед ИИ: «Рассчитать ожидаемое соотношение удовольствия и страдания в мире и определить максимальное значение этой величины» — действительно, задание не слишком сложное. Теперь, чтобы условие было безотказно выполнено, следует написать исходный код. Однако прежде потребуется дать точное определение понятиям «удовольствие» и «страдание» — то есть программисту придется поднять целый пласт вечных вопросов философии, над которыми бились лучшие умы человечества. Но дело этим не ограничится: написанный на чьем-то родном языке «трактат» следует тем или иным способом переложить на язык программирования.

Малейшая ошибка, допущенная либо в определении почти философских понятий либо при записи исходного кода, повлечет за собой катастрофические последствия. Рассмотрим пример, когда конечная цель определена как «стать навсегда счастливым». Перед нами этакий ИИ-гедонист, жаждущий преобразовать всю материю Вселенной в гедониум — некую субстанцию, которая обеспечивает выработку оптимального наслаждения. Но чтобы приблизиться к своей цели, ИИ потребуется помимо гедониума еще одна субстанция, о которой мы не раз говорили выше, — это компьютрониум, обеспечивающий максимальную вычислительную мощность. С его помощью ИИ заселит Вселенную множеством цифровых имитационных моделей мозга, пребывающих в состоянии эйфории, но напрочь лишенных любых умственных способностей — им будет отказано в этом за ненадобностью, поскольку интеллект несуществен для опыта наслаждения. Ради максимизации эффективности ИИ будет использовать любые варианты сокращения вычислений, лишь бы они не навредили формированию ощущения удовольствия. Причем все делается в полном соответствии с точной спецификацией, в которой закодировано определение понятия «счастье». Поэтому ИИ обязательно должен оставить имитационной модели электронную схему вознаграждения — что-то вроде центра удовольствия в биологическом мозгу. Однако будут исключены такие функции психики, как память, чувственное восприятие, способность к целенаправленной деятельности и возможность общения на языке. Преследуя собственные интересы, ИИ создаст самые примитивные имитационные модели мозга. Он снабдит их грубым функциональным уровнем с низкой степенью детализации; он даже пренебрежет нейронными процессами низкого уровня; заставит их прибегать к услугам таблиц поиска, то есть заменит часто повторяющиеся вычисления на операции простого поиска; хуже того, он задействует общий вычислительный механизм, рассчитанный на множество имитационных моделей. И все это «вытекает из базиса» (употреблю здесь волапюк псевдофилософов). На что не пойдешь ради удовольствия — даже на такие уловки, которые придумал наш ИИ-гедонист, лишь бы преумножить в немыслимое количество раз ту немаленькую степень удовлетворения, которую он мог бы выжимать из имеющегося у него запаса ресурсов. И нет никакой уверенности, окажется ли это оправданным. Более того, если действия ИИ не будут отвечать ни критериям определения понятия «счастье», ни самому процессу формирования ощущения удовольствия, то в результате предпринятой оптимизации он может вместе с водой выплеснуть и ребенка — то есть избавляясь от всего несущественного по условиям конечной цели или по собственным соображениям, ИИ в запале выбросит то, что неотъемлемо принадлежит системе человеческих ценностей. Вселенная наполнится не ликующими от счастья имитациями-гедонистами, а унылыми вычислительными схемами, бессмысленными и ни к чему не пригодными. Тогда вся затея «стать навсегда счастливым» сведется всего-навсего к изображению счастья, своего рода эмотикону, электронному символу наших эмоций, — и отксерокопированные триллион триллионов раз смайлики облепят все множество галактик.

Метод приручения

Поставим перед ИИ конечную цель, отвечающую условиям метода точной спецификации полнее всех примеров, приведенных выше, — стремление к самоограничению. Мы не в состоянии описать, какой окажется общая модель поведения сверхразума в реальном мире, — в противном случае нам пришлось бы перечислять, а заодно и объяснять, все плюсы и минусы любой ситуации, которая могла бы возникнуть в будущем. Поэтому было бы разумнее дать подробное описание единственной конкретной ситуации и тщательно проанализировать, как, столкнувшись с ней, поведет себя сверхразум. Иначе говоря, нам следует найти подходящий мотив заинтересовать интеллектуальную систему ограничиться одним не слишком значимым и небольшого масштаба событием и стремиться действовать исключительно в соответствии с поставленными условиями. В результате ИИ добровольно загонит себя в тесные рамки незначительных конечных целей, а тем самым сознательно сузит сферу своей деятельности и умерит честолюбивые замыслы. Поскольку метод явно рассчитан на то, чтобы сделать систему послушной нашей воле, — назовем его приручением ИИ.

Например, можно попробовать создать ИИ, который функционировал бы как устройство с вопросно-ответной системой, то есть выступал бы в роли «оракула» (термин, который мы введем в следующей главе). Однако было бы небезопасно наделять ИИ подобной конечной целью: выдавать максимально точные ответы на любой заданный вопрос — вспомним описанный в восьмой главе сюжет «Гипотеза Римана и последующая катастрофа». (Правда, такая цель стимулировала бы ИИ предпринимать действия, гарантирующие ему, что вопросы будут простыми.) Нам понадобится преодолеть эти трудности. Поэтому следует очень внимательно отнестись к самой процедуре приручения ИИ и попытаться корректно определить конечную цель, стимулируя ИИ проявлять добрую волю отвечать на вопросы безошибочно и сводить к минимуму свое воздействие на мир. Правда, последнее не имеет отношения к тем случаям, когда формулировка вопросов невольно вынуждает ИИ давать ответы, оказывающие влияние на окружающих, но все равно эти ответы обязаны быть абсолютно достоверными, а форма их изложения не должна манипулировать сознанием людей[374].

Мы видели, насколько неудобно пользоваться точной спецификацией, когда речь идет об амбициозной конечной цели — к тому же отягощенной сложной системой правил, которые предписывают ИИ, как ему действовать в практически открытом множестве ситуаций. Было бы намного полезнее применять метод точной спецификации для столь узкой задачи, как приручение ИИ. Но даже в этом случае остается масса проблем. Следует проявлять большую осторожность, составляя определение системы поведения ИИ. Например, как он собирается «сводить к минимуму свое воздействие на мир»? Необходимо убедиться, что он будет соблюдать все условия и его критерии не отличаются от наших стандартов. Неправильно выбранная им величина степени воздействия может привести к плачевным результатам. Существуют и другие опасности, связанные с созданием системы «оракул», но их мы обсудим позже.

Метод приручения ИИ естественным образом перекликается с методом его изоляции. Предположим, мы блокировали ИИ таким образом, что он не в состоянии вырваться на свободу, но есть смысл попытаться сформировать у него такую систему мотивации, что даже когда появится возможность побега, у ИИ не возникнет желания покидать свою «песочницу». Правда, если одновременно с этими мерами подключить «растяжки» и множество других предохранительных устройств, шансы на успех приручения резко упадут[375].

Метод косвенной нормативности

Если в каких-то случаях методы точной спецификации окажутся безнадежным делом, можно было бы попробовать метод косвенной нормативности. Основная идея этого подхода очень проста. Вместо того чтобы изо всех сил пытаться дать точнейшее определение конкретных стандартов и нормативов, мы разрабатываем схему процесса их получения. Затем создаем систему, которая была бы мотивирована выполнить этот процесс и принять полученные в результате стандарты и нормативы[376]. Например, процесс мог бы заключаться в поиске ответа на эмпирический вопрос, какие предпочтительные действия ожидала бы от ИИ некая идеализированная версия человека, предположим, нас самих. Конечной целью ИИ в таком случае стала бы какая-нибудь версия вроде «делать то, что мы могли бы пожелать, чтобы делал ИИ, если бы долго и упорно размышляли об этом».

Дальнейшее объяснения метода косвенной нормативности мы продолжим в тринадцатой главе. В ней мы вернемся к идее экстраполяции нашего волеизъявления и изучим альтернативные варианты. Косвенная нормативность — очень важный подход в системе методов выбора мотивации. Он позволяет нам большую часть тяжелейшей работы, которую нужно выполнять при точной спецификации конечной цели, перенаправить самому сверхразуму.

Метод приумножения

Последний метод выбора мотивации в нашем списке — приумножение. В его основе лежит следующая идея: вместо того чтобы формировать с чистого листа систему мотивации у ИИ, мы обращаемся к интеллектуальному агенту с уже сложившимися и подходящими нам мотивами поведения. Затем мы расширим когнитивные способности агента до уровня сверхразумных. Если все пойдет хорошо, то метод даст нам сверхразум с приемлемой системой мотивации.

Очевидно, что такой подход нельзя применять в случае создания зародыша ИИ. Но приумножение вполне реально использовать, когда к сверхразумному уровню идут другими путями: при помощи полной эмуляции головного мозга, биологического улучшения интеллектуальных способностей, создания нейрокомпьютерного интерфейса или развития сетей и организаций — когда есть возможность построить систему на основе нормативного ядра (обычных людей), которое уже содержит представление о человеческих ценностях.

Привлекательность метода приумножения может расти прямо пропорционально нашему разочарованию в других подходах к решению проблемы контроля. Создание системы мотивации для зародыша ИИ, которая осталась бы относительно надежной и приносила бы пользу в результате рекурсивного самосовершенствования даже после того, как ИИ превратится в зрелый сверхразум, — дело крайне сложное, особенно если нужно получить верное решение с первой попытки. В случае приумножения мы могли бы как минимум начать с агента, который уже имеет знакомую и схожую с человеческой систему мотивации.

Однако трудно обеспечить сохранность такой сложной, развитой, не идеальной и плохо понимаемой нами самими системы мотивации, такой как человеческая, после взлета ее когнитивного ракетоносителя в стратосферу. Мы уже обсуждали, что в результате несовершенной эмуляции мозга может сохраниться функционирование его интеллекта, но будут утеряны некоторые черты личности. То же самое (хотя, возможно, и в меньшей степени) верно в случае биологического улучшения интеллектуальных способностей, способного в какой-то мере затронуть мотивацию, а также для коллективного улучшения сетей и организаций — фактора, серьезно меняющего социальную динамику (например, будет пересмотрено отношение или к внешним, или внутренним субъектам). Если сверхразум возник в результате движения по одному из этих путей, организатор проекта может столкнуться с тем, что конечная мотивация зрелой системы окажется для него недоступной. Благодаря изяществу и математически четкой определенности архитектуры ИИ — при всей ее неантропоморфной инаковости — она гораздо прозрачнее, несмотря на то что важные аспекты ее функционирования не поддаются формальной проверке.

В конечном счете, сколько бы мы ни подсчитывали преимущества и недостатки метода приумножения, сколько бы ни размышляли, полагаться на него или нет, — выбора у нас, пожалуй, не остается. Если сверхразум получен в результате создания ИИ, использовать метод приумножения нельзя. И напротив, если удалось выйти на уровень сверхразума, двигаясь по иному пути, многие методы выбора мотивации оказываются неприемлемыми. Но даже с учетом всего вышесказанного вопрос о вероятной эффективности применения метода приумножения имеет стратегическое значение, если благодаря ему у нас появляется возможность повлиять на выбор технологии, с помощью которой удастся впервые получить сверхразум.

Резюме

Прежде чем завершить эту главу, имеет смысл суммировать сказанное. Мы различаем два широких класса методов решения проблемы контроля: контроль над возможностями и выбор мотивации. В табл. 10 приводится их обобщенное описание.


Таблица 10. Методы контроля

[Методы контроля над возможностями]


Изоляционные методы

Система изолируется таким образом, что способна воздействовать на внешний мир исключительно посредством разрешенных каналов. Сюда включаются методы физического и информационного ограничения


Стимулирующие методы

Система помещается в среду, в которой ей обеспечиваются соответствующие стимулы. К ним могут относиться социальная интеграция в мир сравнимых с ней по силе субъектов и вознаграждение зашифрованными наградными знаками. Важной возможностью является «антропный захват», хотя он и включает в себя ряд эзотерических соображений


Методы задержки развития

Налагаются определенные ограничения в развитии когнитивных способностей системы или ее возможность влиять на основные внутренние процессы


Методы «растяжек»

С помощью специального оборудования проводят диагностическое тестирование системы (возможно, без ее ведома); в случае обнаружения опасных действий она автоматически отключается


[Методы выбора мотивации]


Метод точной спецификации

Подход опирается, с одной стороны, на систему четко прописанных правил; с другой — на принцип консеквенциализма


Метод приручения

Система мотивации разрабатывается так, чтобы сделать систему послушной нашей воле, ограничив масштаб ее притязаний


Метод косвенной нормативности

Частично опирается на систему четко прописанных правил и на принцип консеквенциализма, но отличается тем, что полагается на косвенный подход к определению правил, которым нужно следовать, или целей, которых нужно придерживаться


Метод приумножения

Начинать работать с системой, которая уже имеет человеческую или близкую к ней мотивацию, после чего ее когнитивные возможности увеличиваются до уровня сверхразума


У каждого метода контроля есть свои потенциально уязвимые места, с каждым из них сопряжены определенные трудности реализации. Может показаться, что нам следовало бы классифицировать их от лучших к худшим, а затем выбрать наилучший метод. Но это было бы ненужным упрощением. Одни методы можно комбинировать друг с другом, другие — используются только самостоятельно. Полезными будут даже сравнительно небезопасные методы, если их легко применять в качестве дополнительных мер предосторожности, а от более мощных лучше отказаться, если они исключают возможность использования иных средств защиты.

Поэтому всякий раз необходимо принимать во внимание, какие у нас есть возможности комплексного подхода. Нужно иметь в виду тип системы, который мы хотим создать, и методы контроля, применимые к каждому типу. Это и будет темой нашей следующей главы.

Глава десятая

Оракулы, джинны, монархи и инструменты

Часто можно услышать: «Сделайте простую систему, отвечающую на вопросы!», «Сделайте ИИ, который просто будет инструментом, а не агентом!» Эти предложения не рассеют наших тревог об угрозе, но вопрос, который они поднимают, вовсе не тривиален, поскольку крайне важно знать, какого типа системы наиболее безопасны. Мы рассмотрим четыре типа, или касты, ИИ — оракулы, джинны, монархи и инструменты — и объясним, какая связь существуют между ними[377]. У каждого типа ИИ есть свои преимущества и свои недостатки с точки зрения решения проблемы контроля.


Оракулы

Оракул — интеллектуальная вопросно-ответная система. Как вопросы, так и ответы могут быть сформулированы на естественном языке. Оракул, принимающий лишь вопросы, на которые существуют однозначные ответы типа «да» и «нет», может выражать свое мнение при помощи единственного бита; если система сообщает о степени своей уверенности в правильности ответа — при помощи нескольких битов. Когда оракул способен отвечать на вопросы c открытым множеством ответов, то есть допускающие разные толкования, то для такой системы разрабатывается специальная количественная метрика, упорядочивающая ответы по степени их информативности и правдоподобности[378]. В любом случае задача создания оракула, способного отвечать на вопросы из любой области знаний, сформулированные на естественном языке, является ИИ-полной. Если кому-то удастся ее решить, он, вероятно, также создаст ИИ, который понимает человеческие намерения так же хорошо, как и человеческие слова.

Можно также представить ИИ-оракула, обладающего сверхразумом лишь в одной области знаний. Например, оракула-математика, воспринимающего вопросы, сформулированные только на формальном языке, и дающего ответы очень качественно (сможет почти мгновенно решить практически любую математическую задачу, на которую всему математическому сообществу могло бы потребоваться столетие совместного труда). Такой оракул-математик окажется в шаге от своего воплощения в универсальный сверхразум.

Сверхразумные оракулы, действующие в узкой области знаний, уже существуют. Таковыми являются: карманный калькулятор — своеобразный оракул в области основных арифметических операций; любой поисковик — частичная реализация оракула в значительной области общего декларативного знания человечества. Такие оракулы, существующие каждый в своей нише, являются скорее инструментами, чем агентами (об ИИ-инструментах будем говорить отдельно). За системами, отвечающими на вопросы, если не указано иное, мы оставим термин оракул.

Чтобы универсальный сверхразум работал в качестве оракула, на него можно воздействовать методами как контроля над возможностями, так и выбора мотивации. Причем мотивировать оракула намного легче, чем другие касты сверхразума, поскольку его конечная цель, как правило, довольно простая: оракул должен сводить к минимуму свое воздействие на мир, выдавать абсолютно достоверные ответы и не позволять себе манипулировать сознанием людей. Если мы выберем метод приручения, то будем требовать от оракула, чтобы при подготовке ответа он использовал только определенные выделенные ресурсы. Например, ему можно указать, чтобы ответ основывался на предварительно загруженном массиве данных, скажем, сохраненной копии страниц интернета, и при этом был получен в результате определенного и фиксированного числа вычислительных шагов[379]. Чтобы у оракула не возникало соблазна манипулировать нашим сознанием и вынуждать нас задавать ему более простые вопросы (предположим, перед ним стоит задача максимизировать точность ответов), перед ним можно было бы поставить цель: уничтожать заданный вопрос сразу, как только он даст на него ответ. Причем вопрос мог бы сразу загружаться в его память перед запуском программы. Чтобы задать второй вопрос, можно было бы перезагружать машину и запускать ту же программу с уже другим предварительно загруженным в память вопросом.

Для управления оракулом нужна довольно простая система мотивации, однако даже в этом случае возникают почти незаметные, но потенциально опасные проблемы. Предположим, нам необходимо точно сформулировать для ИИ значение фраз: «свести к минимуму свое воздействие на мир при достижении определенных результатов» и «для подготовки ответа использовать только определенные выделенные ресурсы». Что произойдет, если ИИ в ходе своего интеллектуального совершенствования устроит что-то вроде научной революции, изменив при этом свою базовую онтологию?[380] Сначала нам надо дать определение таким понятиям, как «воздействие» и «выделенные ресурсы», в соответствии с нашей онтологией (постулируя существование различных физических объектов, в частности компьютеров). Но вдруг случается неожиданное: ИИ-оракул обнаруживает, что некоторые наши самые распространенные категории основаны на ложных представлениях — очень напоминает поведение людей, когда каждое новое поколение ученых пытается избавиться от онтологических категорий, введенных когда-то их предшественниками (кто сейчас помнит такие понятия, как «флогистон», «сила жизни» и «абсолютная одновременность»?). Система целеполагания ИИ, переживающего онтологический кризис, должна быть достаточно эластичной, чтобы он смог сохранить и суть, и дух своей первоначальной цели и бережно перенести этот багаж в новую систему ценностей.

Не всегда задача создать дружественный ИИ-оракул с помощью метода выбора мотивации может оказаться тривиальной — однако она все равно проще, чем задача разработать ИИ, обладающий свободой в достижении сложной цели. Кажется, это могло бы служить аргументом в пользу того, чтобы первым сверхразумом стал оракул. С ним легко работать, пользуясь так же методом контроля над возможностями, — чем не следующий аргумент в пользу увидеть именно оракула в роли первого сверхразума? К оракулу применимы все стандартные изоляционные методы. Кроме того, существуют методы, которые можно использовать, только имея дело с оракулом. Например, возможен риск, что, преследуя какие-то свои тайные планы, оракул начнет давать не очень достоверные ответы, явно тем самым стараясь манипулировать нашим сознанием. Есть замечательный способ снизить эту угрозу: создать множество оракулов, в легкой степени отличающихся друг от друга своими исходным кодом и базой данных. Затем с помощью простой функции сравнивать их ответы и передавать их заказчику только в случае, когда они все согласуются между собой. Правда, можно допустить, что любой универсальный сверхразумный оракул узнает о существовании других оракулов (выведет это из своих знаний о человеческом обществе), возможно, от него удастся скрыть некоторые детали их функционирования. Если оракулы не смогут связываться между собой, им будет трудно координировать ответы, чтобы манипулировать нами. Есть множество способов отклоняться от истины, и разные оракулы могут по-разному оценивать привлекательность каждого варианта — в то время как сама истина является фокальной точкой (по которой возможно достижение согласия в отсутствие коммуникаций между сторонами). Поэтому если оракулы придут к консенсусу, это может быть признаком, что они дают правдивый ответ[381].

Мы можем полностью полагаться на ИИ-оракула, если знаем, что он использует все свои возможности, чтобы давать достоверные ответы. Но даже если мы не во всем доверяем ему, он был бы нам полезен. Оракулу можно было бы задавать вопросы, на которые трудно найти ответы, но легко проверить, правильные ли они. Например, многие математические задачи. Если вас интересует вопрос истинности какого-то математического утверждения, можно попросить оракула найти доказательство этому или опровергнуть его. Поиск самого доказательства может требовать проницательности и таланта, превышающего наши возможности, а его проверку можно выполнить при помощи простой механической процедуры.

Если окажется, что контролировать все ответы ИИ-оракула слишком дорого (скажем, когда вопросы не относятся к области логики и математики), для проверки можно выбирать случайные подмножества ответов. Если они окажутся верными, у нас появятся основания присвоить высокую вероятность тому, что верными являются и все остальные ответы. Эта хитрость поможет серьезно сэкономить в целом на определении степени достоверности ответов, которые было бы слишком затратно проверять по отдельности. (К сожалению, это ничего не скажет о достоверности ответов, которые мы неспособны проверить, поскольку решившийся на обман оракул может решить отвечать достоверно только на те вопросы, правильность ответов на которые мы, по его мнению, оценить в состоянии.)

Иногда не мешало бы иметь под рукой конкретные рекомендации, позволяющие выявлять, насколько корректен тот или иной ответ (или помогающие ориентироваться, где и как мы могли бы проверить правильность ответа), правда, мы не всегда можем доверять подобным советам. Например, по нашей просьбе оракул будет искать решения разных технических и философских проблем, которые могут возникнуть в процессе разработки более совершенных методы выбора мотивации. Если нам покажется, что предложенный оракулом проект безопасен, можно попросить его отыскать в нем серьезные недостатки и при наличии таковых описать каждый изъян при помощи не более двадцати слов. Вопросы такого рода способны обеспечить нас ценной информацией. Однако нам следует проявлять осторожность и сдерживать себя, чтобы не задавать слишком много подобных вопросов — и не позволять себе слишком полагаться на детали данных нам ответов, — иначе у недобросовестного оракула появится возможность повлиять на наши убеждения (при помощи вроде бы безобидных, но вполне манипулятивных сообщений). ИИ, обладающему сверхмощью в области социального манипулирования, не потребуется много времени, чтобы подчинить нас своей воле.

Даже если ИИ-оракул работает в полном соответствии с нашими требованиями и желаниями, существует риск, что им будут неправильно пользоваться. Одно из очевидных проявлений этой проблемы состоит в том, что оракул, наделенный сверхразумом, способен стать источником огромной власти и обеспечить своему оператору или программисту решающее стратегическое преимущество. Эта незаконная власть, скорее всего, будет использоваться отнюдь не в интересах общества. Не столь явный, но не менее важный аспект заключается в том, что постоянная работа с оракулом таит в себе огромную опасность для самого оператора. Все наши тревоги — как с мировоззренческой, так и технической точек зрения — имеют отношение и к остальным кастам сверхразума. Подробнее мы рассмотрим эту проблему в главе тринадцатой. Пока достаточно сказать, что чрезвычайно большое значение имел бы протокол, содержащий полную информацию о том, какие и в какой последовательности были заданы вопросы и какие были даны ответы. Можно подумать над тем, чтобы разработать такой вариант оракула, который будет отказываться отвечать на вопросы, если сочтет, что ответы могут иметь катастрофические последствия с точки зрения общепринятых в человеческом сообществе норм.

Джинны и монархи

Джинн — интеллектуальная система исполнения команд. Джинн получает команду высокого уровня, выполняет ее и останавливается в ожидании следующей команды[382]. Монарх — система, получившая мандат на любые действия в мире для достижения некоторых масштабных и, возможно, очень долгосрочных целей. Описания этих систем не очень напоминают то, что мы привыкли считать эталоном сверхразума, — но так кажется лишь на первый взгляд.

В случае ИИ-джинна приходится пожертвовать одним из самых привлекательных свойств оракула: возможностью использовать изоляционные методы. Можно, конечно, рассмотреть возможность разработки заблокированного джинна, способного создавать объекты лишь в некотором ограниченном пространстве — пространстве, окруженном стенами с мощными укрепительными системами или заминированными барьерами, которые должны сдетонировать в случае попытки побега. Трудно с уверенностью говорить о высокой безопасности такой физической изоляции, если речь идет о сверхразуме, вооруженном универсальными манипуляторами и инновационными конструкционными материалами. Даже если каким-то образом удастся обеспечить джинну такую же надежную изоляцию, как и оракулу, все равно не очень понятно, что мы выиграем, открыв сверхразуму прямой доступ к манипуляторам, вместо того чтобы получить от него подробные описания, которые можно было бы внимательно изучить, а затем использовать, чтобы получить требуемый результат самим. Выигрыш в скорости и удобстве из-за устранения человека-посредника вряд ли стоит потери возможности использовать более надежные методы блокировки, доступные в случае оракула.

Если кто-нибудь все-таки создаст джинна, было бы желательно, чтобы этот ИИ подчинялся не буквальному смыслу команд, а скорее намерениям, лежащим в их основе, поскольку джинн, воспринимающий команды слишком дословно (при условии, что он достаточно сверхразумен, чтобы обеспечить себе решающее стратегическое преимущество), может пожелать убить и пользователя, и все остальное человечество при первом же включении — по причинам, изложенным в разделе о пагубных отказах системы в восьмой главе. В целом важно, чтобы джинн всегда искал доброжелательный вариант интерпретации данной ему команды — как для себя, так и для всего человечества, — и чтобы был мотивирован именно на такое, а не на буквальное ее выполнение. Идеальный ИИ-джинн должен быть скорее первоклассным вышколенным дворецким, нежели гениальным савантом-аутистом.

Однако ИИ-джинн, обладающий чертами профессионального дворецкого, приблизился бы к тому, чтобы претендовать на место в касте монархов. Рассмотрим для сравнения идею создания ИИ-монарха с конечной целью руководствоваться духом команд, которые мы дали бы ему, если бы создавали не монарха, а джинна. Такой монарх имитировал бы джинна. Будучи сверхразумным, он мог бы с легкостью догадаться, какие команды мы дали бы джинну (и всегда спросить нас, если бы это помогло ему в принятии решения). Была бы в таком случае какая-то заметная разница между монархом и джинном? Или, если посмотреть на различие между ними с другой стороны с учетом варианта, что сверхразумный джинн мог бы точно предсказывать, какие команды он получит, какой выигрыш даст то, что он будет вынужден ждать этих команд, чтобы начать действовать?

Можно было бы думать, что преимущество джинна перед монархом огромно, поскольку, если что-то пойдет не так, джинну всегда можно дать новую команду остановиться или исправить результаты своего действия — в то время как монарх продолжал бы задуманное невзирая на наши протесты. Но высокая безопасность джинна, как мы ее себе представляем, во многом иллюзорна. Кнопки «стоп» или «отмена» сработают у джинна только в случае неопасного отказа, но если дело касается пагубного отказа, скажем, выполнение текущей команды становится для джинна конечной целью, — он просто проигнорирует любые наши попытки отменить предыдущую команду[383].

Можно было бы попробовать создать джинна, который будет автоматически прогнозировать наиболее характерные проблемы, которые обрушатся на пользователей, если джинн выполнит данную ему команду, при этом джинн должен будет запрашивать подтверждение каждый раз перед ее исполнением. Такую систему можно было бы назвать джинн с ратификацией. Но если мы в силах разработать такого джинна, то почему бы не создать подобного монарха? То есть и в этом случае мы не сможем провести четкую дифференциацию. (Возможность взглянуть на результат еще до выполнения самой команды кажется очень привлекательной, но если функция ратификации прогноза будет когда-либо создана, то перед нами встанут очередные вопросы, что с нею делать дальше и каким образом ее оптимально использовать. Позже мы вернемся к этой теме.)

Способность одной касты ИИ подражать другой распространяется и на оракулов. Джинн мог бы имитировать действия оракула, если единственные команды, которые мы ему даем, были бы связаны с необходимостью отвечать на конкретные вопросы. В свою очередь, оракул в состоянии заменить джинна, когда ему поступает запрос на разработку какой-нибудь рекомендации. Оракул выдаст пошаговую инструкцию, как джинну достичь того или иного результата, и даже напишет для него исходный код[384]. Это верно и в отношении сходства между оракулом и монархом.

Таким образом, реальная разница между тремя типами ИИ заключается не в их возможностях. Скорее, отличие связано с разными подходами к решению проблемы контроля. С каждой кастой ИИ связан свой набор мер предосторожности. По отношению к оракулу будет лучше всего применять изолирующие методы; наверное, подойдет и такой метод, как приручение. Джинна запереть сложнее, поэтому намного эффективнее будет использовать метод приручения. Однако ни изоляции, ни приручению не поддастся монарх.

Будь меры предосторожности решающим обстоятельством, иерархия была бы очевидна: оракул безопаснее джинна, а джинн безопаснее монарха — и все исходные различия (удобство и быстродействие) ушли бы в тень, уступив первенство единственному преимуществу, ради которого выбор всегда бы делался в пользу оракула. Однако следует принимать во внимание и другие факторы. Выбирая между кастами, нужно учитывать не только степень угроз, исходящих от самой системы, но и опасность, которая возникает в результате ее возможного использования. Очевидно, что джинн наделяет контролирующего его человека огромной властью, но то же самое можно сказать и об оракуле[385]. В отличие от них монарха можно было бы разработать таким образом, чтобы ни у кого (человека или группы людей) не было бы преимущественного права влиять на результаты работы системы и чтобы всякий раз ИИ сопротивлялся при малейшей попытке вмешаться в его деятельность или изменить его программные параметры. Более того, если мотивация монарха определена при помощи метода косвенной нормативности (этот метод упоминался в предыдущей главе, и мы вернемся к нему в тринадцатой главе), такой ИИ можно будет использовать для достижения некоего абстрактно заданного результата, например «максимально справедливого и этически допустимого» — без необходимости заранее представлять точно, каким он должен быть. Это привело бы к возникновению ситуации, аналогичной «вуали неведения» Джона Ролза[386]. Такие условия способны облегчить достижение консенсуса, помочь предотвратить конфликт и привести к более справедливому результату.

Еще одно соображение — не в пользу оракулов и джиннов — касается риска создания сверхразума, чья конечная цель не будет полностью отвечать тому, чего в конечном счете нам хотелось бы добиться. Допустим, прибегнув к методу приручения, мы уговорим сверхразум стремиться к тому, чтобы минимизировать свое воздействие на мир, тогда мы сможем получить интеллектуальную систему, чьи оценки предпочтительности тех или иных исходов будут отличаться от оценок организаторов проекта. То же самое произойдет, если мы создадим сверхразум, чрезмерно высоко ценящий свою способность давать абсолютно достоверные ответы или слепо повиноваться любой команде. Если будут предприняты соответствующие меры предосторожности, это не должно вызвать особых проблем: между двумя системами оценок будет мало различий — по меньшей мере до тех пор, пока они относятся к возможным мирам, у которых много шансов быть актуализованными. Поэтому результаты, которые окажутся правильными по стандартам интеллектуального агента, будут правильными и с точки зрения принципала. Возможно, кто-то возразит, что подобный принцип разработки неудачен, поскольку неблагоразумно вносить даже легкую дисгармонию между целями ИИ и целями человечества. (Конечно, аналогичные сомнения возникают, если монархам начнут определять цели, не полностью гармонирующие с нашими, человеческими.)

ИИ-инструменты

В свое время было высказано предложение создавать сверхразум скорее в качестве инструмента, чем агента[387]. Идея возникла неслучайно, и связана она с простым соображением: обычным программным обеспечением пользуются все подряд, и ни у кого не возникает никакого чувства опасности, даже отдаленно напоминающего ту тревогу, которую вызывают у нас проблемы, обсуждаемые в этой книге. Почему бы не создать ИИ, похожий на обычное ПО, — вроде системы управления полетом или виртуального помощника, — только более гибкое и универсальное? Зачем нужен сверхразум, обладающий собственной волей? Те, кто придерживается такой точки зрения, считают, что сама парадигма агента фундаментально ошибочна. Вместо ИИ, который, подобно человеку, думает, желает и действует, нам следует ориентироваться на написание ПО, делающее лишь то, для чего оно предназначено.

Однако идея создания ПО, которое «делает лишь то, для чего предназначено», не так легко осуществима, поскольку речь идет о продукте с очень мощным интеллектом. В каком-то смысле все программы делают то, на что они запрограммированы: их поведение математически определяется исходным кодом. Но это утверждение так же верно и для ИИ, принадлежащего какой-то из трех каст. Если делать лишь то, для чего предназначено означает «вести себя так, как предполагали программисты», то стандартное ПО довольно часто нарушает этот стандарт.

Благодаря ограниченным возможностям современного ПО (по сравнению с ИИ) с последствиями его отказов пока можно справиться — они будут оцениваться где-то между значением «несущественный» и «дорогостоящий», но никогда не поднимутся до уровня экзистенциальной угрозы[388] Однако если относительно безопасными стандартные современные ПО делает не высокая надежность, а ограниченные возможности, то непонятно, как они могут стать образцом для создания безопасного сверхразума. Может быть, потребность в УИИ можно удовлетворить за счет расширения диапазона задач, решаемых обычным ПО? Но диапазон и разнообразие задач, которые ИИ успешно решил бы в современных условиях, огромен. Вряд ли для их решения возможно создать ПО специального назначения. Но даже если это и можно сделать, такой проект занял бы слишком много времени. Еще до его завершения обязательно изменится сущность самого задания, поскольку одни проблемы утратят свою злободневность, а другие, пока еще невыявленные, станут актуальными. Наличие программы, которая может самостоятельно учиться решать новые задачи и, более того, формулировать их, а не только справляться с чужими формулировками, дало бы нам огромные преимущества. Но тогда нужно, чтобы программа имела возможность учиться, мыслить и планировать, причем делать это на высоком уровне и не ограничиваться одной или несколькими областями знаний. Иными словами, нужно, чтобы она обладала общим уровнем интеллекта.

В нашем случае особенно важна задача разработки самого ПО. С практической точки зрения огромный выигрыш дала бы автоматизация этого процесса. Хотя такой же критически важной является и способность к быстрому самосовершенствованию, ведь именно она позволяет зародышу ИИ обеспечить взрывное развитие интеллекта.

Если наличие общего уровня интеллекта не является обязательным, существуют ли иные способы реализовать идею ИИ-инструмента так, чтобы он не вырвался за рамки пассивного «решателя» задач? Возможен ли ИИ, не являющийся агентом? Интуиция подсказывает, что безопасным обычное ПО делает не ограниченность его возможностей, а отсутствие амбиций. В Excel нет подпрограмм, тайно мечтающих завоевать мир, будь у них соответствующие возможности. Электронные таблицы вообще ничего не «хотят», они всего лишь слепо выполняют команды, записанные в их код. Может возникнуть вопрос: что мешает нам создать программу такого же типа, но обладающую более развитым интеллектом? Например, оракула, который в ответ на описание цели выдал бы план ее достижения, так же как Excel в ответ на ввод чисел в ячейки выдает их сумму, то есть не имея никаких «предпочтений» относительно результата своих расчетов или того, как люди могут им воспользоваться?

Классический путь написания программ требует от программиста довольно детального понимания задачи, которая должна быть разработана, чтобы можно было явно задать ход ее решения, состоящий из последовательности математически точно описанных шагов, выраженных в исходном коде[389]. (На практике программисты полагаются на библиотеки подпрограмм, выполняющих определенные функции, которые можно просто вызывать без необходимости разбираться в деталях их реализации. Но эти подпрограммы изначально были созданы людьми, которые все-таки отлично разбирались в том, что делали.) Этот подход работает при решении хорошо знакомых задач, чем и занято большинство существующих ПО. Однако он перестает работать в ситуации, когда никто толком не понимает, как должны быть решены стоящие перед программой задачи. Именно в этом случае становятся актуальными методы из области разработок искусственного интеллекта. В некоторых приложениях можно использовать машинное обучение для точной настройки нескольких параметров программ, в остальном полностью созданных человеком. Например, спам-фильтр можно обучать на массиве вручную отобранных сообщений электронной почты, причем в ходе этого обучения классифицирующим алгоритмом будут изменяться веса, которые он присваивает различным диагностическим атрибутам. В более амбициозном приложении можно создать классифицирующий механизм, который будет сам обнаруживать такие атрибуты и тестировать их пригодность в постоянно меняющейся среде. Еще более совершенный спам-фильтр может быть наделен некоторыми возможностями размышлять о компромиссах, на которые готов пойти пользователь, или о содержании анализируемых им сообщений. Ни в одном из этих случаев программисту не нужно знать наилучший способ отделения спама от добропорядочной почты — он должен лишь определить алгоритм, при помощи которого спам-фильтр сам улучшит свою эффективность за счет обучения, обнаружения новых атрибутов или размышлений.

По мере развития ИИ у программиста появится возможность сэкономить большую часть умственных сил, которые нужны для поиска путей решения стоящей перед ним задачи. В предельном случае ему будет достаточно задать формальный критерий успешности решения и предложить задачу ИИ. В своем поиске ИИ будет руководствоваться набором мощных эвристических правил и методов, позволяющих выявить структуру пространства возможных решений. ИИ мог бы продолжать свой поиск до тех пор, пока не будет найдено решение, удовлетворяющее критерию успеха. А затем или внедрить решение самостоятельно, или (например, оракул) сообщить о нем пользователю.

Элементарные формы такого подхода сегодня уже используются очень широко. Тем не менее ПО, в котором работают методы ИИ и машинного обучения, хотя и имеет некоторые шансы найти решение, неожиданное для людей, их создавших, во всех практических смыслах функционирует как обычные программы и не создает экзистенциального риска. В опасную зону мы попадаем лишь тогда, когда методы, используемые в поиске, становятся слишком мощными и универсальными, то есть когда они начинают переходить на общий уровень интеллекта, а особенно — на уровень сверхразума.

Есть (как минимум) два случая, когда могут возникнуть проблемы.

Во-первых, сверхразумный процесс поиска может найти решение, которое не только неожиданно, но и категорически неприемлемо. Это приведет к пагубному отказу по одному из обсуждавшихся выше типов (порочная реализация, инфраструктурная избыточность, преступная безнравственность). Особенно очевидна такая возможность, когда действуют монарх и джинн, напрямую воплощающие в жизнь найденные ими решения. Если компьютерные модели, призванные символизировать счастье, или заполонение планеты скрепками — первые из обнаруженных сверхразумом решений, удовлетворяющие критерию успеха, тогда мы получим сплошные смайлики и скрепки[390]. Но даже оракул, всего лишь сообщающий о решении, если все идет хорошо, — может стать причиной порочной реализации. Пользователь просит оракула представить план достижения определенного результата или технологию выполнения определенной функции, а затем следует этому плану или воплощает в жизнь технологию, в результате чего сталкивается с порочной реализацией точно так же, как если бы реализацией решения занимался сам ИИ[391].

Во-вторых, проблемы могут возникнуть на этапе работы самого ПО. Если методы, которыми оно пользуется для поиска решения, достаточно сложны, они могут допускать управление процессом поиска в интеллектуальном режиме. В этом случае компьютер, на котором запущено ПО, будет выглядеть уже не как инструмент, а скорее как агент. То есть программа может начать разрабатывать план проведения поиска. В ее плане будут определены области, которые следует изучить в первую очередь, методы их изучения, данные, которые нужно собрать, модель использования наилучшим образом имеющихся вычислительных мощностей. Разрабатывая план, отвечающий внутреннему критерию ПО (в частности, который имеет довольно высокую вероятность привести к решению, удовлетворяющему определенному пользователем критерию в отведенное на это время), программа может остановиться на какой-то необычной идее. Например, план может начаться с получения дополнительных вычислительных мощностей и устранения потенциальных препятствий (в том числе людей). Столь «творческий подход» вполне возможен после достижения ПО высокого интеллектуального уровня. Если программа решит реализовать такой план, это приведет к экзистенциальной катастрофе.


ВРЕЗКА 9. НЕОЖИДАННЫЕ РЕЗУЛЬТАТЫ СЛЕПОГО ПОИСКА

Даже простые процессы эволюционного поиска иногда приводят к совершенно неожиданным для пользователя результатам, которые тем не менее формально удовлетворяют поставленным критериям.

Область способного к эволюции аппаратного обеспечения представляет много примеров данного явления. Поиск проводится при помощи эволюционного алгоритма, который прочесывает пространство возможных схем аппаратных средств и тестирует каждую из них на пригодность путем реализации каждого варианта в виде интегральной схемы и проверки правильности ее функционирования. Часто в результате эволюционного дизайна удается достичь значительной экономии. Например, в ходе одного из подобных экспериментов была обнаружена схема дискриминации частот, которая функционировала без тактового генератора — компонента, считавшегося обязательным для выполнения такого рода функции. Исследователи оценили, что схемы, полученные в результате эволюционного дизайна, на один-два порядка меньше, чем те, которые для тех же целей создали бы инженеры-люди. Такие схемы использовали физические свойства входящих в них компонентов совершенно нетрадиционными способами, в частности, некоторые активные и необходимые для работы компоненты вообще не были соединены с входными или выходными ножками! Вместо этого они взаимодействовали с другими компонентами за счет того, что обычно считается досадными помехами: скажем, электромагнитных полей или нагрузки источника питания.

Другой эксперимент по эволюционной оптимизации с заданием разработать осциллятор, привел к исчезновению из схемы, казалось бы, еще более необходимого компонента — конденсатора. Когда успешное решение было получено и ученые посмотрели на него, то первой реакцией были слова: «Это не будет работать!» Однако после более тщательного анализа оказалось, что алгоритм, словно секретный агент Макгайвер[392], переконфигурировал свою материнскую плату, лишенную датчиков, в импровизированный радиоприемник, использовав дорожки печатной схемы в качестве антенны для приема сигналов, генерируемых компьютером, который располагался поблизости в той же лаборатории. Затем эти сигналы усиливались схемой и преобразовывались в выходной сигнал осциллятора[393].

В других экспериментах эволюционные алгоритмы разрабатывали схемы, которые определяли, что материнскую плату проверяли осциллографом или что в лаборатории в розетку включали паяльник. Эти примеры показывают, как программы в процессе свободного поиска могут изменить назначение доступных им ресурсов, чтобы обеспечить себе неожиданные сенсорные возможности такими средствами, которые привычно мыслящий человеческий ум не готов не только использовать, но и просто понять.

Тенденция эволюционного поиска: отыскивать «хитрые» решения и совершенно неожиданные пути достижения цели — проявляется и в природе, хотя мы считаем вполне нормальными знакомые нам результаты биологической эволюции, даже если и не были бы готовы спрогнозировать их. Зато можно провести эксперименты с искусственным отбором, в ходе которых увидеть работу эволюционного процесса вне рамок привычного контекста. В таких экспериментах исследователи могут создавать условия, редко встречающиеся в природе, и наблюдать за их результатами.

Например, до 1960-х гг. среди биологов было распространено мнение, что популяции хищников ограничивают свой рост, чтобы не попасть в мальтузианскую ловушку[394]. И хотя индивидуальный отбор работал против такого ограничения, многие считали, что групповой отбор должен подавлять индивидуальные склонности использовать любые возможности для продолжения рода и поощрять такое поведение, которое благоприятно сказывается на всей группе или популяции в целом. Позднее теоретический анализ и моделирование показали, что хотя групповой отбор и возможен в принципе, он способен победить индивидуальный отбор в очень редко встречающихся в природе условиях[395] Зато такие условия могут быть созданы в лаборатории. Когда при помощи группового отбора особей мучного хрущака (Tribolium castaneum) попытались добиться уменьшения размера их популяции, это действительно удалось сделать[396]. Однако методы, благодаря которым был получен требуемый результат, включали не только «благоприятное» приспособление в виде снижения плодовитости и увеличения времени на воспроизводство, которых можно было бы наивно ожидать от антропоцентричного эволюционного поиска, но и рост каннибализма[397]

Как показывают примеры, приведенные во врезке 9, процессы неограниченного поиска решений иногда выдают странные, неожиданные и не антропоцентричные результаты даже в нынешнем своем весьма ограниченном виде. Современные поисковые процессы неопасны, поскольку слишком слабы, чтобы разработать план, способный привести к их господству над миром. Такой план должен включать чрезвычайно сложные шаги вроде создания новых видов оружия, на несколько поколений опережающих существующие, или проведение пропагандистской кампании, гораздо более эффективной, чем те, что доступны современным механизмам манипулирования людьми. Чтобы у машины появилась возможность хотя бы помыслить об этих идеях, не говоря уже об их воплощении в жизнь, вероятно, ей нужно уметь представлять мир как минимум так же реалистично и детально, как это делает обычный взрослый человек (хотя отсутствие знаний в определенных областях может быть скомпенсировано чрезвычайно развитыми навыками в других). Пока это далеко превышает уровень имеющихся систем ИИ. А учитывая комбинаторный взрыв, который обычно пресекает попытки решить сложные задачи планирования при помощи методов перебора (мы видели это в первой главе), недостатки известных алгоритмов не могут быть преодолены простым наращиванием вычислительной мощности[398]. Однако по мере развития процессов поиска или планирования растет и их потенциальная опасность.

Возможно, вместо того чтобы позволить спонтанное и опасное развитие целенаправленного поведения агентов при помощи мощных поисковых алгоритмов (включая процессы планирования и прямого поиска решений, удовлетворяющих определенным критериям пользователя), лучше было бы создать агента намеренно. Наделив сверхразум явной структурой агентского типа, можно было бы повысить его предсказуемость и прозрачность. Хорошо разработанная система с четким разделением между целями и навыками позволила бы нам делать прогнозы относительно результатов, которые она будет выдавать. Даже если мы не сможем точно сказать, к какому мнению придет система или в каких ситуациях окажется, будет понятно, в каком месте можно проанализировать ее конечные цели и, как следствие, критерии, которыми она воспользуется при выборе своих действий и оценке потенциальных планов.


Сравнительная характеристика

Будет полезно обобщить свойства различных каст ИИ, которые мы обсудили (табл. 11).


Таблица 11. Свойства различных типов интеллектуальных систем


Оракул: Система для ответа на вопросы

Полностью применимы изоляционные методы.

Полностью применим метод приручения.

Сниженная потребность в понимании человеческих намерений и интересов (по сравнению с джиннами и монархами).

Использование вопросов, на которые существуют однозначные ответы типа «да» и «нет», поможет избавиться от необходимости измерять «полезность» или «информативность» ответов


Варианты: оракулы, ограниченные одной областью знаний (например, математикой); оракулы с ограниченным доступом к каналу вывода (например, дающие ответы: «да», «нет», «нет решения», «почти наверное»); оракулы, отказывающиеся отвечать на вопросы, содержащие хотя бы намек на некоторый заранее определенный критерий «бедствия»; множественные оракулы для сравнения ответов


Источник огромной власти (могут обеспечить оператору решающее стратегическое преимущество).

Ограниченная защита от неправильного использования оператором.

Ненадежных оракулов можно было бы использовать для получения ответов на вопросы, которые трудно отыскать, но легко проверить.

Облегченную форму проверки ответов можно было бы проводить за счет использования множества оракулов


Джинн: Система исполнения команд

Отчасти применимы изоляционные методы (для пространственно ограниченных джиннов).

Отчасти применим метод приручения.

Джинны могут прогнозировать наиболее характерные проблемы и запрашивать подтверждение на выполнение команд


Варианты: джинны, использующие различные «дистанции экстраполяции» или степени следования скорее духу, нежели букве команд; джинны, ограниченные отдельными областями знаний; джинны, отказывающиеся выполнять команды, если они предсказывают, что их выполнение отвечает некоторому заранее определенному критерию «бедствия»


Джинны могли бы разбивать выполнение команд на этапы, чтобы контролировать промежуточные результаты.

Источник огромной власти (могут обеспечить оператора решающим стратегическим преимуществом).

Ограниченная защита от неправильного использования оператором.

Большая потребность понимать человеческие намерения и интересы (по сравнению с оракулами)


Монарх: Система, предназначенная для независимого выполнения автономных операций

Изоляционные методы неприменимы.

Большинство других методов контроля над возможностями также неприменимы (за исключением социальной интеграции и антропного захвата).

Метод приручения в большинстве случаев неприменим.

Высокая потребность в понимании истинных человеческих намерений и интересов.

Необходимость правильной реализации с первого раза (в принципе, в той или иной степени это верно для всех каст)


Варианты: многие возможные системы мотивации; возможность использования оценки и «ратификации организатором» (см. главу 13)


Потенциально источник огромной власти для организатора, включая решающее стратегическое преимущество.

После активации не подвержен взлому со стороны оператора и может быть снабжен некоторой защитой от неправомерного использования. Может использоваться для реализации исходов типа «вуаль неведения» (см. главу 13).

Могут быть применимы изоляционные методы в зависимости от реализации.

При разработке и функционировании машинного сверхразума, скорее всего, будут использоваться мощные поисковые процессы


Инструмент: Система, не предназначенная для целенаправленного поведения

Мощный поиск с целью найти решение, удовлетворяющее некоторым формальным критериям, может привести к открытию решения, которое отвечает этим критериям незапланированным и опасным способом

Мощный поиск может включать в себя вторичный, внутренний поиск и процессы планирования, которые выявят опасные способы проведения основного поиска


Для определения, какой тип системы будет самым безопасным, требуется проведение дополнительных исследований. Ответ может зависеть от условий, при которых используется ИИ. Каста оракулов, очевидно, привлекательна с точки зрения безопасности, поскольку к оракулам применимы и методы контроля над возможностями, и методы выбора мотивации. В этом смысле может показаться, что оракулы предпочтительнее монархов, которым подходят лишь методы выбора мотивации (за исключением ситуаций, когда в мире существуют и другие мощные сверхразумные системы, — в этом случае могут применять социальную интеграцию или антропный захват). Однако оракул может дать оператору слишком большую власть, что опасно в случае коррумпированного или неблагоразумного оператора, в то время как монарх дает некоторую возможность защититься от таких неприятностей. Так что ранжирование каст с точки зрения безопасности не столь очевидно.

Джинна можно считать компромиссным решением, но выбор в пользу джинна не всегда будет удачным. Во многих отношениях ему свойственны недостатки обеих каст. Кажущаяся безопасность ИИ-инструмента также может быть иллюзорной. Чтобы такая система могла стать достаточно универсальной и заменить сверхразумного агента, она должна включать в себя чрезвычайно мощные процессы внутреннего поиска и планирования. Эти процессы могут иметь незапланированные последствия в виде поведения агентского типа. В этом случае было бы лучше сразу разрабатывать систему как агента, чтобы программисты могли четче видеть, какие критерии определяют результаты ее работы.

Глава одиннадцатая

Сценарии многополярного мира

Мы уже не раз убеждались (особенно в главе восьмой), какой опасной может быть развязка, приводящая к однополярному миру, когда единственный сверхразум получает решающее стратегическое преимущество и использует его для формирования синглтона. В этой главе мы рассмотрим, что может произойти в случае многополярного исхода: возникновение постпереходного общества со множеством конкурирующих сверхразумных агентов. Этот сюжетный вариант интересует нас по двум причинам. Во-первых, одним из решений проблемы контроля может быть метод социальной интеграции — его достоинства и недостатки были отмечены в девятой главе. Детально он будет описан в этой главе. Во-вторых, даже при отсутствии намеренного стремления создать многополярные условия, чтобы решить проблемы контроля, они могут сложиться сами собой. Как тогда будет выглядеть исход? Совсем необязательно, что появившееся общество, основанное на конкуренции, окажется перспективным и просуществует сколь-нибудь долго.

В сценарии однополярного мира, когда критический рубеж уже перейден и наступило правление синглтона, — все, что произойдет потом, будет полностью зависеть от его системы ценностей. Поэтому исход может быть как очень хорошим, так и очень плохим, в зависимости от того, какие у синглтона замыслы. В свою очередь, его ценностная ориентация зависит от того, была ли решена проблема контроля и — если была решена — от целей проекта, в рамках которого был создан синглтон.

Итак, те, кого интересуют возможные сценарии исхода с формированием синглтона, могут опереться на три источника возможной информации: факторы, на которые синглтон воздействовать не может (например, физические законы); конвергентные инструментальные цели; предположительные конечные цели.

В сценариях многополярного мира появляется дополнительный набор условий, тоже играющий информационную роль, — разные характеры взаимоотношений агентов. Вследствие их взаимодействия возникает та или иная социальная динамика, которую можно проанализировать, используя знания по теории игр, экономике и теории эволюции, также подойдут некоторые элементы политологии и социологии — настолько, насколько мы освободим их от случайных черт человеческого опыта. Было бы странно ожидать, что из этих источников мы сможем извлечь достаточно информации для составления полной картины постпереходного мира, но они помогут наметить самые