ВИКТОР ЛЕОНОВ, 

к.т.н., главный редактор журнала "Современное машиностроение" 

Похоже, что главное событие 2017 года состоялось ещё в начале января в Конференц-Центре, расположенном на территории государственного парка-пляжа Асиломар, город Пасифик Гроув, штат Калифорния, США. И ничего сопоставимого по масштабу до конца года явно не предвидится.

Стоит отметить, что это не совсем курортное место уже не первый раз становится той точкой на Земле, где формируются (и это без всякого пафоса), важнейшие направления развития человеческой цивилизации, оцениваются потенциальные выгоды, получаемые людьми от достижений науки, и конечно экзистенциальные риски, неизбежно при этом возникающие. 

Цель этих форумов – разработка перечня этических норм и правил, которыми в дальнейшем руководствуются в своих работах ведущие учёные и специалисты всего мира. И не так уж важно - становятся эти нормы основой для законодательных актов и межгосударственных соглашений или нет (чаще всё-таки становятся), гораздо важнее, что эти принципы разделяют ведущие исследователи мира, для которых научная репутация и порядочность – не пустой звук.

Первая Асиломарская конференция состоялась в 1975 году по инициативе биохимика Пола Берга, основателя генной инженерии. Человек, создавший в 1972 году первую рекомбинантную ДНК, совершивший огромный прорыв в науке, первым и осознал возможную опасность своего открытия.

В 1974 году он написал письмо в крупнейшие научные журналы, в котором призвал приостановить как минимум на год любые операции с рекомбинантными ДНК и немедленно созвать конференцию для обсуждения потенциальных рисков таких исследований. В 1975 году в Асиломаре по инициативе Берга собрались 140 учёных, врачей и юристов, имеющих отношение к ДНК-исследованиям. И хотя достаточно быстро  стало понятно, что некоторые риски преувеличены, тем не менее, именно там были разработаны основные правила проведения исследований генома. А главным итогом стало заключение соглашения о недопустимости проведения работ с потенциально опасными микроорганизмами вне специально оборудованных лабораторий.

Работы с рекомбинантной ДНК были продолжены, Пол Берг в 1980 году был удостоен Нобелевской премии, а нашу сегодняшнюю реальность без генной инженерии представить уже трудно.

Давно замечено, что практически все крупные открытия и изобретения проходят через три этапа: первый – восторг и восхищение от открывающихся перспектив и горизонтов; второй – страх от осознания возможных последствий; и третий, пожалуй, самый тяжёлый и мучительный – когда приходит понимание необходимости поиска дальнейшего пути, который, нередко с ошибками и отступлениями, но неизбежно, приводит к следующему уровню прогресса, к следующему уровню и качеству жизни.

Ядерная энергетика и ядерное оружие – это, пожалуй, самые очевидные примеры того, что технологии могут дать нам возможность процветания, а могут и полностью уничтожить нас.

Есть примеры менее очевидные. Так, появление первых машин, заводов и фабрик привело к совершенно иному, несопоставимо более высокому качеству жизни человечества в целом, но оно же вызвало разорение  многочисленного, образованного и влиятельного сословия ремесленников, что в свою очередь спровоцировало сильнейшие социальные и геополитические потрясения.

Можно привести ещё примеры того, как прогресс человечества приводит к исчезновению целых отраслей промышленности, деградации или даже банкротству городов, однако сейчас человечество стоит перед глобальными вызовами, равных которых по масштабам ещё не было. Имеется в виду, конечно, искусственный интеллект (ИИ).

Когда компьютер Deep Blue (IBM) в 1997 году обыграл действующего на тот момент чемпиона мира по шахматам Гарри Каспарова, это вызвало возбуждение у некоторой особо впечатлительной части общества, но в целом реакция была спокойной. В конце концов, шахматы не компьютер придумал, и программы для игры в шахматы стали придумывать чуть ли не сразу после появления первых ЭВМ. Победа в 2016 году программы AlphaGo, разработанной компанией  Google DeepMind, над игроком в го высшего дана  Ли Седолем стала уже безусловной сенсацией. Во-первых, программа создавалась без привязки к конкретному аппаратному обеспечению. А во-вторых, и это, пожалуй, главное, что сама игра го содержит в себе такое огромное количество возможных комбинаций, что практически исключает использование традиционных алгоритмов и методов программирования, и для ее разработки применялись методы глубокого машинного обучения и распознавания образов. Причём в процессе обучения машина самостоятельно вносила изменения в кодировку предварительно загружаемых в неё партий, сыгранных людьми.

Стало очевидно – эпоха ИИ где-то совсем близко, а отношение к ней у лучших умов человечества, мягко говоря, разное: от весьма настороженного у Илона Маска, Билла Гейтса, Стивена Хокинга - до активно созидательного у Рэймонда Курцвейла, Ларри Пейджа, Яана Таллинна, Марка Цукерберга и многих других, не менее авторитетных учёных и предпринимателей.

Таковы, вкратце, предпосылки созыва Асиломарской конференции по безопасности работы с ИИ, организовал которую Институт Будущего Жизни (FLI) в январе 2017 года.

Нужно признать, что организаторы в кратчайший срок проделали колоссальную работу. Прежде всего, необходимо было определить участников конференции, учитывая их научный и предпринимательский авторитет, при этом стараясь соблюсти весь существующий спектр мнений, и, разумеется, заручиться их личным согласием на участие. Удалось собрать вместе более 150 блестящих специалистов, каждый из которых к тому времени уже являлся частью истории. Угадайте, сколько среди них было чиновников? Вы удивитесь: ни одного. Понимаю, поверить в это сложно, поэтому привожу ссылку на страницу сайта организатора, где опубликована групповая фотография и полный перечень участников https://futureoflife.org/bai-2017/. Там же можно ознакомиться с подробной программой конференции.

Но вернёмся к подготовке, так как именно проделанная предварительная аналитическая работа, на мой взгляд, обеспечила успех финальной части мероприятия.

В процессе подготовки к конференции было собрано и проанализировано множество научных работ и официальных отчётов по ИИ ведущих университетов и научных центров мира, крупнейших высокотехнологичных корпораций, некоммерческих фондов и организаций, государственных и правительственных учреждений ведущих стран (включая два отчёта Белого дома).

Таким образом, организаторы составили список из десятков, а может быть и сотен мнений о том, что должно делать общество, чтобы наилучшим образом управлять ИИ в ближайшие десятилетия. Из этого списка были исключены дублирования и упрощения,  а в результате составлен основной набор принципов, отражающий определённый уровень консенсуса. Но и этот «сжатый» список, разбитый на группы по тематическим направлениям, по-прежнему содержал множество противоречий, которые и стали предметом очной дискуссии и дальнейшей корректировки.

Конференция длилась 2,5 дня, а сама дискуссия прошла в два этапа. На первом этапе группы специалистов в рамках секционных заседаний обсудили различные аспекты, связанные с возможным появлением искусственного разума, в том числе такие важные темы, как его автономное использование, влияние на рынок труда, доступ к соответствующим технологиям и многие другие. В итоге некоторые принципы были переформулированы, другие – исчезли совсем, а некоторые формулировки были добавлены уже в процессе обсуждения.

На втором этапе в процессе общей дискуссии каждый участник конференции получил возможность внести свои замечания, дополнения и комментарии во все формулировки, составленные отдельными группами на первом этапе.

                                                   Когда-нибудь эту фотографию назовут исторической (источник: https://futureoflife.org)

Результат удивил даже организаторов – в итоговый список попали 23 принципа работы с Искусственным Интеллектом, набравшие 90% поддержки всех участников конференции в Асиломаре.

Итак, внимание - оглашаем весь список.

ПРИНЦИПЫ РАБОТЫ С ИИ, РАЗРАБОТАННЫЕ НА АСИЛОМАРСКОЙ КОНФЕРЕНЦИИ

 Принципы работы с ИИ были разработаны в ходе конференции в Асиломаре (Калифорния, США), прошедшей в 2017 году 

Искусственный интеллект уже сделал возможным создание инструментов, по всему миру приносящих пользу тем, кто ими пользуется. Дальнейшая разработка ИИ в соответствии с представленными ниже принципами может открыть удивительные возможности для помощи людям на десятилетия и даже века вперед.

Область исследований

1) Цель исследования: цель исследований ИИ должна лежать в области создания не бесцельного разума, но систем, направленных на принесение пользы человечеству.

2) Финансирование исследований: инвестиции в ИИ должны сопровождаться субсидированием исследований, направленных на поиск полезных способов применения ИИ, в контексте которых рассматриваются непростые вопросы из области компьютерных наук, экономики, права, этики и социальных наук. Некоторые из таких вопросов:

• Как обеспечить надежность будущего ИИ таким образом, чтобы системы выполняли свою программу, не подвергаясь угрозе сбоев и хакерских атак?
• Как повысить уровень благосостояния с помощью автоматизации процессов, не сократив при этом уровень человеческого труда и сохранив его назначение?
• Как, сделав правовую систему более эффективной и справедливой, модифицировать ее в соответствии с развитием ИИ и учесть все правовые риски, связанные с его использованием?
• Какие ценностные ориентиры должны лежать в основе ИИ и каким правовым и моральным статусом он должен обладать?

3) Диалог ученых и политических деятелей: необходим конструктивный и здоровый диалог между исследователями ИИ и политическим руководством.

4) Культура отношений в исследовательском сообществе: среди исследователей и разработчиков систем ИИ должна поощряться культура взаимодействия, доверия и открытости.

5) Отсутствие конкуренции: команды разработчиков ИИ должны активно взаимодействовать друг с другом во избежание ненадлежащего исполнения стандартов безопасности.

Этика и ценности

6) Безопасность: системы ИИ должны быть безопасны и защищены на протяжении всего срока эксплуатации, а в ситуациях, где это целесообразно, штатная работа ИИ должна быть легко верифицируема.

7) Открытость сбоев в системе: если система ИИ причиняет вред, должна быть возможность выяснить причину.

8) Открытость системе правосудия: любое участие автономной системы ИИ в принятии судебного решения должно быть удовлетворительным образом обосновано и доступно для проверки компетентным органами.

9) Ответственность: разработчики и создатели продвинутых систем ИИ напрямую заинтересованы в моральной стороне последствий использования, злоупотребления и действий ИИ, и именно на их плечах лежит ответственность за формирование подобных последствий.

10) Синхронизация ценностей: системы ИИ с высокой степенью автономности должны быть разработаны таким образом, чтобы их цели и поведение были согласованы с человеческими ценностями на всем протяжении работы.

11) Человеческие ценности: устройство и функционирование систем ИИ должно быть согласовано с идеалами человеческого достоинства, прав, свобод и культурного разнообразия.

12) Защита личных данных: люди должны иметь право на доступ к персональным данным, их обработку и контроль, при наличии у систем ИИ возможности анализа и использования этих данных.

13) Свобода и конфиденциальность: применение систем ИИ к персональным данным не должно безосновательно сокращать реальную или субъективно воспринимаемую свободу людей.

14) Совместная выгода: технологии ИИ должны приносить пользу максимально возможному числу людей.

15) Совместное процветание: экономические блага, созданные при помощи ИИ, должны получить широкое распространение ради принесения пользы всему человечеству.

16) Контроль ИИ человеком: люди должны определять процедуру и степень необходимости передачи системе ИИ функции принятия решений для выполнения целей, поставленных человеком.

17) Устойчивость систем: те, кто обладает влиянием, управляя продвинутыми системами ИИ, должны уважать и улучшать общественные процессы, от которых зависит здоровье социума, а не подрывать таковые.

18)  Гонка вооружений в области ИИ: стоит избегать гонки вооружений в области автономного летального оружия.

Долгосрочная перспектива

19) Опасность недооценки возможностей: стоит избегать уверенных предположений относительно верхнего порога возможностей ИИ будущего, особенно в отсутствие консенсуса по этому вопросу.

20)  Важность: продвинутый ИИ может повлечь коренные изменения в истории жизни на Земле, и его разработка и управление должны осуществляться при наличии соответствующих ресурсов и в условиях особой тщательности.

21) Риски: потенциальные риски, связанные с системами ИИ, особенно опасность катастроф или угроза существованию жизни в целом, должны купироваться действиями по планированию и смягчению рисков, соразмерными возможному масштабу воздействия.

22) Рекурсивное автообучение: системы ИИ, разработанные для улучшения эффективности собственных алгоритмов и самовоспроизведения, ведущего к быстрому изменению качества и количества, должны быть объектом применения мер жесткого регулирования и контроля.

23)  Всеобщее благо: сверхразум должен быть разработан исключительно в целях, соответствующих большинству этических идеалов и для пользы всего человечества, а не одного государства или организации.

(Источник:  официальный сайт FLI, https://futureoflife.org/ai-principles/)

В течение 2017 года Принципы были подписаны 1273 исследователями, непосредственно занятыми в разработке ИИ/робототехники, а также 2541 учёными и предпринимателями, чья деятельность в той или иной степени уже затронута этими проблемами. В их число входят в частности Илон Маск, Стивен Хокинг, Яан Таллинн (изобретатель и соучредитель Skype). Выразить свою поддержку Принципам работы с ИИ принятым на Асиломарской конференции, а также принять участие в их обсуждении можно и сейчас на сайте https://futureoflife.org/.

Нельзя не отметить, насколько своевременным было проведение этого форума. 2017 получился действительно годом потрясающих прорывов в области разработки ИИ. При этом, уже сейчас известно, что сотни выдающихся исследователей открыто отказались участвовать в разработках автономного летального оружия, так как подписали своё согласие с Принципами Асиломарской конференции по ИИ, а в Совбезе ООН готовится резолюция по полному запрету автономного вооружения.

Но даже здесь всё не так очевидно. В своём недавнем интервью журналу Wired самый известный изобретатель и футуролог современности, технический директор Google Рэймонд Курцвейл призвал проявить разумную осмотрительность в этом вопросе. Ведь и автономное вооружение – тоже технология двойного назначения. Дрон с автономной интеллектуальной системой навигации может быстро доставить к труднодоступному месту жизненно необходимые лекарства, а может – взрывное устройство. Простых решений здесь быть не может, интеллект всё-таки. А запрет, как нам хорошо известно, решение самое простое и примитивное, но не самое эфективное и полезное.

Интеллект человека формировался в течение сотен тысяч лет в тяжелейших условиях естественного обора. И параллельно формировались нравственные принципы, в отрыве от которых логика человека во многих случаях просто не работает, или работает, но во вред ему самому. Сейчас, по сути, речь идёт о том, чтобы суперинтеллект машины в кратчайший период объединить с основными правилами морали и нравственности человека. Мало того, что мы со своей моралью разобраться толком не можем, так ещё и логику принятия машиной тех или иных решений мы, как выясняется, понять пока не в состоянии. Что, кстати, наглядно продемонстрировали нам последние события в мире игры в го. 

А там произошло вот что.

После того, как программа AlphaGo выиграла у чемпиона Ли Седоля матч из пяти партий со счётом 4:1, в адрес Ли посыпались упрёки от других игроков, что матч он провёл слабо, да и вообще пора давать дорогу молодым (спортсменам и любителям спорта это, я думаю, очень знакомо). После этого разработчики DeepMind дали возможность сыграть с AlphaGo на специальном сайте всем лучшим игрокам в го. Было сыграно 60 партий, и во всех программа одержала победу.

Последними играми  AlphaGo с человеком был матч из трёх партий в мае 2017 года с сильнейшим на тот момент игроком Кэ Цзе. Во всех трёх париях программа выиграла, а основатель DeepMind Демис Хассабис объявил об уходе из большого спорта. Таким образом, Ли Седоль теперь уже навсегда останется единственным игроком в го, победившим AlphaGo. По крайней мере, хотя бы в одной партии.

Но это ещё не конец истории.

Все версии AlphaGo до осени 2017 года обучались на лучших партиях, сыгранных людьми, используя, таким образом, два уровня нейропрограммирования: человеческий опыт, заложенный в них заранее и собственную логику, тем самым приобретая свой собственный опыт игры. В октябре DeepMind объявил о создании новой версии программы – AlphaGo Zero.

В отличие от своих предшественников программа AlphaGo Zero была обучена исключительно правилам игры, а мастерство ей предстояло повышать в процессе рекурсивного автообучения, играя против себя же. После 40 дней такой тренировки и сыгранных нескольких миллионов партий AlphaGo Zero предоставили возможность сыграть с программой AlphaGo Master, последней версией программы, игравшей с человеком. AlphaGo Zero выиграла с неприличным результатом 89:11, причём аппаратные средства обеим программам были предоставлены абсолютно равные по вычислительной мощности. Да и методы программирования отличались только тем, что AlphaGo Master начальное обучение получило, используя лучшие партии сыгранные людьми, а AlphaGo Zero о человеческом опыте не знала ничего. Мастера го высших данов, привлечённые для разбора партий так и не смогли понять и пояснить логику некоторых ходов, которые в итоге и приводили к победе.

По всей видимости, разработчикам действительно удалось получить интеллект с нечеловеческой логикой, по своим возможностям значительно превосходящий человеческий, но только для абсолютно открытых систем с жёстко заданными правилами, исключающими любые случайные воздействия. Хотя и это уже даёт огромные возможности для использования в различных приложениях, таких, например, как синтез белков или точное моделирование химических реакций.

Сейчас исследователи DeepMind активно работают над разработками методов рекурсивного нейропрограммирования применительно к компьютерным играм, которые используют стратегии в реальном времени (типа DotA). Почему-то мне кажется, что прорывов здесь ждать осталось не долго. И совсем не случайно в DeepMind, как впрочем и в других компаниях корпорации Google уделяют так много внимания вопросам этики и безопасности при работах с ИИ.

Возвращаясь к недавнему интервью с Курцвейлом, хочу привести цитату из него: «Моя стратегия, которая не является бесспорной, - это использование такой этики, морали и ценностей, которые мы хотели бы видеть в нашем собственном человеческом обществе. Потому что будущее общество - это не какое-то вторжение с Марса интеллектуальных машин. Сегодня это является продуктом деятельности нашей цивилизации. Это будет улучшение нас самих. Поэтому, если мы практикуем те ценности, которые являются для нас главными в нашем мире, это лучшая стратегия для того, чтобы мир в будущем воплощал эти ценности. А цель состоит в том, чтобы выполнять обещания и контролировать опасность. Нет простых алгоритмов. Нет никаких подпрограмм, которые мы можем внести в наши ИИ: «Хорошо, включите эту подпрограмму. Это будет поддерживать ваш ИИ безопасным». Интеллект по своей сути неуправляем».

Это сказал один из авторов двадцати трёх принципов и участник конференции в Асиломаре.