Роботы без Азимова?

Завтра в Европарламенте обсуждают рекомендации по приданию роботам прав в логике юридических лиц. И хотя комментаторы пишут, что понятие «электронная личность» имеет такое же отношение к человеческой личности, как «юридическое лицо» к человеческому лицу, наши православные уже заволновались о перспективах уничтожения человечества. Рекомендации Европарламента прямо с первых строк мотивирующей части документа отталкиваются от наиболее известных художественных образов.

Страхи можно понять: о возможном вытеснении людей роботами звучит из уст не только футурологов, но и экономистов. Исторические экскурсы про луддитов в позапрошлом веке и про бухгалтеров в совсем недавнем прошлом успокаивают не всех. Перед образованием встают вопросы, чему учить, чтобы не попасть под сокращения из-за роботов в ближайшем будущем.

У нас есть аналогичная законотворческая инициатива Гришина, на которую я недавно отреагировал.

В том же ряду стоит рассматривать 23 принципа искусственного интеллекта (ИИ), которые подписали очень уважаемые в ИТ западные знаменитости. Они отличаются по жанру и по направленности (ИИ, а не роботы), но по сути это примерно одно и то же– регулирование сферы использования умных технологий. Я не отделяю ИИ от роботов, поскольку чистый ИИ– сущность условная: в той или иной форме он должен оказывать воздействие на нашу жизнь. В роботах это проявляется более явно. Но суть от этого принципиально не меняется.

Любители фантастики и все, кто связан с робототехникой, наверняка знают 3 закона робототехники из рассказа Азимова «Хоровод» (1942), исключающие агрессивность роботов:

• Первое: робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред.
• Второе: робот должен повиноваться всем приказам, которые дает человек, если эти приказы не противоречат Первому Закону.
• И третье: робот должен заботиться о своей безопасности в той мере, в какой это не противоречит Первому и Второму Законам.

Позднее в романе «Роботы и Империя» (1986) интеллектуальные гоминоидные роботы выводят 0-й закон, вычислив который логическим путем, выходят из строя:

• 0. Робот не может причинить вред человечеству или своим бездействием допустить, чтобы человечеству был причинён вред.

На удивление, в предлагаемых нормах, с которыми удалось столкнуться, эти давно известные всем любителям научной фантастики законы никак не отражаются. Еще до принятия юридических норм первые практические реализации умных технологий направлены против человека: силовое подавление и лишение приватности. Неужели эти короткие формулировки законов оказались слишком наивны? Азимов из исторического далека ошибался или мы легкомыслены?

Мне эта тема показалась важной, в упомянутых текстах не все понравилось, поэтому захотелось отнестись, в надежде обратить внимание коллег и общества на эту тему, пока не поздно. Мне кажется, что в предложениях в логике понятийных сущностей типа юрлица или робота-агента не учтены важные системные упущения действующего законодательного принципа, унаследованного с доисторических времен: закон нацелен на поиск виноватых и их наказание. Закон должен быть нацелен на предотвращение, а не на месть.

Подписанные знаменитостями 23 принципа, изложенные в иной логике и акцентированные на ИИ, могли бы стать альтернативным направлением нормотворчества, но они показались мне, во-первых, слишком длинными, во-вторых, слишком умозрительными и поэтому нежизнеспособными. Подходы составителей к безопасности вызвали у меня смущение: я не понимаю ограничений на исследования, кроме страхов. Страхи не могут помочь в безопасности. Если миссия нашей цивилизации– создать новый разум, никакими формальными ограничениями этот процесс не остановить. Принципы типа хартии– это неплохо, если их немного. Безопасность я вижу не столько в хартии, сколько в жесткой нормативной регламентации на этапе реализации изделий. И пусть исследуют, что хотят. Генетические и бактериологические исследования более опасны, но их не могут контролировать.

С чем я полностью согласен, что исследования должны вестись открыто. Даже если будут выкладывать в доступ не все, обязательство заявить о своих работах и что-то публиковать обеспечит возможность мониторинга за теми, кто работает в сфере ИИ.

В качестве альтернативы, хочу предложить свои соображения о подходе к нормам будущего законодательства с учетом ИИ.

Управление рисками и жесткая регламентация

Поскольку силовые задачи человечеству нужны, в целях безопасности нужно, прежде всего, жестко разделить регламентацию силовых и гражданских изделий:

• Силовые установки должны иметь броскую недвусмысленную внешность, предупреждающую издалека о своем назначении. Силовые установки должны исключать возможность спутать их с естественными животными организмами, прежде всего, с человеком, и с типовыми для обыденной жизни гражданскими установками. Безопасность силовых установок должна обеспечиваться жесточайшей регламентацией. Например, запрет создания многофункциональных силовых установок– только узкоспециализированных. Это позволит алгоритмически ограничить сферу их использования. Формирование многофункцинальных групп из разных установок можно ограничить особыми условиями, прежде всего, под особым внешним контролем и при наличии «волшебной кнопки» самоликвидации.

• Гражданские установки должны жестко соблюдать законы Азимова. Нулевой закон Азимова, предполагающий приоритетность человечества над отдельным человеком, не может реализовываться гражданскими установками– функция силовой защиты людей друг от друга должна быть возложена исключительно на силовые установки. В безопасности гражданских установок люди должны быть абсолютно уверены, как и в надежности распознавания вида установки: силовая или гражданская.

Упомянутые 23 принципа ИИ при соблюдении законов Азимова гражданскими установками основную массу пользователей волновать не должны. Подразумеваемые в них риски могут проявиться только в силовых и экспериментальных установках.

Я вижу 3 уровня решения задач безопасности в соответствии с уровнями рисков:

• механические риски
• риски операционной системы (ОС)
• риски логических выводов ИИ

Все конкретные риски должны быть классифицированы и документально отражены, в том числе, в виде внешней маркировки. Чтобы законы исполнялись,

• механическая установка должна быть описана разработчиком с точностью до конкретных рисков, чтобы разработчик операционной системы целенаправленно строил программную реализацию, обеспечивающую их контроль.

• Кроме контроля за механическими рисками, ОС должна иметь систему блокировок на случай программных сбоев и коммуникационных задержек.

  Тестирование установки должно заключаться в проверке всех описанных ситуаций. Если несчастный случай произойдет по причине, отсутствующей в описании рисков, за нее должен нести ответственность разработчик.

• Системы ИИ не должны иметь возможности причинить вред человеку. Полагаю, они должны иметь два уровня:

  • защищенный приоритетный уровень безопасности (законы Азимова),
  • функциональный уровень, ответственный за целевые гражданские задачи.

  Возможно, слой безопасности логичнее реализовывать как часть операционной системы, потому что безопасность конкретной установки зависит от ее механических возможностей. У Азимова соблюдение законов предполагалось даже на аппаратном уровне– именно поэтому модуль управления роботов сгорал раньше, чем он мог законы нарушить.

Альтернатива может быть в том, чтобы слой «защитника» был самоценным для любых систем, потому что защита нужна не только механическим установкам. Мы все чаще и все плотнее работаем с системами ИИ, полагаясь на свой здравый смысл, не имея полного представления о работе ИИ. Есть смысл логику документирования рисков и формирования защитной прослойки с ИИ на основе конкретных рисков использовать не только в роботизированных системах.

Мы знаем, что обходят сегодня практически все, но сложность такого обхода должна быть существенно выше ценности такого пути.

Гражданские отношения

Кроме технологических мер, есть и гражданская ответственность разработчика, изготовителя, продавца, владельца, сервисной службы и хакера, взламывающего штатный режим изделия, обходя технологические барьеры. Если удастся сделать хороший защитный слой на базе ИИ, можно все эти сложные комбинации ответственности свести к отношениям вокруг него. А условием внешней ответственности для потребителя должен быть жесткий регламент запуска системы под защитным слоем.

Реализация законов Азимова неизбежно приведет к изменению законодательных принципов в обществе, потому что простая формулировка «причинить вред человеку» требует формализации, а это, по сути, вся нормативная база, построенная сегодня в логике наказания. А наказание бессмысленно в отношении робота. Наказание в отношении человека тоже бессмысленно, но мы уже так привыкли. Будучи переформулированными для робота, варианты причинения вреда человеку начнут пересматриваться в отношении людей, ибо это более разумно и эффективно.

На месте великих подписантов 23 принципов ИИ, я бы призвал к пересмотру принципов построения законов, унаследованных человечеством со времен рабовладельчества, а не к ограничению исследований ИИ на базе собственных страхов.

PS. 16 февраля Европаламент принял текст.