Жизнь– это эскалация риска

Если бы я был Богом, я бы старательно поддерживал на Земле конфликтность, чтобы стимулировать развитие способов их решения. Именно раздражающие конфликты, проблемы заставляют искать новые все более сложные способы структурирования среды вокруг себя. Именно поэтому всякие гуманистические идеи про «мир во всем мире» не больше, чем один из способов решить конфликт. Способ этот совершенно бесперспективен, пока нет иного конфликта, решение которого важнее и существеннее «мира во всем мире».

В некотором смысле, это рецепт лечения головной боли ударом по пальцу. Как и в этом рецепте, уровень конфликта должен быть адекватен ожидаемому уровню развития. Каждый способ уклонения от риска приводит более масштабным рискам. Более мощные риски– более серьезные усилия по их разрешению– более сложные инструменты решения и мышления. Глобальный ядерный конфликт может быть актуален только тогда, когда человечество будет готово к покорению космоса, например, но будет избегать этого.

Жирующее общество потребления на фоне нищеты остальных, особенно при информационной прозрачности мира, является грубейшим нарушителем принципа развития. Если увлекаться управленческими моделями жизни человечества, любой тип управляющего, от Бога до «тайного мирового правительства», должен спровоцировать взрыв, препятствующий праздному наполнению желудка. Именно поэтому нет и не будет никогда единственного центра силы у человечества, пока оно одиноко во вселенной.

Мир на Земле наступит не раньше, чем человечество выйдет за рамки Земли и более актуальными станут конфликты между Землей и внешними поселениями. Совсем необязательно этим конфликтам быть военными– достаточно, чтобы на фоне внешних конфликтов единство позиций на Земле было важнее распрей.

40 лет нонконформизма

40 лет с окончания школы в 1977 году. Так что, юбилей окончания школы на носу. Шляпа и палка на фото Кати Костаревой– она тогда после перелома ноги ей кокетничала. Очередную конфискацию для общественных целей совместили с фотосессией.

Последний звонок мы гуляли сами, а на выпускной нас заперли в школе после торжественной части в театре. Мы были первыми заключенными на ночь, потому что в предыдущем году какие-то посторонние гуляющие выпускники ночью сцепились на Красной площади и кого-то, вроде бы, даже порезали. С тех пор выпускные мероприятия превратились в спецоперации.

Соглашаюсь с диагнозом Катерины Поливановой, публично озвученном на днях в мой адрес на конференции «Тенденции развития образования». Да, с переходом в старшую школу тихий послушный мальчик начал бузить. Если можно не соглашаться с собой, почему нужно соглашаться с другими? Значит, моему нонконформизму чуть больше 40. Реверансы своим учителям я уже публиковал. Среди них заметная доля из 179-й, в которой я учился именно в старших классах. На День математика 18 февраля, посвященный 85-летию НикНика, не попал, но помню его и рад, что он еще в строю.

День математика в 179 напомнил о приближающемся юбилее, а февраль внес «строевую» ассоциацию и лексику. Нонконформизм мой несовместим с воинской службой– с трудом вытерпел военные сборы. Поэтому всегда с неловкостью воспринимаю поздравления с Днем советской армии и флота во всех его инкарнациях. Это не мешает с полным уважением относиться к добросовестным служивым и разработчикам новых вооружений: к сожалению, до сих пор на равных можно договариваться только при наличии этих убедительных аргументов. Но оружие должно лежать в ножнах. Доставать его нужно только для тренировок на полигонах или для защиты, если иначе никак. И заниматься этим должны только те, кто чувствует желание служить в армии. Пушечное мясо уже не нужно, а техника сложна и динамична для надежд однажды обучить и иметь резерв на всю оставшуюся жизнь.

Роботы без Азимова?

Завтра в Европарламенте обсуждают рекомендации по приданию роботам прав в логике юридических лиц. И хотя комментаторы пишут, что понятие «электронная личность» имеет такое же отношение к человеческой личности, как «юридическое лицо» к человеческому лицу, наши православные уже заволновались о перспективах уничтожения человечества. Рекомендации Европарламента прямо с первых строк мотивирующей части документа отталкиваются от наиболее известных художественных образов.

Страхи можно понять: о возможном вытеснении людей роботами звучит из уст не только футурологов, но и экономистов. Исторические экскурсы про луддитов в позапрошлом веке и про бухгалтеров в совсем недавнем прошлом успокаивают не всех. Перед образованием встают вопросы, чему учить, чтобы не попасть под сокращения из-за роботов в ближайшем будущем.

У нас есть аналогичная законотворческая инициатива Гришина, на которую я недавно отреагировал.

В том же ряду стоит рассматривать 23 принципа искусственного интеллекта (ИИ), которые подписали очень уважаемые в ИТ западные знаменитости. Они отличаются по жанру и по направленности (ИИ, а не роботы), но по сути это примерно одно и то же– регулирование сферы использования умных технологий. Я не отделяю ИИ от роботов, поскольку чистый ИИ– сущность условная: в той или иной форме он должен оказывать воздействие на нашу жизнь. В роботах это проявляется более явно. Но суть от этого принципиально не меняется.

Любители фантастики и все, кто связан с робототехникой, наверняка знают 3 закона робототехники из рассказа Азимова «Хоровод» (1942), исключающие агрессивность роботов:

• Первое: робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред.
• Второе: робот должен повиноваться всем приказам, которые дает человек, если эти приказы не противоречат Первому Закону.
• И третье: робот должен заботиться о своей безопасности в той мере, в какой это не противоречит Первому и Второму Законам.

Позднее в романе «Роботы и Империя» (1986) интеллектуальные гоминоидные роботы выводят 0-й закон, вычислив который логическим путем, выходят из строя:

• 0. Робот не может причинить вред человечеству или своим бездействием допустить, чтобы человечеству был причинён вред.

На удивление, в предлагаемых нормах, с которыми удалось столкнуться, эти давно известные всем любителям научной фантастики законы никак не отражаются. Еще до принятия юридических норм первые практические реализации умных технологий направлены против человека: силовое подавление и лишение приватности. Неужели эти короткие формулировки законов оказались слишком наивны? Азимов из исторического далека ошибался или мы легкомыслены?

Мне эта тема показалась важной, в упомянутых текстах не все понравилось, поэтому захотелось отнестись, в надежде обратить внимание коллег и общества на эту тему, пока не поздно. Мне кажется, что в предложениях в логике понятийных сущностей типа юрлица или робота-агента не учтены важные системные упущения действующего законодательного принципа, унаследованного с доисторических времен: закон нацелен на поиск виноватых и их наказание. Закон должен быть нацелен на предотвращение, а не на месть.

Подписанные знаменитостями 23 принципа, изложенные в иной логике и акцентированные на ИИ, могли бы стать альтернативным направлением нормотворчества, но они показались мне, во-первых, слишком длинными, во-вторых, слишком умозрительными и поэтому нежизнеспособными. Подходы составителей к безопасности вызвали у меня смущение: я не понимаю ограничений на исследования, кроме страхов. Страхи не могут помочь в безопасности. Если миссия нашей цивилизации– создать новый разум, никакими формальными ограничениями этот процесс не остановить. Принципы типа хартии– это неплохо, если их немного. Безопасность я вижу не столько в хартии, сколько в жесткой нормативной регламентации на этапе реализации изделий. И пусть исследуют, что хотят. Генетические и бактериологические исследования более опасны, но их не могут контролировать.

С чем я полностью согласен, что исследования должны вестись открыто. Даже если будут выкладывать в доступ не все, обязательство заявить о своих работах и что-то публиковать обеспечит возможность мониторинга за теми, кто работает в сфере ИИ.

В качестве альтернативы, хочу предложить свои соображения о подходе к нормам будущего законодательства с учетом ИИ.

Управление рисками и жесткая регламентация

Поскольку силовые задачи человечеству нужны, в целях безопасности нужно, прежде всего, жестко разделить регламентацию силовых и гражданских изделий:

• Силовые установки должны иметь броскую недвусмысленную внешность, предупреждающую издалека о своем назначении. Силовые установки должны исключать возможность спутать их с естественными животными организмами, прежде всего, с человеком, и с типовыми для обыденной жизни гражданскими установками. Безопасность силовых установок должна обеспечиваться жесточайшей регламентацией. Например, запрет создания многофункциональных силовых установок– только узкоспециализированных. Это позволит алгоритмически ограничить сферу их использования. Формирование многофункцинальных групп из разных установок можно ограничить особыми условиями, прежде всего, под особым внешним контролем и при наличии «волшебной кнопки» самоликвидации.

• Гражданские установки должны жестко соблюдать законы Азимова. Нулевой закон Азимова, предполагающий приоритетность человечества над отдельным человеком, не может реализовываться гражданскими установками– функция силовой защиты людей друг от друга должна быть возложена исключительно на силовые установки. В безопасности гражданских установок люди должны быть абсолютно уверены, как и в надежности распознавания вида установки: силовая или гражданская.

Упомянутые 23 принципа ИИ при соблюдении законов Азимова гражданскими установками основную массу пользователей волновать не должны. Подразумеваемые в них риски могут проявиться только в силовых и экспериментальных установках.

Я вижу 3 уровня решения задач безопасности в соответствии с уровнями рисков:

• механические риски
• риски операционной системы (ОС)
• риски логических выводов ИИ

Все конкретные риски должны быть классифицированы и документально отражены, в том числе, в виде внешней маркировки. Чтобы законы исполнялись,

• механическая установка должна быть описана разработчиком с точностью до конкретных рисков, чтобы разработчик операционной системы целенаправленно строил программную реализацию, обеспечивающую их контроль.

• Кроме контроля за механическими рисками, ОС должна иметь систему блокировок на случай программных сбоев и коммуникационных задержек.

  Тестирование установки должно заключаться в проверке всех описанных ситуаций. Если несчастный случай произойдет по причине, отсутствующей в описании рисков, за нее должен нести ответственность разработчик.

• Системы ИИ не должны иметь возможности причинить вред человеку. Полагаю, они должны иметь два уровня:

  • защищенный приоритетный уровень безопасности (законы Азимова),
  • функциональный уровень, ответственный за целевые гражданские задачи.

  Возможно, слой безопасности логичнее реализовывать как часть операционной системы, потому что безопасность конкретной установки зависит от ее механических возможностей. У Азимова соблюдение законов предполагалось даже на аппаратном уровне– именно поэтому модуль управления роботов сгорал раньше, чем он мог законы нарушить.

Альтернатива может быть в том, чтобы слой «защитника» был самоценным для любых систем, потому что защита нужна не только механическим установкам. Мы все чаще и все плотнее работаем с системами ИИ, полагаясь на свой здравый смысл, не имея полного представления о работе ИИ. Есть смысл логику документирования рисков и формирования защитной прослойки с ИИ на основе конкретных рисков использовать не только в роботизированных системах.

Мы знаем, что обходят сегодня практически все, но сложность такого обхода должна быть существенно выше ценности такого пути.

Гражданские отношения

Кроме технологических мер, есть и гражданская ответственность разработчика, изготовителя, продавца, владельца, сервисной службы и хакера, взламывающего штатный режим изделия, обходя технологические барьеры. Если удастся сделать хороший защитный слой на базе ИИ, можно все эти сложные комбинации ответственности свести к отношениям вокруг него. А условием внешней ответственности для потребителя должен быть жесткий регламент запуска системы под защитным слоем.

Реализация законов Азимова неизбежно приведет к изменению законодательных принципов в обществе, потому что простая формулировка «причинить вред человеку» требует формализации, а это, по сути, вся нормативная база, построенная сегодня в логике наказания. А наказание бессмысленно в отношении робота. Наказание в отношении человека тоже бессмысленно, но мы уже так привыкли. Будучи переформулированными для робота, варианты причинения вреда человеку начнут пересматриваться в отношении людей, ибо это более разумно и эффективно.

На месте великих подписантов 23 принципов ИИ, я бы призвал к пересмотру принципов построения законов, унаследованных человечеством со времен рабовладельчества, а не к ограничению исследований ИИ на базе собственных страхов.

PS. 16 февраля Европаламент принял текст.

Закон, культура, воспитание

Закон не нужен вообще, если люди могут договориться. Он нужен только там и тогда, когда ситуация не может разрешиться здравым смыслом и неоднократно повторяется (в развитие короткого поста на ФБ).

Если рассматривать культуру как соотношение общественных законов (писаных или жестко сформулированных правил) и морали (неписаных правил или, точнее, подходов к решению), то при сопоставимой сложности отношений, на мой взгляд, чем выше уровень культуры, тем более значима доля неписаных правил. Если представить себе культуру роботов, то у них логично ожидать отсутствие неписаных правил– все формализованы. Тогда:

• Закон должен быть только там, где недостаточно здорового чувства меры на основе культуры.
• Чем меньше культуры, тем больше законов.
• Чем больше законов, тем меньше значение культуры.
• Чем меньше законов, тем они сильнее.
• Законы должны облегчать жизнь, а не усложнять ее.

Ограничения в сообществе неизбежны, ибо у каждого есть свои интересы, планы, проблемы. Вопрос в способе согласования. При высоком уровне культуры в обществе можно обходиться здравым смыслом и взаимоуважением. Здравый смысл– это не только и не столько индивидуальный ум, сколько умение минимизировать опасные и конфликтные ситуации. Этот навык опирается на культуру: как личную, так и общественную. Общественная культура– это общепринятые способы взаимодействия, в том числе избегания конфликтов. На основе общественной культуры формируется личная культура: личный опыт, личная харизма, личные особенности, включая личную соображалку.

Здравого смысла не всегда хватает. Если некая ситуация регулярно приводит к конфликтам и не находит культурного разрешения, группа авторитетных и неглупых создает общее правило– закон. Чем менее культурно общество, тем больше требуется таких законов. И чем больше наваяют таких законов, тем меньше обществу нужна культура, ибо функция регулирования переходит все в большей степени на формальные правила.

На ФБ в ответ появился жесткий контртезис:

В отсутствии Закона все моментально становятся либо некультурными, либо мёртвыми. Закон выступает арбитром, у него функция дяди с палкой, который бьёт по голове, независимо от культуры, справедливости, здравого смысла и пр., а только по тому как записано.

Какие развилки меня волнуют:

• закон и справедливость
• закон и месть
• личное и общественное
• закон и культура
• культура и воспитание

Рассмотрю подробнее:

• Самая избитая и бесконечная тема– закон и справедливость.

  Люди стремятся к справедливости, но разные люди ее понимают по разному, поэтому закон как форма общественного договора сменил суд, опирающийся на усмотрение уважаемых людей, по их представлению о справедливости. И именно суд на основе закона как свода правил можно рассматривать как «дядю с палкой, который бьёт по голове, независимо от культуры, справедливости, здравого смысла и пр., а только по тому как записано».

  Суд на основании закона удовлетворения не принес. Это проявилось в многочисленных художественных произведениях, где герой, которому симпатизирует читатель/зритель, нарушает закон ради справедливости. Естественно, в представлении героя (автора?). Тем не менее, логика закона как формального правила не обсуждается. Общественное мнение озабочено в гораздо большей степени обеспечением декларируемой независимости суда и строгого соответствия его деятельности закону. Раз даже набор формальных правил не удается в полной мере реализовать, то что говорить о справедливости, которая не формализуема?

  Побочным эффектом такого формального подхода является обсуждение ситуаций, которые выпадают из типовых условий закона. И тогда наиболее странно звучат доводы по подгонке нестандартной ситуации под ту или иную стандартную ситуацию закона вместо осознания ее нестандартности. Люди не удерживают логики появления закона как правила на основе общественного согласия и провозглашают первичность формальных правил. Спор идет в логике схоластических дискуссий: какой из неподходящих тезисов закона более подходит в данной ситуации?

• Глубинная проблема закона, которая не обсуждается и считается незыблемой– поиск виновных и их наказание.

  Казалось бы, зачем в 21 веке на фоне споров о демократии, о правах человека, о либерализме действовать в логике мстительно-устрашающей архаики? Почему не рассуждать в логике предотвращения нарушений вместо попытки наказаний? Не все ли равно, кто виноват? Важно, как предотвратить повторение. Кому интересно, старые наивные рассуждения подробнее.

• Серьезным культурным водоразделом, в частности, между Россией и США является приоритетность личного и общественного.

  Мы очень похожи во многом, но, судя по различным художественным фильмам, в ряде узловых событий, где проявляется эта приоритетность, явно видны разные подходы. Те же санкции, которые для западной культуры воспринимаются абсолютно естественно как наказание, для нас воспринимаются с недоумением. В России, несмотря на все дискуссии о либерализме, общественное несопоставимо важнее личного. На западе значимость личного заметно выше. Я не даю оценок «хорошо/плохо»– это каждый решает сам. Я констатирую очевидное для себя наблюдение. Поэтому именно в России подход предотвращения неприятностей вместо наказания, на мой взгляд, более реалистичен, чем для запада.

• Свое отношение к соотношению закона и культуры я уже определил в начале.

  Именно поэтому меня крайне беспокоит «бешеный принтер». Наметившийся крен в пользу формальных правил даже в тех аспектах, которые всегда регулировались общественными представлениями, беспокоит больше всего. Либо это глупый законодательный раж, который можно успокоить властными рычагами на основе здравого смысла. Либо это признак размывания навыка культурного регулирования. И тогда это тревожный сигнал и власти, и обществу. В совокупности с призывами о воспитании, есть подозрение, что второе более вероятно.

• Самый скользкий в этом обсуждении аспект о соотношении воспитания и культуры.

  Сегодня общепризнанным рассуждением является призыв к школе заниматься не только обучением, но и воспитанием. Об этом и министр регулярно говорит, и народный фронт конференции проводит, и на каждом образовательном мероприятии кто-то обязательно об этом скажет, причем в пафосном залоге. В учебные курсы школы сначала вставили отдельным часом изучение религии (с одним из обоснований как воспитание), сейчас призывают не религии вообще, а именно православие как наиболее массовую в России. Отдельная новая инициатива верховного муфтия об уроках нравственности. Да еще и ответственность ввести за духовно-нравственное воспитание!

  Меня такое представление о воспитании вгоняет в тоску. Как представлю себе эти уроки нравственности на фоне полицейских мероприятий по контролю за сливами информации на ОГЭ/ЕГЭ/олимпиадах, так тошно становится. Не воспитывается человек причитаниями! Будь то в школе, на публичных мероприятиях или дома. Человек воспитывается только действиями. Причем не всеми, а которые он сам счел достойными подражания! Давно известная истина для родителей: можете ребенку говорить, что угодно,– он будет вести себя так, как вы сами себя ведете. Потому что родители– самые значимые люди для любого человека. Их пример– его самый частый выбор. Любые другие люди могут повлиять на этот выбор только в том случае, если они окажутся значимыми для ребенка и если пример их поведения покажется ему достойным подражания.

  Да, поведение героев воспитывает, потому что отношение многих людей к их поступкам демонстрирует значимость их для многих– повод задуматься и взять себе за образец. Но если про этот поступок только говорят пафосно на мероприятии, а герой в остальное время едва сводит концы с концами, позабыт-позаброшен всеми до следующего публичного мероприятия, вряд ли вменяемый человек поверит в значимость. Это будет зависеть от его модели успешности в жизни. А сейчас старательно выстраивается представление об успешности по принципу финансовых доходов. И что умники воспитания противопоставят в своих пафосных речах этой общественной максиме?

  Все, кто реально думает о воспитании, об общественных ценностях, должны четко понимать, что воспитание– это слепок культуры. Какова бытовая культура вокруг человека– таково и воспитание. С небольшими семейными вариациями, ибо роль родителя никто не заместит. Хотите повысить уровень воспитания– обеспечьте соответствующий уровень культуры вокруг человека. Единственное, что может школа сделать в вопросах воспитания– обеспечить высокий культурный фон своим ученикам. Но он зависит от культуры учителей школы.

  Если мы недовольны уровнем воспитания молодежи, нужно не законы новые лепить, не уроки новые вставлять, а заняться собой– бытовой культурой, в которой молодежь живет и развивается. Чтобы небезразличие в уличных конфликтах не ставило борца за правое дело в неловкую ситуацию. Чтобы некультурные формы поведения пресекались. Чтобы были рабочие и аккуратные сортиры, чистые мусорки, уважительные работники сервиса и, тем более, органов полиции...

  Если говорим о патриотизме, то он должен проявляется в жизни, а не на словах, в том числе в пропаганде. Сколько лет мы будем обеспечивать остатки фронтовиков квартирами и гарантировать им достойную медицину или просто бытовой уход? Тот же «Бессмерный полк», где он проводился от души, а не для отчетности, оказал заметно большее влияние, чем пафосные школьные мероприятия по спущенному сверху графику.

  О каком патриотизме можно серьезно говорить, если в дискуссиях с собственными согражданами критиков поддерживаемой властью позиции относят чуть ли не к врагам? Давайте без меры в СМИ обзывать друг друга «либерастами», «коммуняками», «фашистами», «ватниками», «колорадами», «сепарами», «укропами»...– и вырастим неспособных видеть иное мнение, способных видеть в носителе иного мнения врага. Мы сейчас, может, и не перейдем границы взаимных оскорблений. А они смогут? Без той культурной опоры, которую заложили в нас,– способности уважать иное мнение?

  Мы прошли непростые времена, когда все обвалилось, но забыли, что в этом обвале жили и росли дети. Именно ту культуру они восприняли и сейчас воспроизводят. И их уже не исправить. Современные дети живут и растут сейчас. Все, что происходит в культуре сейчас, мы получим чуть погодя в исполнении детей, которые сейчас незаметны. И преломиться это может самым неожиданным образом. Если мы их осчастливим «воспитанием» в стиле советской школы, то испортим формализмом, получим «совок». Причем в гораздо худшем виде, потому что идеология в советской школе еще была, хотя и плыла изрядно. Сейчас у нас идеология «красивой жизни» с попыткой наложить религиозные ценности. Формализм на этом фоне может привести к жесточайшему цинизму, на фоне которого «совок» покажется шедевром воспитания.

  Можно и нужно говорить о воспитании, но в логике страны, а не школы. Не может школа перевоспитать всю страну. В школе можно обсуждать организацию мероприятий, проведение которых способствует переживанию и рефлексии каких-то событий, действий. Но это вполне реализуемо и в рамках учебной деятельности. Без специальных мероприятий, за которые потом еще неделями отчеты писать. Гораздо эффективнее проводить важные для культуры мероприятия по стране, а не по школам.

Отношение к закону– важный аспект воспитания.

Отношение к закону, к суду, к правоохранительной системе транслируется из поколения в поколение. Можно сколько угодно причитать о том, что хорошо и как правильно, но это никак не сказывается на реальном отношении, пока не возникнет устойчивого впечатления об изменениях.

• В России не верят закону, старательно избегают общения с ним до последнего. Одни пословицы чего стоят. Стойкое мнение, что нет ни одного закона, который можно было бы реально выполнить. И смысл такой Фемиды народ видит в необходимости иметь возможность любого привлечь к суду, когда и если власти это потребуется. Народ же в культуре бытового общения больше настроен на поиски справедливости. Каждый, как может. К преступникам в народе отношение негативное. Судимость остается клеймом на всю жизнь.

• На западе, несмотря на различные фильмы, отношение к закону уважительное. Возможно, сказалось бурное прошлое с судами Линча, или это свойство протестантизма, распространенного на западе. Важен факт. Допустимо позитивное отношение к преступникам: факт совершения преступления не исключает признания личных достоинств. Преступил– поймали– наказали– освободился– забыли.

Наблюдение за процессами в России пока доказывает правильность исторически сложившегося отношения. Поэтому и жесткая народная реакция на активизацию законотворчества в виде уничижительного слогана про «бешеный принтер». Таким образом, если законотворчеством хотели улучшить ситуацию, то получилось «как всегда».

Принцип снижения нормативной нагрузки, предложенный Трампом, я считаю великой идеей, которую нужно импортозаместить в России. Чем больше мы будем переносить на уровень культуры, тем сильнее и адекватнее будут законы. А мы терпимее и мудрее.