Автопилоты и лицензия на убийство

Автопилоты и лицензия на убийство

Кого должен принести в жертву беспилотный автомобиль, если смертельное ДТП неизбежно?

В конце XIX века произошло первое ДТП, которое привело к гибели человека. В начале XXI века в результате ДТП снова погиб человек. Однако на сей раз его убил беспилотник. Читай — робот. Ничего удивительного не случилось: это обязано было произойти. В Аризоне или где-то еще — неважно. Важно другое: начался отсчет новой эры… И снова звучит вопрос: а можно ли сделать так, чтобы первая подобная авария стала последней?

Мое мнение: нельзя! Это теоретически невозможно. И даже самой идеальной на свете программе в итоге придется выбирать, кого лучше принести в жертву, если ДТП неизбежно… Добренькие пацифисты в этом месте начинают нести что-то непонятное и сладенькое про надежное программное обеспечение, человеколюбие и т.п. Да, согласен — было бы неплохо. Но вернемся в реальность. Представим, что по дороге движется новейший и надежнейший беспилотник. Но тут возникает нештатная ситуация. Скажем, со встречки в лоб выруливает лесовоз, справа на дорогу выскакивает женщина с коляской, ветер валит на шоссе пару деревьев, по колесам дает очередь террорист — мало ли… Вероятность аварии — 100%. А вариантов поведения — несколько, причем один хуже другого: вмазаться в отбойник, разнести на атомы остановку с людьми, сбить женщину с коляской… Что делать роботу? Теоретически рассуждать легко. Робот должен тупо взвесить все варианты поведения и выбрать тот, который представляется ему оптимальным. Вот подходящий пример из фантастики моего детства: «Робот докладывал железным голосом: — В воздухе можно пробыть пятьдесят семь секунд. Возможна посадка: на воду, на деревья, на болото. Шансы на гибель: сто процентов, восемьдесят шесть процентов, шестьдесят два процента. Выбрано болото. Гарри не успел ничего сообразить… Аппарат зарылся носом в тень и стал медленно погружаться».

Материалы по теме
Автопилоты и лицензия на убийство
Робомобиль: первый тест-драйв беспилотника Renault

Это — фрагмент из повести А. Казанцева «Внуки Марса». Там при аварийной посадке на Венеру планером управлял напичканный электроникой робот. Спокойно взвесил варианты развития событий и выбрал оптимальный. Так ему велела программа. Тем, кто не читал Казанцева, спойлер: ближе к концу повести тот же робот вздумает согласно той же программе избавиться от двух людей. Но потом наши спасут американцев, и всё будет хорошо. Понятно, что мозги робота должны быть устроены так, чтобы о причинении вреда человеку он и помыслить-то не мог. Именно об этом писал еще в 1942 году творец «Трех законов роботехники» — Айзек Азимов. Законы очень простые:

  • Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред.
  • Робот должен повиноваться всем приказам, которые дает человек, кроме тех случаев, когда эти приказы противоречат Первому Закону.
  • Робот должен заботиться о своей безопасности в той мере, в которой это не противоречит Первому или Второму Законам.
  • Но спустя всего два десятка лет Азимов понял: он написал сладостную чепуху… И, как бы случайно, внес небольшое изменение, которое сразу и не бросается в глаза. Просто в первом законе вместо слова «Человек» появилось… «Человечество»! Что дает роботу право может допустить гибель отдельного человека, если решит, что человечеству в целом от этого станет лучше… Великий фантаст Азимов понял: иначе не сработает. Даже на бумаге. А теперь — всё тот же вопрос на миллион. Ответа на него пока что не существует. Грубо говоря, он звучит так: кого лучше убить? Подобные проблемы время от времени пытаются поднимать на высоких и не очень высоких уровнях. Пока что дальше трепа дело не идет, а производители беспилотников уверенно спихивают все предстоящие им беды на будущих владельцев самобеглых экипажей. Министерство транспорта Германии договорилось до того, что дискриминации в свободном обществе быть не может, а потому возраст, пол и прочее робот учитывать не будет. Надо, мол, прикидывать только число потенциальных жертв. Но равен ли один умница-хирург десятку обкуренных дегенератов? Не торопитесь отвечать. Кстати, компания Cognitive Technologies подвела итоги аналогичного исследования в России. Наши сограждане решили, что приговаривать к первоочередной смерти нужно людей с низкими моральными качествами. При этом — внимание! — портрет потенциальных жертв предлагается составлять по их профилям в социальных сетях и характеру поисковых запросов в интернете. Лично мне от такой перспективы невесело: ненавижу соцсети…

    Между прочим, китайцы неслучайно внедрили в своей большой стране хитроумные коэффициенты. Введенная три года назад система оценки социального рейтинга граждан Китая уже работает. К примеру, миллионы жителей с неважным рейтингом не могут купить билеты на самолет или поезд. Зато граждан с высоким рейтингом правительство обещает вознаграждать. Не будет ли одним из пунктов такого вознаграждения команда программисту, создающему мозги робота-водителя? Мол, всех с таким-то рейтингом — в черный список. Сегодня это решается элементарно. А вообще-то финал более-менее ясен. Чтобы свести жертвы к минимуму, надо заставить все робомобили (или как их там назвать?) общаться друг с другом. А людишек выгнать из-за руля навсегда, как самое слабое звено Системы. В кино мы это уже видели — вспомните фильм «Я, робот». Лента скучноватая, но важно то, что эта самая Система могла вмешиваться в поведение любого человека. Во имя Человечества, конечно же… Так чему же надо научить робота-водителя, коллеги?