Никто не хочет быть стрелочником
Беспилотники уже ездят по улицам. Но этические вопросы, связанные с их использованием, пока не решены
Машина без пассажиров едет со скоростью 90 км/ч по пустой дороге. Вдруг, откуда ни возьмись, на дороге появляются дама с собачкой и в меру упитанный мужчина в самом расцвете лет. Все они увлечены своими мыслями и не смотрят на дорогу, автомобиль едет слишком быстро и слишком близко — столкновение неизбежно. Автопилот должен сделать трудный выбор: повернуть левее — и дама с собачкой отправятся к общему предку, или продолжить движение прямо — и тогда мужчина не дослушает песню «In My Feelings» (хочется думать, что у него в наушниках Дрейк).
Несколько лет назад исследователи из MIT сделали сайт Moral Machine, напоминающий неказистым дизайном тест для сдачи теории ПДД. Только тест не проверяет знание правил, а предлагает сделать выбор — кого сбить. Мужчину или женщину, старика или ребенка, законопослушного пешехода, идущего на зеленый свет, или нарушителя, бегущего на красный. Тест пользовался бешеной популярностью и за несколько лет его прошли 40 млн человек, а недавно в журнале Nature были опубликованы результаты этого социального эксперимента. Оказалось, что люди, во-первых, с большим энтузиазмом казнят и милуют, а во-вторых, делают это по-разному: в России, например, респондентам все равно, нарушает пешеход правила или нет, а в западных странах — нет.
Организаторы эксперимента объясняют свой интерес тем, что машины с автопилотом стали уже технологической реальностью, рано или поздно они заполонят дороги и очень быстро окажутся в ситуации, в которой придется принимать трудные решения, и что простых правил вроде законов робототехники Айзека Азимова явно недостаточно, чтобы запрограммировать моральный и социально-приемлемый самоходный алгоритм. Значит, надо исследовать интуиции обычных людей и как-то использовать их при выработке правил.
Дизайн эксперимента наследует старому и хорошо известному мысленному эксперименту философа Филиппы Фут. В 1967 году она предложила представить себе, что вы стрелочник и стоите на путях, по которым несется потерявшая управление вагонетка. На ее пути находятся 5 дорожных рабочих, которые погибнут, если ее не остановить. Вы можете нажать рычаг и перевести вагонетку на запасной путь, но там тоже есть рабочий, хотя только один. Убьете ли вы своими руками одного человека, чтобы спасти пятерых? Если вы готовы заниматься арифметикой, вы утилитарист и судите действия по последствиям, если нет — вы сторонник нелюбимого сейчас в России Канта и с вашей точки зрения некоторые действия (например, убийство), недопустимы в любых обстоятельствах. Благодаря развитию робототехники, уверяют нас сотрудники MIT, мы все оказались перед этим выбором.
Должны ли машины быть моральными? Каждая машина на Земле, даже «жигули» 1998 года выпуска, имеет встроенный утилитаристский механизм, решающий, кто с большей вероятностью выживет в ДТП, а кто скорее погибнет. Это ремень безопасности, который уменьшает риск для пассажира и водителя, но увеличивает риск для пешехода: пристегнутые люди водят несколько менее осторожно, чем непристегнутые.
Можно было бы представить и обратное устройство: представьте, что в руль вашего автомобиля был бы встроен ядовитый шип, направленный в сторону сердца. При любом резком торможении он бы гарантировал смерть водителя — и неизбежно убивал бы довольно много водителей, зато пешеходы в мире ядовитых шипов чувствовали бы себя совершенно безопасно. Чем отличается сложный алгоритм, управляющий автопилотом, от старого доброго шипа? В первую очередь, избирательностью. В эксперименте MIT можно выбирать — между мужчиной и беременной женщиной, законопослушным клерком и подвыпившим человеком, переходящим улицу на красный свет, иностранцем и соотечественником. Шип не знает ни эллина, ни иудея.
Учитывая достижения технологий распознавания лиц и скорость работы современных процессоров, на этом можно было бы не останавливаться. Представьте себе автомобиль, который избирательно убивает коллекторов, алиментщиков и ненавидимого лично вами Василия Ползункова. Можно даже представить себе такую машину, которая за Василием будет специально гоняться, рискуя создать опасность на дороге. И если этот пример кажется кому-то абсурдным, то сделав один шаг назад, можно заподозрить в абсурдности и весь эксперимент MIT. Почему вообще машина должна разбираться, кто перед ней — виноватый человек или нет, прогульщик или врач-онколог, который послезавтра спасет человечество.
Когда на землю прилетает Терминатор с инструкцией найти и убить Сару Коннор, он ведет себя в общем ровно так же, как гипотетическая Tesla, выбирающая, кого убить. Разница только в том, что Терминатор умнее — он умеет выбирать по-настоящему. И как только мы договоримся, что машина вообще имеет право различать людей, мы вроде должны будем согласиться и с тем, что сперва она загрузит в себя базу интерпола и будет подавливать преступников в международном розыске, затем научится определять пешеходов, у которых в рюкзаке лежит что-то запрещенное, а в конце концов станет говорить своему владельцу: «Прости, Джон, но нам надо заехать на заправку под мостом и разобраться с плохими ребятами. Поверь, они совершенные отморозки, ты даже не хочешь знать подробностей. Твое человеческое сердце не выдержит. Потерпи на заднем сиденье и не высовывайся – за это ты получишь три звездочки в приложении и скидку на электричество до конца недели». Если вам не нужен такой автомобиль, то скорее всего, вы не купите и менее продвинутую версию, которая всего-лишь выбирает, кого раздавить.
Популяризатор Майкл Стивенс, известный в YouTube под именем Vsauce, поставил эксперимент, в котором реальные живые люди должны были решать дилемму вагонетки по-настоящему. Испытуемые, которые случайно оказывались в одиночку в будке стрелочника, видели приближающийся поезд и дорожных рабочих, танцующих в наушниках на путях. Слева — пять человек, справа — один. Они знали, что можно сдвинуть рычаг и поезд уедет с более многолюдного пути и понимали, что кроме них в будке никого нет — ответственность переложить не на кого. Вряд ли это кого-то удивит, но все они пережили не лучшие секунды своей жизни. Если дилемма вагонетки чему-то нас учит, то вовсе не тому, что большинство людей совершают тот или иной выбор; она учит нас тому, что никто не хочет быть стрелочником.
Нет никакой неизбежности в том, чтобы машины были вооружены утилитаристской логикой — ее нет сейчас и не будет в будущем. Когда исследователи из MIT предлагают 40 млн человек сделать невозможный этический выбор, они в первую очередь легитимизуют саму процедуру, заставляют нас поверить, что машины должны что-то решать. Но хорошая новость состоит в том, что это не так — вы все еще можете купить машину, не различающую людей, выбрать в автосалоне какую-нибудь другую опцию — скандинавскую аудиосистему, спутниковый телефон или — если вы человек сомнительных нравственных качеств — салон из кожи краснокнижного носорога.
Если что-то и должно нас пугать, так это сам факт, что такая куча людей с легкостью примеряет на себя мантию судьи. В большей степени это происходит потому, что сидя за компьютером с чашкой кофе гораздо проще принимать решения о жизни и смерти, чем в полевых условиях. Не только в гипотетической ситуации. Человечество знает это не из экспериментов гарвардских ученых, а благодаря распространению автоматической техники военного назначения. Боевой дрон, летящий над пересеченной местностью в Пакистане управляется живым человеком, сидящим где-нибудь в теплом бункере на Гавайях. И кажется, именно поэтому боевые дроны убивают так много ни в чем не повинных людей. Гораздо проще убить точку на местности, чем живого человека из плоти и крови; легче нажать спусковой крючок (а точнее, кнопку на джойстике), если ты точно знаешь, что никто не выстрелит в ответ. Философы, которые пишут об опасностях современных технологий, называют такую ситуацию moral hazard, а популярный публицист Нассим Талеб использует «no skin in the game» — когда мы не испытываем последствий своих решений на собственной шкуре, решения наши далеки от оптимальных.
Прогресс машин действительно ставит перед человечеством новый этический вызов. Автоматические системы стали так умны, что у нас появился соблазн доверить им принятие моральных решений, создавая настоящие моральные машины. И без сомнений, многие разработчики автоматических систем не смогут удержаться. Но что бы ни говорили лучшие умы, есть другой, контринтуитивный вариант: строить туповатых роботов, не желающих быть стрелочниками. Симпатичных в меру упитанных мужчин с Дрейком в ушах. Потому что в идеальном мире, в чаемой России будущего, именно роботы будут составлять большинство пешеходов, пересекающих проезжую часть. И хочется верить, их процессоры будут свободны от утилитаристских вычислений.
Андрей Бабицкий, главный редактор «Постнауки»
Фото: Николай Алексеев; Shutterstock.com
мероприятий