Edge.com: Что вы думаете о машинах, которые думают?

Edge.com: Что вы думаете о машинах, которые думают?Гуру криптографии и информационной безопасности Брюс Шнайер отвечает на вопрос сайта Edge.com: «Что вы думаете о машинах, которые думают?» Шнайер считает, что современная правовая система не готова к появлению автономных машин, которые сами принимают решения и, скорее всего, будут нарушать закон. Как можно наказать машину?

В прошлом году двое художников из Швейцарии создали бота Random Botnot Shopper. Бот — компьютер с соответствующим ПО — каждую неделю тратил эквивалент 100 долларов в биткоинах на случайные покупки на анонимных торговых площадках. Это было сделано как арт-проект для выставки в Швейцарии. Умная идея, кроме одной проблемы. По большей части бот покупал вполне легальные вещи — поддельные джинсы Diesel, бейсболку со встроенной скрытой камерой, пару кроссовок Nike… Но помимо этого он купил десять таблеток экстази и поддельный венгерский паспорт.

12 января 2015 года, на следующий день после закрытия выставки, длившейся три месяца, бот был «арестован», то есть конфискован правоохранительными органами.

Что делать, если машина нарушила закон? Традиционно мы в таком случае обвиняем владельца машины. Люди совершают преступления; оружие, отмычка и компьютерный вирус — всего лишь их инструменты. Но по мере того, как машины становятся все более автономными, связь между машиной и ее создателем становится все тоньше.

Кто виноват, если автономный военный дрон случайно убьет многочисленных мирных жителей? Военный, ответственный за операцию? Программист, написавший программу распознавания врага, которая дала сбой? Автор конкретного участка кода, отдавшего приказ убивать? А что если программист и понятия не имеет, что его программа используется в военных целях? Что если дрон может сам улучшать собственные алгоритмы на основе данных, собранных другими дронами в прошлых операциях?

Может, наши суды и могут решить, кто здесь виноват, но только потому, что современные дроны, даром что автономны, не слишком умны. А что если они станут умными и автономными одновременно и будут принимать как тактические, так и стратегические решения? Что если дрон на основе имеющихся данных решит предать сторону, построившую его, и начнет ей вредить?

Общество выработало множество способов — неформальных социальных правил и более формальных законов — чтобы разрешать ситуации неподчинения правилам общежития. Для мелких нарушений у нас есть неформальные механизмы, для более серьёзных — сложная правовая система. Если вы буяните на моей вечеринке, я больше вас не позову. Если вы регулярно нарушаете правила приличия, вас застыдят и подвергнут осуждению. Если вы украдете у меня что-то, я обращусь в полицию. Попробуйте ограбить банк — и с большой вероятностью вы надолго сядете в тюрьму. Эти правила могут выглядеть несистематизированными, но человечество потратило тысячелетия, чтобы выработать их. Безопасность — понятие одновременно политическое, социальное и психологическое. Например, дверные замки работают только потому, что система неформальных и юридических запретов на кражу делает большинство из нас честными. Таким образом, мы относительно мирно сосуществуем в масштабах, невозможных для любого другого вида на планете.

Как это будет работать, если нарушитель — машина со свободой воли, что бы это ни значило? Машины не понимают ни стыда, ни похвалы. Они не откажутся от каких-то действий только потому, что другие машины что-то об этом подумают. Они не будут соблюдать законы просто потому, что так правильно, и не будут испытывать уважение к авторитетам. Если мы поймаем машину за кражей, как ее наказать? Что такое «оштрафовать» машину? Имеет ли смысл лишать машину свободы? Если в машину не заложен инстинкт самосохранения, то даже угроза казни не будет работать.

Вот мы уже говорим о программировании человеческих моральных принципов. Даже если это в принципе осуществимо, мы наверняка где-то ошибемся, и рано или поздно машины будут нарушать закон.

Это, в свою очередь, поставит под угрозу нашу правовую систему. По сути, она не предотвращает преступления. Ее эффективность основана на аресте и наказании преступников постфактум. Наказание должно влиять на мотивацию будущих преступников. Эта схема полностью бесполезна, если эффективного наказания нет.

После атак 11 сентября многие задумались о террористах-смертниках, для которых любое наказание бессмысленно. Это только один пример, изменивший наши взгляды на безопасность. Тот же вопрос возникнет для машин-преступников. Появятся и другие проблемы, которые пока сложно представить. Социальная и правовая системы, успешно справлявшиеся с людьми-преступниками, потерпят неудачу в борьбе с машинами.

Умная машина никогда не думает в точности так, как мы ожидаем. И к последствиям этого факта мы не готовы.

Автор: Брюс Шнайер

Источник: schneier.com

Возможно вам понравятся эти статьи...

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *