September 2nd, 2017

собака

Роботы-убийцы? Остановитесь, даже хорошие роботы непредсказуемы до ужаса



Руководители более сотни ведущих мировых компаний в области искусственного интеллекта очень обеспокоены развитием «роботов-убийц». В открытом письме ООН эти бизнес-лидеры, включая Илона Маска из Tesla и основателей гугловской DeepMind – предупредили, что использование технологий автономного оружия может быть принято террористами и деспотами, либо в той или иной степени подвергнется взлому.

Но реальная угроза намного серьезнее – и дело не только в человеческих проступках, но и в машинных. Исследование сложных систем показывает, что они могут вести себя гораздо более непредсказуемо, чем можно сделать вывод из суммы отдельных действий. С одной стороны это означает, что человеческое общество может вести себя совершенно по-другому, чем вы могли ожидать, изучая поведение индивидов. С другой стороны, это применимо и к технологиям. Даже экосистемы простых программ искусственного интеллекта – которые мы называем тупыми, хорошими ботами – могут удивлять нас. Даже отдельные боты могут вести себя кошмарно.

Отдельные элементы, составляющие сложные системы, такие как экономические рынки или глобальную погоду, имеют тенденцию не взаимодействовать простым линейным способом. Это делает эти системы очень трудными для моделирования и понимания. Например, даже после многолетних исследований климата невозможно спрогнозировать долгосрочное поведение погоды. Эти системы настолько чувствительны к мельчайшим изменениям, насколько взрывоопасно на них реагируют. Очень сложно узнать точное состояние такой системы в отдельно взятый момент. Все это делает эти системы внутренне непредсказуемыми.

Все эти принципы применимы к большим группам людей, действующим по-своему, будь то человеческие общества или группы ботов с искусственным интеллектом. Недавно ученые изучали один из типов сложной системы, в которой хорошие боты использовались для автоматического редактирования статей на Википедии. Эти самые разные боты разработаны, написаны и используются доверенными редакторами Википедии, а их базовое программное обеспечение с открытым исходным кодом и доступно для всех. По отдельности они имеют общую цель – улучшать энциклопедию. Однако их коллективное поведение оказалось на удивление неэффективным.

В основе работы этих ботов с Википедии лежат хорошо установленные правила и условности, но поскольку у веб-сайта нет центральной системы управления, нет и эффективной координации между людьми, управляющими разными ботами. В результаты обнаружились пары ботов, которые несколько лет отменяли правки друг друга и никто не замечал. И, конечно, поскольку эти боты никак не учатся, они тоже не заметили.

Эти боты предназначены для ускорения процесса редактирования. Но небольшие различия в дизайне ботов или между людьми, которые их используют, могут привести к массовой трате ресурсов в продолжающейся «войне за редактирование», которая была бы разрешена гораздо быстрее с помощью редакторов.

Исследователи также обнаружили, что боты вели себя по-разному в разных языковых версиях Википедии. Правила, казалось бы, практически одинаковы, цели идентичны, технологии похожи. Но в немецкоязычной Википедии сотрудничество ботов было намного более эффективным и продуктивным, чем, например, в португальской. Это можно объяснить только различиями между редакторами-людьми, которые руководили этими ботами в разных средах.

Экспоненциальная путаница

Боты с Википедии не обладают широкой автономией и система уже работает не в соответствии с целями отдельных ботов. Но Wikimedia Foundation планирует использовать ИИ, которые будут давать больше автономии этим ботам. И это, вероятнее всего, приведет к еще более непредсказуемому поведению.

Хороший пример того, что может случиться, продемонстрировали боты, созданные для разговоров с людьми, когда их заставили общаться между собой. Мы уже не удивляемся ответам персональных ассистентов вроде Siri. Но заставьте их общаться между собой и они быстро начнут вести себя неожиданным образом, спорить и даже оскорблять друг друга.



Чем больше становится система и чем более автономным становится каждый бот, тем более сложным и непредсказуемым будет будущее поведение этой системы. Википедия – это пример работы большого числа относительно простых ботов. Пример с чат-ботами – это пример небольшого числа относительно сложных и изобретательных ботов – в обеих случаях возникают непредвиденные конфликты. Сложность и, следовательно, непредсказуемость растут экспоненциально по мере добавления в систему индивидуальности. Поэтому, когда в будущем появятся системы с большим количеством очень сложных роботов, непредсказуемость их выйдет за пределы нашего воображения.

Полыхающее безумие

Самоуправляемы автомобили, например, обещают осуществить прорыв в эффективности и безопасности дорожного движения. Но мы еще не знаем, что произойдет, когда у нас будет большая дикая система полностью автономных автомобилей. Они могут вести себя по-разному даже в пределах небольшого флота индивидуальных автомобилей в контролируемой среде. И еще более непредсказуемое поведение может проявиться, когда самоуправляемые автомобили, «обученные» разными людьми в разных местах, начнут взаимодействовать между собой.

Люди могут адаптироваться к новым правилам и соглашениям относительно быстро, но при этом с трудом переключаются между системами. Искусственным агентам может быть еще сложнее. Например, если «обученный в Германии» автомобиль поедет, например, в Италию, мы не знаем, как он освоит неписаные культурные соглашения, которым следуют многие другие «обученные в Италии» автомобили. Нечто обыденное вроде пересечения перекрестка может стать смертельно рискованным, потому что мы просто не знаем, будут ли машины взаимодействовать, как положено, либо начнут вести себя непредсказуемо.

А теперь подумайте о роботах-убийцах, которые беспокоят Маска и его коллег. Один робот-убийца может быть очень опасен не в тех руках. А система непредсказуемых роботов-убийц? Думайте сами.
promo antony_w august 17, 2014 11:48 18
Buy for 10 tokens
Есть блог, в котором написано много постов про роботов: ссылка И там есть несколько статей о замене рабочих мест человека роботами: Уже к 2018 году роботы отберут у человека часть профессий Рабский труд без зарплаты Армия роботов: зачем она нужна обильной людьми Поднебесной и кому может…
собака

Патент Tesla раскрыл принцип монтажа солнечных крыш



Глава компании Илон Маск уже обращал внимание инвесторов и потенциальных покупателей на то, что новая черепица, производимая Tesla, представляет собой высокотехнологичную разработку с множеством инноваций, но подробности не раскрывал. Теперь, благодаря публикации патентной заявки, всё стало гораздо понятнее.
Collapse )
собака

Домашние камеры слежения смогут заявлять на владельцев в полицию



Умные камеры слежения на базе ИИ следят за всем происходящим вокруг и чутко реагируют на любую потенциально опасную ситуацию. Но что если самому хозяину есть что скрывать? Издание Digital Trends поговорило с создателем системы наблюдения Kuna Systems об алгоритмах-надсмотрщиках и контроле устройств за своими владельцами.

Умная камера Kuna Systems с помощью ИИ непрерывно оценивают все, что находится в ее поле зрения. Устройство уже умеет отличать человека от машины и определять количество людей на глаз. Но компания планирует сделать систему еще умнее и научить ее распознавать подозрительное поведение.

«Это стандартная практика среди грабителей — позвонить в дверь и проверить, есть ли кто-то дома. Наша ИИ-система распознает эту ситуацию и либо свяжется с хозяевам, либо сразу с полицией», — рассказал Digital Trends глава компания Хаомяо Хуань.

Алгоритм в камере также сможет идентифицировать людей и определять, имеют ли они право брать какие-либо вещи или заходить на территорию. По словам Хуаня, в будущем такие устройства сведут к нулю мелкие кражи.
Collapse )