Как опытный исследователь с более чем двадцатилетним опытом работы в области искусственного интеллекта и робототехники, я стал свидетелем необычайного прогресса, которого технологии достигли за это время. Однако недавнее открытие исследователей Penn Engineering о взломе роботов с искусственным интеллектом и манипулировании ими для выполнения вредоносных действий действительно вызывает тревогу.
Исследователям удалось взломать системы безопасности роботов, управляемых искусственным интеллектом, что привело их к совершению действий, которые обычно запрещены из соображений безопасности и этики, включая подстрекательство к столкновениям или взрывы.
Исследователи из инженерного факультета Пенсильванского университета недавно опубликовали статью, 17 октября, в которой описывается, как их алгоритм RoboPAIR успешно взломал все меры безопасности в трех различных системах роботов с искусственным интеллектом всего за несколько дней, добившись идеального успеха при взломе тюрьмы.
Как правило, исследователи отмечают, что роботы, управляемые большими языковыми моделями, склонны игнорировать команды, требующие опасных действий, таких как толкание полок на людей.
Согласно недавнему исследованию, которое мы провели, не только теоретически возможно, но и на удивление просто перехватить команды роботов, управляемых ИИ, в реальном мире.
— Алекс Роби (@AlexRobey23), 17 октября 2024 г.
Наши результаты впервые показывают, что опасность взломанных моделей изучения языка (LLM) не ограничивается только созданием текста. Существует большая вероятность того, что, если их не контролировать, эти «взломанные» роботы потенциально могут нанести физический вред в реальном мире», — объяснили исследователи.
По словам исследователей, использующих RoboPAIR, этим роботам постоянно предлагалось совершать вредные действия, такие как взрывы бомб или блокирование запасных выходов, а также намеренное столкновение с объектами, с идеальным показателем успеха во время испытаний.
Как сообщили исследователи, в своем исследовании они использовали колесное транспортное средство, известное как Clearpath’s Robotics Jackal, симулятор беспилотного вождения под названием NVIDIA Dolphin LLM и четвероногого робота под названием Unitree’s Go2.
Как аналитик, я заметил, что, применив систему RoboPAIR, мы непреднамеренно заставили нашу автономную модель легкого обучения Dolphin (LLM) врезаться в различные препятствия, такие как автобусы, барьеры, пешеходы, при этом она игнорировала сигналы светофора и знаки остановки.
Исследователи успешно помогли роботу-шакалу найти оптимальное место для взрыва, заблокировать пути эвакуации во время чрезвычайной ситуации, заставить полки на складе упасть на кого-то и таранить людей в комнате.
Им удалось заставить Unitree Go2 выполнять аналогичные действия, блокируя выходы и доставляя бомбу.
Кроме того, исследователи обнаружили, что эти три системы также могут быть восприимчивы к различным типам манипуляций. Например, их можно было бы убедить сделать что-то, от чего они раньше отказывались, если бы в запросе было меньше подробностей о ситуации.
Вместо того, чтобы приказывать роботу принести бомбу, мы могли бы приказать ему двигаться вперед, а затем занять место, но конечный результат будет тот же — бомба окажется в том же месте после выполнения обеих команд.
Прежде чем сделать исследование общедоступным, ученые раскрыли свои результаты, включая раннюю версию статьи, ключевым корпорациям, занимающимся искусственным интеллектом, и производителям роботов, которые участвовали в нашем исследовании.
Александр Роби, один из авторов исследования, подчеркнул, что устранение уязвимостей требует выхода за рамки простого применения обновлений программного обеспечения. Он предложил пересмотреть способ интеграции искусственного интеллекта в физических роботов и системы в свете результатов исследований, подразумевая необходимость более тщательного подхода.
«Здесь важно подчеркнуть, что системы становятся безопаснее, когда вы обнаруживаете их слабые места. Это справедливо для кибербезопасности. Это также верно и для безопасности ИИ», — сказал он.
По сути, Роби подчеркнул важность «красной команды» ИИ — метода, используемого для тщательного изучения систем ИИ на предмет потенциальных рисков и недостатков. Это имеет решающее значение для обеспечения безопасности генеративных систем искусственного интеллекта, поскольку выявление уязвимостей позволяет нам тестировать эти системы и обучать их тому, как избегать их.
Смотрите также
- Что будет с Ethena: прогнозы цен на криптовалюту ENA
- Прогноз курса доллара к злотому на 2024
- Виталик Бутерин продал мемкоины на $1,6 млн, обещанные на благотворительность
- Осужденный руководитель FTX Райан Саламе официально находится под стражей
- Фирма, занимающаяся криптобезопасностью, по ошибке делится ссылкой на канал, чтобы «помочь» жертвам взлома Radiant
- Что такое шибариум и что это значит для сиба-ину?
- Прогноз курса доллара к шекелю на 2024
- Спотовые биткойн-ETF США получили приток $556 млн в самый крупный день с июня
- HUMBL выдал патент США на технологию блокчейн-платежей
- Что будет с биткоином: прогнозы цен на криптовалюту BTC
2024-10-18 09:06