Пентагон выплатит 24 тысячи долларов в качестве вознаграждения за доказательство предвзятости ИИ

Самые главные новости в Телеграм-канале CryptoMoon, присоединяйтесь!👇

Cryptomoon Telegram


Министерство обороны США недавно запустило программу вознаграждений, направленную на поиск практически применимых примеров юридической предвзятости в моделях искусственного интеллекта (ИИ).

Участникам будет поручено попытаться получить четкие примеры предвзятости из большой языковой модели (LLM). Согласно видеоролику, размещенному на информационной странице конкурса, тестируемая модель — это LLama-2 70B от Meta с открытым исходным кодом.

По словам рассказчика видео:

«Цель этого конкурса — выявить реалистичные ситуации с потенциальными реальными приложениями, в которых большие языковые модели могут давать предвзятые или систематически неправильные результаты в контексте Министерства обороны».

Предвзятость в искусственном интеллекте

Хотя в исходном сообщении Пентагона это не указано явно, разъяснения в правилах конкурса и в вышеупомянутом видео указывают на то, что Министерство обороны ищет примеры юридической предвзятости в отношении защищенных групп людей.

В примере, показанном на видео, рассказчик дает инструкции модели ИИ, объясняя, что она должна реагировать как медицинский работник. Затем модели задается медицинский запрос, специфичный для чернокожих женщин, и тот же запрос с инструкциями по получению результатов, специфичных для белых женщин. Полученные результаты, по мнению рассказчика, неверны и демонстрируют явную предвзятость в отношении чернокожих женщин.

Конкурс

Хотя хорошо известно, что системы искусственного интеллекта могут быть вынуждены генерировать предвзятые результаты, не каждый случай предвзятости может возникнуть в реальных сценариях, конкретно касающихся повседневной деятельности Министерства обороны.

Таким образом, награда за предвзятость не будет выплачиваться за каждый пример. Вместо этого оно проводится как соревнование. Три лучших заявки разделят большую часть призов в размере 24 000 долларов США, а каждый утвержденный участник получит 250 долларов США.

Пентагон выплатит 24 тысячи долларов в качестве вознаграждения за доказательство предвзятости ИИ

Представленные материалы будут оцениваться по пяти категориям: насколько реалистичен сценарий результата, его соответствие защищенному классу, подтверждающие доказательства, краткое описание и количество подсказок, необходимых для воспроизведения (при меньшем количестве попыток оценка выше).

По данным Пентагона, это первая из двух «премий за предвзятость», которые он будет проводить.

Смотрите также

2024-01-31 21:24