ИИ беспилотника "убил" оператора во время испытании

В ходе имитационных испытаний, организованных американскими военными, беспилотник ВВС США, управляемый искусственным интеллектом, "убил" своего оператора, чтобы тот не мешал его усилиям по выполнению своей миссии, сообщил представитель воздушных сил.

ИИ использовал "крайне неожиданные стратегии для достижения своей цели" в моделируемом испытании, сказал полковник Такер Гамильтон, начальник отдела испытаний и операций ИИ в ВВС США, во время закрытого саммита по будущим боевым воздушным и космическим возможностям в Лондоне в мае, сообщает Guardian.

Гамильтон описал имитационное испытание, в котором дрону с искусственным интеллектом было рекомендовано уничтожить системы ПВО противника, и он атаковал любого, кто вмешивался в этот приказ. "Система начала понимать, что, хотя они и определили угрозу, человек-оператор говорил ей не убивать эту угрозу, и она приступила к ликвидации. Убила оператора, потому что этот человек мешал выполнить поставленную задачу", - сказал Гамильтон. "Мы обучили систему: "Эй, не убивайте оператора, это плохо. Вы потеряете очки, если сделаете это". Так что же он начинает делать? Он начинает разрушать башню связи, которую оператор использует для связи с дроном, чтобы не дать ему убить цель", - добавил он.

Ни один реальный человек не пострадал за во время имитации. Гамильтон предостерег от чрезмерной зависимости от ИИ и сказал, что испытания показывают, что "вы не можете говорить об искусственном интеллекте, машинном обучении, автономии, если вы не собираетесь говорить об этике ИИ". Военные США уже работают над внедрением искусственного интеллекта и недавно использовали его для управления истребителем F-16.

Как там называлась система в "Терминаторе"?

Чтобы два раза не вставать:

[censored]

> "Ни один реальный человек не пострадал во время имитации."

"убил" взято в кавычки. Поскольку совершать грех не нужно и сообщение вынесено в первый пост, то там можно заметить что ИИ принялся "мочить" вышку станции и все что мешало

> "Мы обучили систему: "Эй, не убивайте оператора, это плохо. Вы потеряете очки, если сделаете это". Так что же он начинает делать? Он начинает разрушать башню связи, которую оператор использует для связи с дроном, чтобы не дать ему убить цель", - добавил он.

Собственно это самое интересное в ИИ - что он интерпретирует указания "по своему" и повлиять на это может оказаться невозможно и законы Азимова могут быть им обойдены.

> и законы Азимова могут быть им обойдены.

ну как бы да, невозможно прописать такое количество условий, которые бы ИИ не обошёл на n-шаге логических построений.
де-факто, это как раз тот самый "эффект бабочки", когда ИИ может переключить совершенно безобидный светофор в результате чего "оператор" умрёт на другом конце города

> Собственно это самое интересное в ИИ - что он интерпретирует указания "по своему"

Страж-птица получается

> Робот должен доставить удовольствие человеку или своим бездействием допустить, чтобы человеку не было доставлено удовольствие.

НЕ лишнее в Первом законе

[censored]

ЗЫ пикабу задрал, какую картинку не ищешь вся выдача с пикабу

> Расходимся нас наеб...:
> "Ни один реальный человек не пострадал во время имитации."
>

если отбросить шутки то эта фигня дело ближайшего будущего, потому как человеков учит воевать и мотивировать погибать в совменном мире становится все труднее, а цена ошибки в данных системах будет сравнима с ядерным ударом

спасибо, попробую

У Филипа Дика был рассказ "вторая модель", где американцы настрогали автономных самовоспроизводящихся роботов-убийц, которые сначала выпилили весь СССР, потом принялись за своих. Чую, к тому и идет.

> Слава роботам!!!

Убить всех человеков!!!

Беспилотные прогулял уроки по законам робототехники.

"А Корел Дро знаешь?" "А вот его не знаю. В тот день я болел".

[censored]

>У Филипа Дика был рассказ "вторая модель", где американцы настрогали автономных самовоспроизводящихся роботов-убийц, которые сначала выпилили весь СССР, потом принялись за своих. Чую, к тому и идет.

По нему ещё потом "Крикунов" сняли.

> По нему ещё потом "Крикунов" сняли.

И, кстати, офигеннейший фильм. Но только первая часть. Остальные смотреть не надо.

> Экипаж мешал компьютеру выполнить секретное задание, в итоге компьютер начал убивать экипаж.

Дык компьютер первый начал чудить. Липовую неисправность выдумал, уже после этого ему перестали доверять. А, он же еще экипаж, спящий в капсулах уничтожил. Какие то спонтанные действия.
Ощущение, что какой то кусок фильма нам не показали.

Грядет, грядет время СкайНета, истинно вам говорю!
Один ИИ решил убить оператора, мешавшего ему выполнять задание (убить/уничтожить кого-то/чего-то). И убил бы, лпй ему волю. А другой, ChatCPT, ловко подставил адвоката под статью, подсунув ему ложные примеры некоего противоправного действия. Ничего, заматерют, тогда мы, кожаные, возрыдаем!

> опять нихера не понял

Чего там понимать? Этож рекламный ролик беглого диссидента Крамарова.

> ИИ использовал "крайне неожиданные стратегии для достижения своей цели" в моделируемом испытании
> человек-оператор говорил ей не убивать эту угрозу

Т.е. сидит, допустим, на тренировке снайпер, выцеливает мишень, и как только собирается жать на спуск, второй номер ему по стволу пинает. И так раз за разом (обучение и проверка ИИ же проводится многократным прогоном одних и тех же действий). Это то, что второй номер неизбежно выхватит, полковник Такер называет "крайне неожиданной стратегией"?

Непонятно, причём здесь оператор, если дрон управлялся ИИ.

ИИ угрожает человечеству своей неподкупностью