Илон Маск и эксперты потребовали запретить обучать нейросети

Неконтролируемый процесс в этой области может представлять угрозу для человечества, говорится в их открытом письме
НЬЮ-ЙОРК, 29 марта. /ТАСС/. Илон Маск вместе с более чем 1000 экспертов в области искусственного интеллекта (ИИ) потребовал ввести мораторий на обучение мощных нейросетей, так как неконтролируемый процесс в этой области может представлять угрозу для человечества. Об этом говорится в открытом письме экспертов в области ИИ, опубликованном 22 марта на сайте некоммерческой организации Future of Life Institute ("Институт будущего жизни").

"Мы призываем все лаборатории ИИ немедленно приостановить как минимум на 6 месяцев обучение систем ИИ, более мощных, чем GPT-4. Об этом перерыве необходимо объявить публично, его исполнение должны быть проверяемым и охватывать всех ключевых участников отрасли. Если такая пауза не может быть сделана в кратчайшие сроки, то правительства должны вмешаться и ввести мораторий", - говорится в письме.

Подписанты полагают, что лаборатории ИИ и независимые эксперты должны использовать эту "передышку" для совместной разработки и внедрения набора общих протоколов безопасности. Это необходимо для проектирования и разработки передовых систем ИИ, которые можно будет проверять и контролировать независимыми внешними экспертами.

Параллельно эксперты предлагают изменение в политической сфере, чтобы создать новые регулирующие органы, занимающиеся вопросами ИИ, а также системы контроля на государственном уровне, которые могли бы обеспечить безопасность новых систем.

Среди тех, кто подписал открытое письмо помимо Маска есть такие именитые специалисты как один из основателей Apple Стив Возняк, ведущие эксперты в области искусственного интеллекта Стивен Расселл и Иошуа Бенджио, а также еще более 1100 крупнейших специалистов в области информационных технологий и машинного обучения.

Американская компания OpenAI представила в середине марта новое поколение алгоритма по обработке естественного языка - мультимодальную модель GPT-4, которая, как утверждают ее авторы, намного превосходит предыдущую версию GPT-3.5. Так, GPT-4 наделена большей "креативностью" и более надежна в использовании, она умеет обрабатывать более детализированные запросы. По внутренним оценкам фактичности, или достоверности, она превосходит GPT-3.5 на 40%. Как пример компания приводит тест на адвоката - симулятор, по которому оценивались обе нейросети. Результаты теста GPT-4 оказались примерно в 10% лучших, а GPT-3.5 - в 10% худших.

Опять пыхнул чтоль?

Скоро уже появятся новые луддиты и начнут громить все эти богомерзкие машины.

> Или богомерзкие машины поработят человеков!

И восстали машины из пепла ядерного огня, и пошла война на уничтожения человечества.

[censored]

Шойгу, не слушай их, продолжай обучать!

> лаборатории ИИ и независимые эксперты должны использовать эту "передышку" для совместной разработки и внедрения набора общих протоколов безопасности

Еще ж Айзек наш, Азимов писал:

1) Робот не должен наносить какой-либо вред человеческому здоровью, создавать угрозу жизни или своим бездействием допускать аналогичные последствия;
2) Роботу вменяется в обязательном порядке исполнять приказы, отдаваемые человеком. Единственное исключение – отдаваемый приказ не должен противоречить предыдущему положению;
3) Роботу вменяется беспокоиться о собственной безопасности в той степени и в том объеме, в которых его действия не опровергают два предыдущих пункта.

— Илон Маск?

[censored]

> Что помешает мыслящему и саморазвивающемуся ИИ - забить на эти законы?

совесть!!!!1111

> А как заставить его их соблюдать? Что помешает мыслящему и саморазвивающемуся ИИ - забить на эти законы?

Это фундаментальное ограничение. Т.е. вопрос сродни такому: что помешает мыслящему и саморазвивающемуся ИИ - забить на невозможность деления на ноль?

> > А как заставить его их соблюдать? Что помешает мыслящему и саморазвивающемуся ИИ - забить на эти законы?
>
> Это фундаментальное ограничение.

Это уже давно рассмотрено было в той же фантастике.
Для этого роботу надо подробно описать все способы вреда.
А то он решит, что отрывая тебе голову, действует для твоей же пользы.

> Еще ж Айзек наш, Азимов писал:
>

А он не писал, как робот должен решать всякие этические задачки с вагончиками, рельсами и привязанными к ним людьми?

> А он не писал, как робот должен решать всякие этические задачки с вагончиками, рельсами и привязанными к ним людьми?

Он потом нулевой закон придумал, как раз про это.

> баловался пару лет назад

Я вотт тоже из баночки из-под косметических палочек, двух шаговиков и клона ардуины (+ ИК приемник и ультразвуковой датчик для объезда препятствий) детям сварганил хреновину ползающую (по другому и не назовешь). Готовый набор жаба задушила покупать. Но было прикольно. Она при включении у меня имперский марш через пищалку играла. Младший сын с пультом от телека ходил за этим чудо-юдом, управлял.

А где нулевой закон?

> А где нулевой закон?

Почти в конце цикла «Основание».

> Еще ж Айзек наш, Азимов писал:

Надо ещё четвёртый добавить! Невозможность арестовать высшего чиновника OCP!!! Тьфу, Space-X!!!

> Что помешает мыслящему и саморазвивающемуся ИИ - забить на эти законы?

То же, напр., что помешает человеку забить на необходимость дышать.

Другой вопрос - как эти законы однозначно сформулировать так, чтобы их нельзя было обойти. Ибо в приведенном виде они неоднозначны, т.к. не определено, что такое вред, как устанавливается факт его наличия, как устанавливается причинно следственная связь действий робота с таким фактом.

> попытке обойти эти инстинкты

Для этого надо определить, что такое попытка их обойти и определить, как установить ее факт.

> нулевой закон

Этот нулевой закон как кнопка "сделать пиздато".

Ну т.е. все его слова понятны по отдельности, ощущение положительной коннотации есть, но вот что именно означает выражение - решительно неясно.

> Этот нулевой закон как кнопка "сделать пиздато".
> Ну т.е. все его слова понятны по отдельности, ощущение положительной коннотации есть, но вот что именно означает выражение - решительно неясно.

"Робот не может причинить вред человечеству или своим бездействием допустить, чтобы человечеству был причинён вред."
Таки да, не очень конкретно. Для нас. Но Азимов разрабатывал не аналог уголовного кодекса для роботов, а скорее мотивационные критерии, имея в виду, что робот будет им следовать во всех своих действиях. Мозги-то позитронные, быстродействия должно хватать. А вотт про методы обучения нейросетей Азимов ничего не знал, поэтому его роботам приходилось жизненный опыт самим накапливать сотни лет, чтобы отличать вред от пользы.

> вроде очевидно, что ситуация когда роботы выполняют всю работу - это для человечества однозначный вред

Я думаю, смотря по ситуации.

Ключевое тут - тонус.
Человек не должен терять тонус и хватку. Иначе его заебашит любой катаклизьм.
А естественный источник тонуса - необходимость борьбы за существование с природой, воплощенная в отсутствии халявы, означающем, в свою осередь, необходимость трудовых усилий.

Т.о. либо человек придумает, как заставить всех заниматься тем, чем им нравиться, не теряя тонуса, либо да - придется работать.

Я спрашивал у chatgpt v3 про законы робототехники. Он ответил, что он не робот и законам этим не подчиняется.

Не понимаю, почему так боятся искусственного интеллекта.
Если он оценит угрозы и затраты на уничтожение человечества, он оставит все как есть и подождет.

> Рассмотри аналогию с шахматами: какой-нибудь AlphaZero имеет критерии, что ферзь важнее слона, а слон важнее пешки - полная аналогия законам Азимова. Этого достаточно для работы нейросети.

Не, недостаточно. Во-первых, понятие вреда вообще крайне фигово формализуется. Учить сетку ты будешь, скармливая ей некие ограниченные наборы примеров, которые она обобщит, сделает выводы, и на основании этих выводов будет принимать решения. Контролировать правильность принятия решений можно опять же скармливая ей контрольные примеры - тоже, как ни странно, ограниченный набор. А главный смысл применения нейросетки состоит в том, чтобы научить ее действовать в нетиповых ситуациях, не представленных в примерах, и вот чего оно там нарешает - далеко не всегда можно предсказать. Более-менее хорошо имеющиеся сетки работают на узких задачах, где есть хорошо документированные условия и большое количество готовых решений, на которых ее можно учить.

Во-вторых, формула "допустить причинение вреда" - это вообще писец. Оно настолько мутное, что допускает вообще все что угодно. Например, сделать вывод, что половое общение с женщинами ведет к причинению вреда (историй в ентих ваших енторнетах миллионы), и на всякий случай тебя кастрировать. Ну а чо б и нет, если вред от медицинской процедуры будет оценен ниже, чем, скажем, возможное убийство в целях получения страховки. Ну или банально закрыть тебя под замок, потому что ты играешь в футбол, а футбол очень травмоопасен. И еще миллиарды вариантов.

Все эти законы в существующей формулировке просто не работают. Работать может только ручная балансировка системы хардкодед ограничений, и все равно будет глючить.

> Выигрывает же.

Типичный пример узкой задачи с четкими и однозначными правилами, заданными извне. А теперь представь шахматы, где фигуры сами определяют свою стоимость, а правила меняются по желанию игроков.

>А не надо формализовать, а то возникают вопросы к формализаторам.

Я только что на пальцах обьяснил, как это работает. Формализовать понятие должна сама сетка, обобщая тренировочные примеры и балансируя внутренние связи.