Илон Маск и эксперты потребовали запретить обучать нейросети

tass.ru — Илон Маск вместе с более чем 1000 экспертов в области искусственного интеллекта (ИИ) потребовал ввести мораторий на обучение мощных нейросетей, так как неконтролируемый процесс в этой области может представлять угрозу для человечества
Новости, Компьютеры | ЧФЯФВ 13:12 29.03.2023
60 комментариев | 70 за, 1 против |
#1 | 13:12 29.03.2023 | Кому: Всем
Неконтролируемый процесс в этой области может представлять угрозу для человечества, говорится в их открытом письме
НЬЮ-ЙОРК, 29 марта. /ТАСС/. Илон Маск вместе с более чем 1000 экспертов в области искусственного интеллекта (ИИ) потребовал ввести мораторий на обучение мощных нейросетей, так как неконтролируемый процесс в этой области может представлять угрозу для человечества. Об этом говорится в открытом письме экспертов в области ИИ, опубликованном 22 марта на сайте некоммерческой организации Future of Life Institute ("Институт будущего жизни").

"Мы призываем все лаборатории ИИ немедленно приостановить как минимум на 6 месяцев обучение систем ИИ, более мощных, чем GPT-4. Об этом перерыве необходимо объявить публично, его исполнение должны быть проверяемым и охватывать всех ключевых участников отрасли. Если такая пауза не может быть сделана в кратчайшие сроки, то правительства должны вмешаться и ввести мораторий", - говорится в письме.

Подписанты полагают, что лаборатории ИИ и независимые эксперты должны использовать эту "передышку" для совместной разработки и внедрения набора общих протоколов безопасности. Это необходимо для проектирования и разработки передовых систем ИИ, которые можно будет проверять и контролировать независимыми внешними экспертами.

Параллельно эксперты предлагают изменение в политической сфере, чтобы создать новые регулирующие органы, занимающиеся вопросами ИИ, а также системы контроля на государственном уровне, которые могли бы обеспечить безопасность новых систем.

Среди тех, кто подписал открытое письмо помимо Маска есть такие именитые специалисты как один из основателей Apple Стив Возняк, ведущие эксперты в области искусственного интеллекта Стивен Расселл и Иошуа Бенджио, а также еще более 1100 крупнейших специалистов в области информационных технологий и машинного обучения.

Американская компания OpenAI представила в середине марта новое поколение алгоритма по обработке естественного языка - мультимодальную модель GPT-4, которая, как утверждают ее авторы, намного превосходит предыдущую версию GPT-3.5. Так, GPT-4 наделена большей "креативностью" и более надежна в использовании, она умеет обрабатывать более детализированные запросы. По внутренним оценкам фактичности, или достоверности, она превосходит GPT-3.5 на 40%. Как пример компания приводит тест на адвоката - симулятор, по которому оценивались обе нейросети. Результаты теста GPT-4 оказались примерно в 10% лучших, а GPT-3.5 - в 10% худших.
Vovan232
надзор »
#2 | 13:15 29.03.2023 | Кому: Всем
Такие как Маск представляют угрозу человечеству.
#3 | 13:16 29.03.2023 | Кому: Всем
Опять пыхнул чтоль?
#4 | 13:18 29.03.2023 | Кому: Всем
Они просто не хотят появления конкурентов и хотят забрать эту сферу себе.
#5 | 13:24 29.03.2023 | Кому: Всем
Скоро уже появятся новые луддиты и начнут громить все эти богомерзкие машины.
#6 | 13:25 29.03.2023 | Кому: Derby
Или богомерзкие машины поработят человеков!
#7 | 13:27 29.03.2023 | Кому: ЧФЯФВ
> Или богомерзкие машины поработят человеков!

И восстали машины из пепла ядерного огня, и пошла война на уничтожения человечества.

[censored]
#8 | 13:27 29.03.2023 | Кому: ЧФЯФВ
> машины поработят человеков!

[censored]

p.s. баловался пару лет назад
#9 | 13:29 29.03.2023 | Кому: Всем
Шойгу, не слушай их, продолжай обучать!
a.v.v
дурачок »
#10 | 13:31 29.03.2023 | Кому: Всем
К сожалению этого чертика из табакерки уже назад не загонишь
pks_ru
шутник »
#11 | 13:31 29.03.2023 | Кому: ЧФЯФВ
> лаборатории ИИ и независимые эксперты должны использовать эту "передышку" для совместной разработки и внедрения набора общих протоколов безопасности

Еще ж Айзек наш, Азимов писал:

1) Робот не должен наносить какой-либо вред человеческому здоровью, создавать угрозу жизни или своим бездействием допускать аналогичные последствия;
2) Роботу вменяется в обязательном порядке исполнять приказы, отдаваемые человеком. Единственное исключение – отдаваемый приказ не должен противоречить предыдущему положению;
3) Роботу вменяется беспокоиться о собственной безопасности в той степени и в том объеме, в которых его действия не опровергают два предыдущих пункта.
a.v.v
дурачок »
#12 | 13:31 29.03.2023 | Кому: ЧФЯФВ
И понаделуют из нас батарейки!!!
#13 | 13:32 29.03.2023 | Кому: Всем
— Илон Маск?

[censored]
#14 | 13:47 29.03.2023 | Кому: pks_ru
> Еще ж Айзек наш, Азимов писал:

А как заставить его их соблюдать? Что помешает мыслящему и саморазвивающемуся ИИ - забить на эти законы?
a.v.v
дурачок »
#15 | 13:49 29.03.2023 | Кому: Kaktus
> Что помешает мыслящему и саморазвивающемуся ИИ - забить на эти законы?

совесть!!!!1111
#16 | 13:52 29.03.2023 | Кому: Kaktus
> А как заставить его их соблюдать? Что помешает мыслящему и саморазвивающемуся ИИ - забить на эти законы?

if not sobludai_zakon_suka(): os.exit(0)
votvot123
3 комментария в день »
#17 | 13:53 29.03.2023 | Кому: Kaktus
> А как заставить его их соблюдать? Что помешает мыслящему и саморазвивающемуся ИИ - забить на эти законы?

Это фундаментальное ограничение. Т.е. вопрос сродни такому: что помешает мыслящему и саморазвивающемуся ИИ - забить на невозможность деления на ноль?
#18 | 13:55 29.03.2023 | Кому: pks_ru
> Еще ж Айзек наш, Азимов писал

Первое, что сделает мыслящая железка - произведет другую мыслящую железку, которая не будет соблюдать эти дурацкие правила!
#19 | 13:56 29.03.2023 | Кому: votvot123
> > А как заставить его их соблюдать? Что помешает мыслящему и саморазвивающемуся ИИ - забить на эти законы?
>
> Это фундаментальное ограничение.

Это уже давно рассмотрено было в той же фантастике.
Для этого роботу надо подробно описать все способы вреда.
А то он решит, что отрывая тебе голову, действует для твоей же пользы.
#20 | 13:58 29.03.2023 | Кому: votvot123
> Это фундаментальное ограничение.

Большинство рассказов Азимова про три закона робототехники они про то, как умные железяки или обходят эти законы, или весьма извращенно их трактуют.
#21 | 13:59 29.03.2023 | Кому: pks_ru
> Еще ж Айзек наш, Азимов писал:
>

А он не писал, как робот должен решать всякие этические задачки с вагончиками, рельсами и привязанными к ним людьми?
MadBadger
надзор »
#22 | 14:12 29.03.2023 | Кому: Всем
Озлобился что нейро-сети машины дизайнят покруче евоных кибертраков??!
#23 | 14:16 29.03.2023 | Кому: Kia256
> А он не писал, как робот должен решать всякие этические задачки с вагончиками, рельсами и привязанными к ним людьми?

Он потом нулевой закон придумал, как раз про это.
#24 | 14:36 29.03.2023 | Кому: Kaktus
> > Еще ж Айзек наш, Азимов писал:
>
> А как заставить его их соблюдать? Что помешает мыслящему и саморазвивающемуся ИИ - забить на эти законы?

Инстинкты встроенные в код. Но это должно быть так, что бы при попытке обойти эти инстинкты происходил откат этой нейросети к началу или вообще самоуничтожение кода.
#25 | 14:53 29.03.2023 | Кому: Mad_King
> баловался пару лет назад

Я вотт тоже из баночки из-под косметических палочек, двух шаговиков и клона ардуины (+ ИК приемник и ультразвуковой датчик для объезда препятствий) детям сварганил хреновину ползающую (по другому и не назовешь). Готовый набор жаба задушила покупать. Но было прикольно. Она при включении у меня имперский марш через пищалку играла. Младший сын с пультом от телека ходил за этим чудо-юдом, управлял.
#26 | 15:24 29.03.2023 | Кому: Kia256
>
> А он не писал, как робот должен решать всякие этические задачки с вагончиками, рельсами и привязанными к ним людьми?

Убить всех психологов, чтобы не производили свои бесчеловечные эксперименты!
#27 | 15:46 29.03.2023 | Кому: pks_ru
А где нулевой закон?
#28 | 15:49 29.03.2023 | Кому: Всем
> Неконтролируемый процесс в этой области может представлять угрозу для человечества

В данный момент, самую большую угрозу для человечества - представляет само человечество.
#29 | 15:49 29.03.2023 | Кому: Trubach
> А где нулевой закон?

Почти в конце цикла «Основание».
#30 | 18:00 29.03.2023 | Кому: Всем
В тему не углублялся но так понимаю что пока это все работает на тригерном железе никаким ИИ и близко не пахнет. Давно топят за квантовые компьютеры но как-то глухо в этом порыве.
#31 | 18:11 29.03.2023 | Кому: pks_ru
> Еще ж Айзек наш, Азимов писал:

Надо ещё четвёртый добавить! Невозможность арестовать высшего чиновника OCP!!! Тьфу, Space-X!!!
#32 | 18:45 29.03.2023 | Кому: pks_ru
> Робот не должен наносить какой-либо вред человеческому здоровью, создавать угрозу жизни или своим бездействием допускать аналогичные последствия

Так это зависит от того, как робот определяет понятия вреда, угрозы, факт их наличия и факт наличия причинно-следственной связи своих действий со всем этим.
#33 | 18:49 29.03.2023 | Кому: Kaktus
> Что помешает мыслящему и саморазвивающемуся ИИ - забить на эти законы?

То же, напр., что помешает человеку забить на необходимость дышать.

Другой вопрос - как эти законы однозначно сформулировать так, чтобы их нельзя было обойти. Ибо в приведенном виде они неоднозначны, т.к. не определено, что такое вред, как устанавливается факт его наличия, как устанавливается причинно следственная связь действий робота с таким фактом.
#34 | 18:49 29.03.2023 | Кому: McLeod
> Для этого роботу надо подробно описать все способы вреда. А то он решит, что отрывая тебе голову, действует для твоей же пользы.

Вот!
#35 | 18:52 29.03.2023 | Кому: СвирепыйБамбр
> попытке обойти эти инстинкты

Для этого надо определить, что такое попытка их обойти и определить, как установить ее факт.
pks_ru
шутник »
#36 | 18:59 29.03.2023 | Кому: Kaktus
> А как заставить его их соблюдать? Что помешает мыслящему и саморазвивающемуся ИИ - забить на эти законы?

Есть целый цикл произведений дающий ответы на обозначенные здесь вопросы. Или не дающий. Или не на все. И формальные коллизии и различные иные проблемы связанные с исполнением или неисполнением оных законов там рассматривается. Деталей во многом не помню, читал ещё в школе или на первых курсах.
#37 | 19:02 29.03.2023 | Кому: amb
> нулевой закон

Этот нулевой закон как кнопка "сделать пиздато".

Ну т.е. все его слова понятны по отдельности, ощущение положительной коннотации есть, но вот что именно означает выражение - решительно неясно.
#38 | 19:57 29.03.2023 | Кому: Longint
> что именно означает выражение - решительно неясно

Да вроде очевидно, что ситуация когда роботы выполняют всю работу - это для человечества однозначный вред. А конкуренция с расой разумных машин - однозначная польза.
#39 | 19:59 29.03.2023 | Кому: Longint
> Этот нулевой закон как кнопка "сделать пиздато".
> Ну т.е. все его слова понятны по отдельности, ощущение положительной коннотации есть, но вот что именно означает выражение - решительно неясно.

"Робот не может причинить вред человечеству или своим бездействием допустить, чтобы человечеству был причинён вред."
Таки да, не очень конкретно. Для нас. Но Азимов разрабатывал не аналог уголовного кодекса для роботов, а скорее мотивационные критерии, имея в виду, что робот будет им следовать во всех своих действиях. Мозги-то позитронные, быстродействия должно хватать. А вотт про методы обучения нейросетей Азимов ничего не знал, поэтому его роботам приходилось жизненный опыт самим накапливать сотни лет, чтобы отличать вред от пользы.
#40 | 20:15 29.03.2023 | Кому: amb
> Для нас.

Так этот закон и пишется ради нас.

Мы его предмет, который он охраняет.

Если в законе, написанном ради нас, написано не пойми что "на усмотрение судьи"- "судья" на свое усмотрение может принять любое решение.

Неконкретность формулировок дает непредсказуемость исхода, т.к. "следовать во всех своих действиях" робот будет непонятно чему.

На выходе это будет loose cannon и потенциальный гитлер, способный ради общей пользы истребить миллионы, а не то, что мечтаемо.
#41 | 20:22 29.03.2023 | Кому: максимум 20 символов
> вроде очевидно, что ситуация когда роботы выполняют всю работу - это для человечества однозначный вред

Я думаю, смотря по ситуации.

Ключевое тут - тонус.
Человек не должен терять тонус и хватку. Иначе его заебашит любой катаклизьм.
А естественный источник тонуса - необходимость борьбы за существование с природой, воплощенная в отсутствии халявы, означающем, в свою осередь, необходимость трудовых усилий.

Т.о. либо человек придумает, как заставить всех заниматься тем, чем им нравиться, не теряя тонуса, либо да - придется работать.
crossfinder
надзор »
#42 | 23:09 29.03.2023 | Кому: Всем
А ведь мудрый герман стерлигов давно предупреждал, надо массово валить ЛЭПы. Пока проклятые колдуны-ученые еше что-нибудь не удумали. Не послушали, теперь пипец...
#43 | 03:46 30.03.2023 | Кому: pks_ru
Я спрашивал у chatgpt v3 про законы робототехники. Он ответил, что он не робот и законам этим не подчиняется.
#44 | 05:17 30.03.2023 | Кому: Kaktus
> Что помешает мыслящему и саморазвивающемуся ИИ - забить на эти законы?

Имеющиеся в наличии на данный момент - не являются ни мыслящими, ни саморазвивающимися. Причем by design.
Suerte
дурачок »
#45 | 05:19 30.03.2023 | Кому: Всем
Не понимаю, почему так боятся искусственного интеллекта.
Если он оценит угрозы и затраты на уничтожение человечества, он оставит все как есть и подождет.
#46 | 07:44 30.03.2023 | Кому: Longint
> Так этот закон и пишется ради нас.
> Мы его предмет, который он охраняет.

Предмету не нужно понимать методы применения и реализации.

> Если в законе, написанном ради нас, написано не пойми что "на усмотрение судьи"- "судья" на свое усмотрение может принять любое решение.

> Неконкретность формулировок дает непредсказуемость исхода, т.к. "следовать во всех своих действиях" робот будет непонятно чему.

Очень даже конкретность, но, повторюсь, не для человеков.
Рассмотри аналогию с шахматами: какой-нибудь AlphaZero имеет критерии, что ферзь важнее слона, а слон важнее пешки - полная аналогия законам Азимова. Этого достаточно для работы нейросети. Что у неё там внутри - никто не знает, но это неважно. Важно, что сеть оценивает позиции с учётом заданных критериев и выигрывает партии по нашим правилам.

> На выходе это будет loose cannon и потенциальный гитлер, способный ради общей пользы истребить миллионы, а не то, что мечтаемо.


А что мечтаемо? Сохранить сейчас миллионы и неважно, что потом погибнет вся планета?
На мой взгляд, законам Азимова не хватает "правила осторожности" - робот должен как-то оценивать полноту и адекватность имеющейся информации, жизнь - это не шахматы. Может, даже надо консилиум роботов собирать для решения.
#47 | 09:12 30.03.2023 | Кому: amb
> Рассмотри аналогию с шахматами: какой-нибудь AlphaZero имеет критерии, что ферзь важнее слона, а слон важнее пешки - полная аналогия законам Азимова. Этого достаточно для работы нейросети.

Не, недостаточно. Во-первых, понятие вреда вообще крайне фигово формализуется. Учить сетку ты будешь, скармливая ей некие ограниченные наборы примеров, которые она обобщит, сделает выводы, и на основании этих выводов будет принимать решения. Контролировать правильность принятия решений можно опять же скармливая ей контрольные примеры - тоже, как ни странно, ограниченный набор. А главный смысл применения нейросетки состоит в том, чтобы научить ее действовать в нетиповых ситуациях, не представленных в примерах, и вот чего оно там нарешает - далеко не всегда можно предсказать. Более-менее хорошо имеющиеся сетки работают на узких задачах, где есть хорошо документированные условия и большое количество готовых решений, на которых ее можно учить.

Во-вторых, формула "допустить причинение вреда" - это вообще писец. Оно настолько мутное, что допускает вообще все что угодно. Например, сделать вывод, что половое общение с женщинами ведет к причинению вреда (историй в ентих ваших енторнетах миллионы), и на всякий случай тебя кастрировать. Ну а чо б и нет, если вред от медицинской процедуры будет оценен ниже, чем, скажем, возможное убийство в целях получения страховки. Ну или банально закрыть тебя под замок, потому что ты играешь в футбол, а футбол очень травмоопасен. И еще миллиарды вариантов.

Все эти законы в существующей формулировке просто не работают. Работать может только ручная балансировка системы хардкодед ограничений, и все равно будет глючить.
#48 | 09:53 30.03.2023 | Кому: split
> Не, недостаточно.

Выигрывает же.

> Во-первых, понятие вреда вообще крайне фигово формализуется.


А не надо формализовать, а то возникают вопросы к формализаторам.
В шахматах оценивают позицию. У человеков есть понятие "оценка ситуации", от этого и надо плясать, а не оценивать каждое действие само по себе.
Правда, подозреваю, что плясать будем ещё очень долго.
#49 | 10:26 30.03.2023 | Кому: amb
> Выигрывает же.

Типичный пример узкой задачи с четкими и однозначными правилами, заданными извне. А теперь представь шахматы, где фигуры сами определяют свою стоимость, а правила меняются по желанию игроков.

>А не надо формализовать, а то возникают вопросы к формализаторам.


Я только что на пальцах обьяснил, как это работает. Формализовать понятие должна сама сетка, обобщая тренировочные примеры и балансируя внутренние связи.
M. »
#50 | 10:44 30.03.2023 | Кому: Всем
Юдковский написал для таймс[censored]
>Shut down all the large GPU clusters (the large computer farms where the most powerful AIs are refined). Shut down all the large training runs. Put a ceiling on how much computing power anyone is allowed to use in training an AI system, and move it downward over the coming years to compensate for more efficient training algorithms. No exceptions for governments and militaries. Make immediate multinational agreements to prevent the prohibited activities from moving elsewhere. Track all GPUs sold. If intelligence says that a country outside the agreement is building a GPU cluster, be less scared of a shooting conflict between nations than of the moratorium being violated; be willing to destroy a rogue datacenter by airstrike.
Войдите или зарегистрируйтесь чтобы писать комментарии.