В пену

Илон Маск и эксперты потребовали запретить обучать нейросети

tass.ru — Илон Маск вместе с более чем 1000 экспертов в области искусственного интеллекта (ИИ) потребовал ввести мораторий на обучение мощных нейросетей, так как неконтролируемый процесс в этой области может представлять угрозу для человечества

Новости, Компьютеры | ЧФЯФВ 13:12 29.03.2023

8 комментариев | 70 за, 1 против |

amb »

#1 | 14:16 29.03.2023 | Кому: Kia256

> А он не писал, как робот должен решать всякие этические задачки с вагончиками, рельсами и привязанными к ним людьми?

Он потом нулевой закон придумал, как раз про это.

amb »

#2 | 19:59 29.03.2023 | Кому: Longint

> Этот нулевой закон как кнопка "сделать пиздато".
> Ну т.е. все его слова понятны по отдельности, ощущение положительной коннотации есть, но вот что именно означает выражение - решительно неясно.

"Робот не может причинить вред человечеству или своим бездействием допустить, чтобы человечеству был причинён вред."
Таки да, не очень конкретно. Для нас. Но Азимов разрабатывал не аналог уголовного кодекса для роботов, а скорее мотивационные критерии, имея в виду, что робот будет им следовать во всех своих действиях. Мозги-то позитронные, быстродействия должно хватать. А вотт про методы обучения нейросетей Азимов ничего не знал, поэтому его роботам приходилось жизненный опыт самим накапливать сотни лет, чтобы отличать вред от пользы.

amb »

#3 | 07:44 30.03.2023 | Кому: Longint

> Так этот закон и пишется ради нас.
> Мы его предмет, который он охраняет.

Предмету не нужно понимать методы применения и реализации.

> Если в законе, написанном ради нас, написано не пойми что "на усмотрение судьи"- "судья" на свое усмотрение может принять любое решение.
> Неконкретность формулировок дает непредсказуемость исхода, т.к. "следовать во всех своих действиях" робот будет непонятно чему.

Очень даже конкретность, но, повторюсь, не для человеков.
Рассмотри аналогию с шахматами: какой-нибудь AlphaZero имеет критерии, что ферзь важнее слона, а слон важнее пешки - полная аналогия законам Азимова. Этого достаточно для работы нейросети. Что у неё там внутри - никто не знает, но это неважно. Важно, что сеть оценивает позиции с учётом заданных критериев и выигрывает партии по нашим правилам.

> На выходе это будет loose cannon и потенциальный гитлер, способный ради общей пользы истребить миллионы, а не то, что мечтаемо.

А что мечтаемо? Сохранить сейчас миллионы и неважно, что потом погибнет вся планета?
На мой взгляд, законам Азимова не хватает "правила осторожности" - робот должен как-то оценивать полноту и адекватность имеющейся информации, жизнь - это не шахматы. Может, даже надо консилиум роботов собирать для решения.

amb »

#4 | 09:53 30.03.2023 | Кому: split

> Не, недостаточно.

Выигрывает же.

> Во-первых, понятие вреда вообще крайне фигово формализуется.

А не надо формализовать, а то возникают вопросы к формализаторам.
В шахматах оценивают позицию. У человеков есть понятие "оценка ситуации", от этого и надо плясать, а не оценивать каждое действие само по себе.
Правда, подозреваю, что плясать будем ещё очень долго.

amb »

#5 | 11:27 30.03.2023 | Кому: split

> А теперь представь шахматы, где фигуры сами определяют свою стоимость, а правила меняются по желанию игроков.

Мнение фигур интересует разве что психотерапевта, правила в этой игре совсем другие.

> Я только что на пальцах обьяснил, как это работает.

Нет, не объяснил. Ты привёл примеры, когда действие оценивается только на одном варианте возможных последствий, это неправильный подход.

> Формализовать понятие должна сама сетка, обобщая тренировочные примеры и балансируя внутренние связи.

Нахера сетке это надо - формализовать? Это для человеков надо, а у неё и так всё работает.

amb »

#6 | 20:24 30.03.2023 | Кому: Longint

> Человек может согласиться не понимать, как именно работают правоохранительные органы, но четкие и однозначные юридические критерии законности - это то, в чем он нуждается.

Никто ж не предлагает роботам нарушать все мыслимые законы во имя абстрактного и невыразимого блага. Наоборот, соблюдение имеющихся законов подразумевается само собой, плюс законы робототехники.

> У шахмат есть формальные правила и конкретная цель, не выраженная в абстракциях пользы/вреда человечкству.

Цель - выиграть партию? Даже такая простая цель не всегда достижима. В случае, если партия условно "бесконечна", целеполагание ещё больше осложняется, многие люди не справляются. Так что, думаю, абстракции пользы/вреда придётся как-то конкретизировать.

> Либо робот заряжен определенной идеологией, дающей предсказуемость в неких вероятностныж рамках, либо это объективно loose cannon.

Какие вероятностные рамки?! У робота всё должно быть однозначно в рамках текущей модели. Вотт методы оценки ситуации вполне можно назвать идеологией, да. И разработчикам этой "идеологии" придётся очень сильно постараться.

> Планета, кстати, и так погибнет.

Я под планетой имел в виду именно человечество, миллиарды жизней в противовес миллионам. Количество тоже имеет значение. Критерии пользы/вреда кстати, тоже должны быть количественные, а не просто хорошо/плохо.

amb »

#7 | 07:22 31.03.2023 | Кому: Longint

> Ибо это знание,..как бы это.., помимо прочего само как фактор должно было бы "включать само себя в себя", что невозможно.

Бесконечность мы тоже пересчитать не можем, но формулы с ней пишем, изучаем. С сингулярностью такая же фигня. Видимо и тут придётся какую-то теорию разрабатывать.

amb »

#8 | 09:51 31.03.2023 | Кому: Longint

> А значит никто и никогда точно не знал, не знает и знать не сможет будущего.

Знать - не сможет. Но людишки планы всякие на будущее строят и даже умудряются их выполнять. Я, собственно, только о том, что роботов придётся этому тоже обучить, иначе ни о каком "интеллекте" и говорить не приходится.

> А значит - любые идеи об истреблении миллионов во имя будущего - это просто идеи об истреблении миллионов.

Невозможно спорить.

Войдите или зарегистрируйтесь чтобы писать комментарии.

Логин
Пароль
	Запомнить