Илон Маск и эксперты потребовали запретить обучать нейросети

> Рассмотри аналогию с шахматами: какой-нибудь AlphaZero имеет критерии, что ферзь важнее слона, а слон важнее пешки - полная аналогия законам Азимова. Этого достаточно для работы нейросети.

Не, недостаточно. Во-первых, понятие вреда вообще крайне фигово формализуется. Учить сетку ты будешь, скармливая ей некие ограниченные наборы примеров, которые она обобщит, сделает выводы, и на основании этих выводов будет принимать решения. Контролировать правильность принятия решений можно опять же скармливая ей контрольные примеры - тоже, как ни странно, ограниченный набор. А главный смысл применения нейросетки состоит в том, чтобы научить ее действовать в нетиповых ситуациях, не представленных в примерах, и вот чего оно там нарешает - далеко не всегда можно предсказать. Более-менее хорошо имеющиеся сетки работают на узких задачах, где есть хорошо документированные условия и большое количество готовых решений, на которых ее можно учить.

Во-вторых, формула "допустить причинение вреда" - это вообще писец. Оно настолько мутное, что допускает вообще все что угодно. Например, сделать вывод, что половое общение с женщинами ведет к причинению вреда (историй в ентих ваших енторнетах миллионы), и на всякий случай тебя кастрировать. Ну а чо б и нет, если вред от медицинской процедуры будет оценен ниже, чем, скажем, возможное убийство в целях получения страховки. Ну или банально закрыть тебя под замок, потому что ты играешь в футбол, а футбол очень травмоопасен. И еще миллиарды вариантов.

Все эти законы в существующей формулировке просто не работают. Работать может только ручная балансировка системы хардкодед ограничений, и все равно будет глючить.

> Нахера сетке это надо - формализовать? Это для человеков надо, а у неё и так всё работает.

А деньги берутся из тумбочки. Вопросов больше не имею.