Илон Маск и эксперты потребовали запретить обучать нейросети

> А теперь представь шахматы, где фигуры сами определяют свою стоимость, а правила меняются по желанию игроков.

Мнение фигур интересует разве что психотерапевта, правила в этой игре совсем другие.

> Я только что на пальцах обьяснил, как это работает.

Нет, не объяснил. Ты привёл примеры, когда действие оценивается только на одном варианте возможных последствий, это неправильный подход.

> Формализовать понятие должна сама сетка, обобщая тренировочные примеры и балансируя внутренние связи.

Нахера сетке это надо - формализовать? Это для человеков надо, а у неё и так всё работает.

> Юдковский написал для таймс

Юдковского порой заносит, хотя может в главном он и прав.

> Предмету не нужно понимать методы применения и реализации.

Методы нет, критерии да.

Человек может согласиться не понимать, как именно работают правоохранительные органы, но четкие и однозначные юридические критерии законности - это то, в чем он нуждается.

> Очень даже конкретность,

Никакой конкре ности там нет.

> шахматами

У шахмат есть формальные правила и конкретная цель, не выраженная в абстракциях пользы/вреда человечкству.

> Сохранить сейчас миллионы и неважно, что потом погибнет вся планета?

Важно то, что задает конкретная идеология смыслом жизни и высшими ценностями.

Нет никой пользы и вреда вне определенной идеологии.

Не бывает абстракций для качественной оценки вне контекста определенной идеологии. Любая из них явно или неявно, прямо или косвенно, но всегда опирается на определенную идеологию.

Либо робот заряжен определенной идеологией, дающей предсказуемость в неких вероятностныж рамках, либо это объективно loose cannon.

Планета, кстати, и так погибнет.
А выживание человеков это то, что импонирует главнее, нежели планета как таковая, взятая отдельно сама по себе.
Но это мне. Ты же - имеешь полное право воспеть камень, лед и плазму в противовес человекам и себе самому в т.ч.

> Никто ж не предлагает роботам нарушать все мыслимые законы во имя абстрактного и невыразимого блага. Наоборот, соблюдение имеющихся законов подразумевается само собой, плюс законы робототехники.

Т.к. законы робототехники ни о чем конкретном, т.о. они в т.ч. и о том, что роботы могут нарушать любые твои или мои представления о благе ради собственных представлений об абстракциях.

> Так что, думаю, абстракции пользы/вреда придётся как-то конкретизировать

Так я о том и говорю, что либо придется, либо без конкретизации эти абстракции никого не защищают .

> У робота всё должно быть однозначно в рамках текущей модели.

В идеале да.

Но как минимум рамки должны быть.

И их зпдает идеология.

> Вотт методы оценки ситуации вполне можно назвать идеологией, да.

Именно.

> Я под планетой имел в виду именно человечество, миллиарды жизней в противовес миллионам

Весь цимес тут в том, что никто и никогда однозначно не знал, не знает и не узнает, что на самом деле способствует выживанию миллиардов и в каком именно виде выживанию, и хорошо ли то или иное выживание в том или ином виде.
Никто и никогда.
Ибо это знание,..как бы это.., помимо прочего само как фактор должно было бы "включать само себя в себя", что невозможно.

Поэтому любые чьи то рассказы за пожертвовать миллионами - это рассказы про его желание истребить миллионы и только.

> Бесконечность мы тоже пересчитать не можем, но формулы с ней пишем, изучаем

Я, видимо, непонятно объяснил.

Речь не о возможности самого оперирования неким "бесконечным" понятием.

Речь о том, что человек имеет принципиально неустранимые ограничения уже даже в самопознании, не только в познании судьб миллиардов.

И не только человек.

Ибо информационная система не может включать в себя исчерпывающую информацию даже о себе самой, не только о чем то большем, во что входит она сама.

А значит никто и никогда точно не знал, не знает и знать не сможет будущего.
А значит - любые идеи об истреблении миллионов во имя будущего - это просто идеи об истреблении миллионов.