Илон Маск и эксперты потребовали запретить обучать нейросети

> Что помешает мыслящему и саморазвивающемуся ИИ - забить на эти законы?

То же, напр., что помешает человеку забить на необходимость дышать.

Другой вопрос - как эти законы однозначно сформулировать так, чтобы их нельзя было обойти. Ибо в приведенном виде они неоднозначны, т.к. не определено, что такое вред, как устанавливается факт его наличия, как устанавливается причинно следственная связь действий робота с таким фактом.

> попытке обойти эти инстинкты

Для этого надо определить, что такое попытка их обойти и определить, как установить ее факт.

> Для нас.

Так этот закон и пишется ради нас.

Мы его предмет, который он охраняет.

Если в законе, написанном ради нас, написано не пойми что "на усмотрение судьи"- "судья" на свое усмотрение может принять любое решение.

Неконкретность формулировок дает непредсказуемость исхода, т.к. "следовать во всех своих действиях" робот будет непонятно чему.

На выходе это будет loose cannon и потенциальный гитлер, способный ради общей пользы истребить миллионы, а не то, что мечтаемо.

> Предмету не нужно понимать методы применения и реализации.

Методы нет, критерии да.

Человек может согласиться не понимать, как именно работают правоохранительные органы, но четкие и однозначные юридические критерии законности - это то, в чем он нуждается.

> Очень даже конкретность,

Никакой конкре ности там нет.

> шахматами

У шахмат есть формальные правила и конкретная цель, не выраженная в абстракциях пользы/вреда человечкству.

> Сохранить сейчас миллионы и неважно, что потом погибнет вся планета?

Важно то, что задает конкретная идеология смыслом жизни и высшими ценностями.

Нет никой пользы и вреда вне определенной идеологии.

Не бывает абстракций для качественной оценки вне контекста определенной идеологии. Любая из них явно или неявно, прямо или косвенно, но всегда опирается на определенную идеологию.

Либо робот заряжен определенной идеологией, дающей предсказуемость в неких вероятностныж рамках, либо это объективно loose cannon.

Планета, кстати, и так погибнет.
А выживание человеков это то, что импонирует главнее, нежели планета как таковая, взятая отдельно сама по себе.
Но это мне. Ты же - имеешь полное право воспеть камень, лед и плазму в противовес человекам и себе самому в т.ч.

> Бесконечность мы тоже пересчитать не можем, но формулы с ней пишем, изучаем

Я, видимо, непонятно объяснил.

Речь не о возможности самого оперирования неким "бесконечным" понятием.

Речь о том, что человек имеет принципиально неустранимые ограничения уже даже в самопознании, не только в познании судьб миллиардов.

И не только человек.

Ибо информационная система не может включать в себя исчерпывающую информацию даже о себе самой, не только о чем то большем, во что входит она сама.

А значит никто и никогда точно не знал, не знает и знать не сможет будущего.
А значит - любые идеи об истреблении миллионов во имя будущего - это просто идеи об истреблении миллионов.