Откуда есть пошла ChatGPT и как она работает

habr.com#научпоп
Новости, Наука | poruchik 20:22 12.03.2023
20 комментариев | 67 за, 1 против |
#1 | 20:30 12.03.2023 | Кому: Всем
>Вот ребята из OpenAI и решили поступить остроумно: они пошли на самый популярный англоязычный онлайн‑форум Reddit и тупо выкачали все гиперссылки из всех сообщений, имевших более трех лайков (я сейчас не шучу — научный подход, ну!).

Не тот ресурс они выбрали для обучения, ох, не тот..
#2 | 20:35 12.03.2023 | Кому: Всем
А что ещё мог выбрать[censored]
#3 | 20:47 12.03.2023 | Кому: Всем
[censored]

Ничего не понятно, но очень интересно.
#4 | 20:55 12.03.2023 | Кому: Всем
Ему однажды скормят всю базу твитера инстаграмма вконтактика и других социалочек.

И уже никто не раскусит этот искусственный мозг.
#5 | 21:09 12.03.2023 | Кому: Всем
Жаль Ботвинник не дожил до всех этих штук.
#6 | 21:30 12.03.2023 | Кому: K_G_Belov
> Жаль Ботвинник не дожил до всех этих штук.

В шахматах в силу ограниченности доски и числа фигур нейросети не нужны. Достаточно просто иметь математическую модель, которая будет оценивать позицию с точки зрения её выгодности для игрока и мощное железо, которое будет быстро просчитывать ходы.
#7 | 21:37 12.03.2023 | Кому: Dliv227
Любопытно, пробовал ли кто накормить нейросеть записями партий? Понятно, что числодробилка здесь сильна, но нейросеть была бы быстрее.
#8 | 23:01 12.03.2023 | Кому: Dliv227
> В шахматах в силу ограниченности доски и числа фигур нейросети не нужны. Достаточно просто иметь математическую модель, которая будет оценивать позицию с точки зрения её выгодности для игрока и мощное железо, которое будет быстро просчитывать ходы.

Когда я был студентом, в 199х, нам завезли в чернильницу много IBM286. Все студенты забили болт на всякие курсы, и кинулись рисовать фракталы, переводить игры и т.д В том числе команда красноглазых сделала шахматы, тупой рекурсией, на паскале, чисто ради развлечения. Програмка работала супер, и оставила в обидках некоторых шахмотистов. Ну а сейчас возможности совсем другие. Я бы не стал играть на деньги против ИИ.
#9 | 00:06 13.03.2023 | Кому: yvv1
> Я бы не стал играть на деньги против ИИ.

Поставь ему задачу проиграть тебе.)
#10 | 00:10 13.03.2023 | Кому: poruchik
> Любопытно, пробовал ли кто накормить нейросеть записями партий?

А как ещё, по твоему, её первоначально обучать?

Это уже после первоначального обучения можно нейронку посадить играть против самой себя.
#11 | 01:57 13.03.2023 | Кому: Dliv227
Михаил Моисеевич это понимал. Он мечтал создать именно думающую программу, а не гигантский калькулятор.
#12 | 03:39 13.03.2023 | Кому: poruchik
> Любопытно, пробовал ли кто накормить нейросеть записями партий?

Посмотри на Ютубе про АльфаЗиро от Гугла. Она училась играть сама с собой, зная только правила. В итоге разнесла Стокфиш, который обучался как раз на партиях людей.
#13 | 04:03 13.03.2023 | Кому: poruchik
Пробовали, какое-то подразделение Google в конце 2017 представило нейросеть AlphaZero. Журналисты писали, что её обучали игре шахматам всего 4 часа, но скорее всего, эти журналисты были изнасилованы.
В 2018 был матч между AlphaZero и программой Stockfish 8 (обычная программа для игры в шахматы). AlphaZero уверенно забрал матч из 1000 партий (+155; -6; =839). Но некоторым не понравились ограничения наложенные на Stockfish 8: играли без дебютной базы, ограничение времени на ход, не самая свежая версия stockfish и т.д.

После матча многим гроссмейстерам хотелось поиграться с AlphaZero, но Google сказал, что никому не даст.

P.S.
В некоторых выигранных партиях AlphaZero играл невероятно красиво, люди так не умеют, да и Stockfish, по-моему, тоже )
#14 | 05:31 13.03.2023 | Кому: Дим Димский
> Не тот ресурс они выбрали для обучения, ох, не тот..

чойта не тот. Наоборот - годами демонстрирующий свою эффективность механизм обучения биологических нейросетей на написание ожидаемых от них сообщений путем применения системы лайков и дизлайков. Максимально точная реализация принципов обучения АИ, только вместо АИ там - человеки.
#15 | 05:45 13.03.2023 | Кому: split
Да, есть у человеков такая уязвимость.
#16 | 06:14 13.03.2023 | Кому: yvv1
> Ничего не понятно, но очень интересно.

в принципе мало чем отличается от моего способа обучения в институте

я тоже старался предсказывать и генерил странные тексты на основе запросов из головы
#17 | 21:23 13.03.2023 | Кому: Enigma
> Ему однажды скормят всю базу твитера инстаграмма вконтактика и других социалочек.

Прям сегодня с ним общался (рекомендую, интереснейшая загогулина). Так вот, по его же собственному заявлению ону уже имеет доступ к любой ссылке свободного доступа и обрабатывает ее в мер своих немалых сил (по-сути любой запрос пользователя - есть инициация обработки в той или иной степени, какого либо фрагмента мировой паутины. Проверил на собственной писанине в открытом доступе - он плохо различает недискретные массивы информации, например не может отделить художественный текст от ссылок-переходов на той же странице, но если задать ему границы "читай с по" - справляется с "осмыслением" художественного текста и способен давать близкие к истинным моральные оценки личностей персонажей
#18 | 13:29 14.03.2023 | Кому: TPEHEP
> но если задать ему границы "читай с по" - справляется с "осмыслением" художественного текста и способен давать

Читай "с по" - ты скормил ChatGPT конкретный URL и в качестве "с" и "по" указал что именно - номера абзацев, строк..?
#19 | 14:41 14.03.2023 | Кому: Dliv227
> Читай "с по" - ты скормил ChatGPT конкретный URL и в качестве "с" и "по" указал что именно - номера абзацев, строк..?

Дал урл и указал первые два слова и последние четыре с которых по которые читать (первые были "Часть первая", последний - уникальная фраза более по тексту невстречаемая)
#20 | 22:48 14.03.2023 | Кому: SHOEI
> в принципе мало чем отличается от моего способа обучения в институте
> я тоже старался предсказывать и генерил странные тексты на основе запросов из головы

[плачет]

Тоже знакомо.

Когда то в школе написал сочинение по Войне и Миру не прочитав ни страницы оттуда, просто повернулся к однокласснице, спросил "а это ваще о чем?", получил ответ одним предложением, нагенерил сочинение страницы на три, получил 4. )

Никогда б не подумал, что ИИ будет использовать некую такую же методику)
Войдите или зарегистрируйтесь чтобы писать комментарии.