ДеГенеративный «интеллект» нескоро заменит настоящих врачей. Как минимум до тех пор, пока его не начнут тренировать на реальных клинических случаях реальные специалисты. А все эти чемпионаты по сдаче ЕГЭ квалификационных экзаменов и прочих тестов - ровным счётом ни о чём. Об этом не только говорят вменяемые спецы, но и пишут. И не абы где, а в[censored] точнее, в одном из журналов семейства «Природа».
В чём проблема? В том, что большие языковые модели (LLM) обучают на читерских материалах. Учебные вопросы, придуманные примеры, далёкие от реальной клинической практики, которая сложнее, чем выбор из 3-5 предложенных вариантов ответов. В итоге когда ИИ-отличников выпускают в поле, они там пасуют перед первой же прокаченной бабкой из поликлиники с коморбидностью и полипрагмазией (причём 3/4 назначений она сама себе сделала по совету друзей и доктора Мясникова из телевизора), помноженными на возрастное когнитивное снижение и десяток раз потерянную медкарту. И такое наблюдается примерно в 95% случаев всех медицинских тестов для ИИ. Лишь 5% моделей обучены на реальных клинических данных.
Почему ИИ отлично проходил тесты? Потому что из материалов, на которых его учили, повыкидывали всякие противоречия и несостыковки, после чего модель отлично угадывала ответы, подстраиваясь под особенности набора, а не демонстрировала нечто вроде клинического мышления.
Достаточно вспомнить прошлогоднюю статью в той же Натуре, где обученный медицинский ИИ и двуногих кожаных мешков попросили поставить диагноз 2,4 тыс пациентам с четырьмя рутинными заболеваниями брюшной полости. Люди справились в 84-86% случаев. Хотелось бы 100, конечно, но ок, сойдёт. А что там у ИИ? А там разброс 13-68%. Далековато до полной замены людей хотя бы на этом этапе диагностики.
Авторы нынешней статьи подчёркивают, что LLM вряд ли будут использоваться как самостоятельные инструменты в обозримом будущем. И чтобы LLM стали хотя бы приемлемым ассистентом, нужно менять подходы к обучению и взаимодействию клинициста с ИИ. Особенно это касается качества материала, на котором модели обучают.
И это я ещё не вспоминаю про судьбу, например, IBM Watson for Drug Discovery . Поинтересуйтесь, очень показательная история. В фарме тоже был период восторженного идиотизма оптимизма, мол, всё, теперь ИИ изобретут лекарства от всего, а нам только денежки собирать останется да за Нобелевками ездить. Облегчить и ускорить самый начальный этап разработки - примерно так выглядят перспективы ИИ на обозримое будущее. Не более того.
Так что рано вешать белый халат на серверную стойку, рано...
Расхождение данных, задач, автоматизированных показателей и "ошибок перевода" (результатов полевых исследований в инструменты диагностики) между текущим статусом кво в ИИ и реальным внедрением приводят к недостаточной или вводящей в заблуждение оценке больших языковых моделей в медицинских контекстах
Алексей Водовозов:
> Ко вчерашнему разговору о LLM
[censored]
”Но они звучали так правдоподобно...
Deloitte вернет австралийскому правительству деньги за отчет, наполненный галлюцинациями об искусственном интеллекте
Консалтинговая фирма без лишнего шума призналась в использовании GPT-4o после того, как в августе были обнаружены поддельные ссылки.”
> Да, там[censored] старая версия ChatGPT - 4o, у пятёрочки и правда получше это дело, особенно по сравнению с дикси и чижиком (простите, опять ChatCPT не тот отчёт подсунул), но перепроверять ссылки, учёных и цитаты там тоже приходится.
> Вот буквально на днях пятёрочка ничтоже сумняшеся придумала цитату за одного российского KOL'а (ключевой лидер мнений, опинюк по-нашему) по одному из препаратов. Что интересно, у автора и правда есть работы именно по этому направлению и даже именно этот препарат пару раз упоминается. Но цитата была приведена как «фрагмент публичного выступления». Которое, конечно же, ChatGPT предоставить не смог, когда ему наступили на хвост и обещали набить наглую рыжую морду. Заявив мне прямо в бесстыжие глаза, что означенный KOL «мог так сказать».
> Генеративный «интеллект» нескоро заменит настоящих врачей. Как минимум до тех пор, пока его не начнут тренировать на реальных клинических случаях реальные специалисты.
Так его давно тренируют. Только это не чатгпт. Он не заменяет врачей, они его используют.
Знакомый врач рассказывал что у нас в городе используют ИИ для диагностики снимков в маммологии на предмет определения всяких новообразований. Говорит что что за последние пару лет гораздо лучше стали выявлять всякое нехорошее.
Так называемый "ии" в медицине стали использовать одними из первых, и очень успешно. Только обыватель при слове ии сразу думает про чатбот, а это лишь одно из миллиона применений этой группы технологий, и придумали чатботы вообще-то не для того чтоб ставить диагнозы и кодить программки, хотя кодить они умеют довольно неплохо, но это всего лишь приятный побочный эффект.
Сколько уже можно говорить, что это никакой не интеллект, а программа, составленная людьми и неспособная выйти за собственные рамки.
И уже те более абсолютно не умеющая мыслить творчески, что для врача вообще обязательная необходимость.
"Искусственный интеллект" - это жаргон, а не определение. Чёткого определения ИИ, насколько я знаю, не существует. Жаргон этот прижился, поскольку то что им называют похоже по некоторым параметрам на "интеллектуальное" поведение. Ничего страшного в этом нет, бывает что и более странные термины входят в обиход.
> "Имитатор Интеллекта", он и есть имитатор. Очередной "мыльный пузырь", который суют куда надо и не надо.
Это просто инструмент, и им тоже надо научиться владеть. в медицине - это явное подспорье, один врач не может знать всего, а по совокупности загруженного - анализы, симптомы, аналогичные случаи - может помочь поставить правильный диагноз и назначить адекватное лечение.
Тем более исключая случаи "у меня плохое настроение, ты мне не нравишься и я тебе направление на необходимые анализы/исследования не дам"
В курсе, что инструмент. Сами пользуем. Но не разделяем чрезмерную восторженность и неуёмное бездумное желание впихнуть его всюду. Порой подменяя этим реальные нужды и дела.
Впрочем, сейчас имитация "заполонила" почти всё и вся.
> Впрочем, сейчас имитация "заполонила" почти всё и вся.
Это маркетинг. Никому не известная до 2022 конторка придумала вирусное приложение, и теперь хочет продать его всем. Но это оказалось не так просто, поскольку конкуренты плодятся со скоростью света. Во всём этом есть положительный момент: это способствует популяризации технологии. Меня, например, именно игра с чатгпт сподвигла разобраться в том, что такое deep learning начиная с основ, и понять чем же это реально может быть полезным. Когда я учился, ещё словей таких не было, а потом я как-то не обращал внимания на прогресс в этой теме, как оказалось - зря. А то что всякое дурачьё плодит мусор с помощью чатботиков, так это побочный эффект доступности технологии. Считаю, что этого не нужно бояться.
> ИИ как программист не катит, как врач - не очень, как режиссёр - уныло, как писатель - школьник графоман, но заменяет депутатов легко ...
В Албании есть министр правительства ИИ :
Как и где искусственный интеллект заменяет людей: ИИ-министр в Албании, ИИ-преподаватель в Гарварде | РБК Life[censored]
> Знакомый врач рассказывал что у нас в городе используют ИИ для диагностики снимков в маммологии на предмет определения всяких новообразований. Говорит что что за последние пару лет гораздо лучше стали выявлять всякое нехорошее.
Каждая эпоха имеет своих луддитов. Кто-то осознал мощнейший потенциал нейронных сетей и во всю применяет в различных областях, до чего только мозг человеческий одумается, а кто-то занимается самовнушением и внушением окружающих о бесполезности нейронных сетей.
Сейчас, сейчас
В чём проблема? В том, что большие языковые модели (LLM) обучают на читерских материалах. Учебные вопросы, придуманные примеры, далёкие от реальной клинической практики, которая сложнее, чем выбор из 3-5 предложенных вариантов ответов. В итоге когда ИИ-отличников выпускают в поле, они там пасуют перед первой же прокаченной бабкой из поликлиники с коморбидностью и полипрагмазией (причём 3/4 назначений она сама себе сделала по совету друзей и доктора Мясникова из телевизора), помноженными на возрастное когнитивное снижение и десяток раз потерянную медкарту. И такое наблюдается примерно в 95% случаев всех медицинских тестов для ИИ. Лишь 5% моделей обучены на реальных клинических данных.
Почему ИИ отлично проходил тесты? Потому что из материалов, на которых его учили, повыкидывали всякие противоречия и несостыковки, после чего модель отлично угадывала ответы, подстраиваясь под особенности набора, а не демонстрировала нечто вроде клинического мышления.
Достаточно вспомнить прошлогоднюю статью в той же Натуре, где обученный медицинский ИИ и двуногих кожаных мешков попросили поставить диагноз 2,4 тыс пациентам с четырьмя рутинными заболеваниями брюшной полости. Люди справились в 84-86% случаев. Хотелось бы 100, конечно, но ок, сойдёт. А что там у ИИ? А там разброс 13-68%. Далековато до полной замены людей хотя бы на этом этапе диагностики.
Авторы нынешней статьи подчёркивают, что LLM вряд ли будут использоваться как самостоятельные инструменты в обозримом будущем. И чтобы LLM стали хотя бы приемлемым ассистентом, нужно менять подходы к обучению и взаимодействию клинициста с ИИ. Особенно это касается качества материала, на котором модели обучают.
И это я ещё не вспоминаю про судьбу, например, IBM Watson for Drug Discovery . Поинтересуйтесь, очень показательная история. В фарме тоже был период восторженного идиотизма оптимизма, мол, всё, теперь ИИ изобретут лекарства от всего, а нам только денежки собирать останется да за Нобелевками ездить. Облегчить и ускорить самый начальный этап разработки - примерно так выглядят перспективы ИИ на обозримое будущее. Не более того.
Так что рано вешать белый халат на серверную стойку, рано...