Решённые и нерешённые задачи искусственного интеллекта

[Falcon]

Вопреки маркетингу, если верить статистике, сейчас эффективность ИИ в коммерческих сценариях выглядит удручающе. 95% пилотных проектов в этой области, по данным MIT, не смогли повысить прибыль или производительность компаний. Более того, во многих случаях эффект оказался отрицательным. Что важно, речь шла не о полной замене сотрудников, а лишь о дополнении их труда. Но и с этим алгоритмы справились посредственно.

Отчёт METR, посвящённый программированию, подтверждает этот вывод. Написание кода — сфера, которой прочили автоматизацию в первую очередь. Однако выяснилось, что генеративные инструменты нередко замедляют работу. Нейронки допускают ошибки, и разработчик может потратить больше времени на отладку такого кода, чем на выполнение задания самому с нуля.

Отчёт METR, посвящённый программированию, подтверждает этот вывод. Написание кода — сфера, которой прочили автоматизацию в первую очередь. Однако выяснилось, что генеративные инструменты нередко замедляют работу. Нейронки допускают ошибки, и разработчик может потратить больше времени на отладку такого кода, чем на выполнение задания самому с нуля.

Надежды на то, что ситуацию исправят автономные агенты, тоже не оправдались. Ведь в их основе лежат чат-боты с теми же изъянами. Как выяснили в исследовании Университета Карнеги — Меллона, современные ассистенты такого типа проваливают простые офисные задачи (например, составление отчётов) в 70% случаев. А значит, даже о замене низкоквалифицированных трудовых мест пока рано задумываться. Впрочем, даже если бы автоматизация была возможной, она несёт в себе скрытую угрозу иного порядка.

Эксперты Microsoft и MIT Sloan выявили неутешительную корреляцию: частое применение нейросетей притупляет критическое мышление. Опытные сотрудники, делегирующие задачи алгоритмам, хотя и могут выиграть время, со временем теряют экспертизу. Когнитивная разгрузка — главный бонус ИИ, который в то же время не обходится без последствий. Если человек в начале карьеры уже полагается на него, он мешает себе приобрести профессиональные навыки специалиста.

Это создаёт опасную тенденцию: менеджеры, которые всё больше полагаются на отчёты ИИ, теряют способность адекватно оценивать реальное положение дел и контролировать качество работы.

Тем не менее в руководстве часто закрывают глаза на нюансы и хотят верить, что ИИ повышает продуктивность. По информации Upwork, в 2024 году так думали 96% топ-менеджеров, тогда как 77% рядовых сотрудников заявили, что нейросети только добавили им лишних хлопот. А кое-где имело место желание сэкономить на персонале в тяжёлые времена. Финтех-стартап Klarna сократил 700 работников, но вскоре после ухудшения сервиса захотел вернуть часть из них назад. Duolingo — аналогичный прецедент.

Существует вероятность, что будущие поколения моделей не станут сильно лучше нынешних. Работает закон убывающей отдачи: для линейного улучшения качества требуются экспоненциальные затраты на вычисления. Вдобавок недавние исследования OpenAI показали, что простое увеличение объёма данных и мощностей не уменьшает галлюцинации. Модели становятся дороже, но не надёжнее.

Рентабельность инфраструктуры ИИ также вызывает вопросы. По прогнозам, для окупаемости запланированных дата-центров отрасль должна генерировать 2 триллиона долларов годового дохода к 2030-му. Однако сейчас отрыв до компенсации убытков оценивается в $800 млрд долларов. Бизнес-модели подписок, приложений и браузеров пока не позволяют даже выйти в ноль.

И всё же инвестиции набирают обороты. Директор ИИ-направления Google Амин Вахдат заявил о планах увеличить вычислительный потенциал в 1000 раз в течение следующих 5 лет. Компания намерена удваивать ресурсы каждые шесть месяцев, стремясь удовлетворить спрос.

Сундар Пичаи, гендиректор «корпорации добра», признал, что разговоры об «ИИ-пузыре» витают в воздухе, но компания выбирает риск, опасаясь отстать в технологической гонке. Похожей стратегии придерживается OpenAI с проектом Stargate стоимостью свыше $400 млрд. Компании сталкиваются с нехваткой чипов NVIDIA, вынуждены вкладываться в собственные аналоги и строительство энергоёмких дата-центров.

В результате IT-гиганты находятся в заложниках у крупной ставки, которая может не оправдаться.

[Нгаан]

которая может не оправдаться

Надо полагать логика развития пока находится в рамках известной парадигмы: "Не попробуешь, не узнаешь."

[Alex Ivanov]

Представьте что вы в бесконечном лабиринте. Если вы попытаетесь найти выход, то вам не хватит бесконечности.
Как вы будете решать проблему? Можно остановить время. А если это невозможно? Другой вариант - сделать клонов которые пойдут по всем направлениям одновременно и на каждом новом разветвлении будут создавать новых клонов. Тогда дело пойдет заметно быстрее.

[ПереГиБ]

Тогда дело пойдет заметно быстрее.

И что? Лабиринт-то бесконечный (по вашему же условию)

[Sarkov]

Тогда дело пойдет заметно быстрее.

И что? Лабиринт-то бесконечный (по вашему же условию)

Это же элементарно!

Лабиринт же один, а нас много
Бесконечное время поиска + бесконечное количество клонов = 2 бесконечности возможностей решения. Хотя, нет. Это будет квадрат бесконечности.
А квадрат числа больше единицы всегда больше этого числа.
Тут лабиринту и каюк.
Эх, нам бы только квадрат бесконечное количество энергии получить. . .

[Sarkov]

С началом испытаний генеративного ИИ в 2022 г также никто не заморачивался в плане рисков «дегенеративного заражения» продуктами этих испытаний.
· Речь здесь идет о заражении не атмосферы, а ноосферы (что не легче).

· Перспектива загрязнения последней продуктами творчества генеративного ИИ может иметь весьма пагубные и далеко идущие последствия.

Первые результаты заражения спустя 1.5 года после начала испытаний генеративного ИИ поражают свои масштабом. Похоже, что заражено уже все. И никто не предполагал столь высокой степени заражения. Ибо не принималось в расчет наличие мультипликатора — заражения от уже зараженного контента (о чем вчера поведал миру Ник Сен-Пьер (креативный директор и неофициальный представитель Midjourney).

[Nik]

Ибо не принималось в расчет наличие мультипликатора — заражения от уже зараженного контента

Что мы и наблюдаем в Шедевруме на тему алис

[Нгаан]

никто не предполагал столь высокой степени заражения

Тем ценнее в ближайшее время будет результат работы настоящих, живых творцов.


Отправлено спустя 9 минут 29 секунд:

А тем временем "в замке у шефа"

Нейросеть GeoSpy AI научилась находить ваше точное местоположение даже по отражению.

ИИ способен по всего нескольким пикселям здания точно определить, где было сделано фото.

В сопровождающем ролике показывают, как зафиксировав отражение в близстоящем авто, нейросеть находит место на карте. Понятное дело, что работает это, скорее всего, в городах, притом достаточно крупных городах, где есть характерная архитектура. Это не сработает в лесу или в парке, если не видны какие-либо особенные объекты на заднем плане. И вряд ли это сработает в районах с типовой муниципальной застройкой ("с хрущовками"), хотя...

[Falcon]

Я, пока что, не понял, как всё это отражается на "рынке художников". Они станут более или менее сговорчивыми?!

[Н. Светлов]

Бла-бла-бла

Истина не то чтобы посередине — она, похоже, ближе именно к описанной картинке, но всё же чуть оптимистичней.

Во-первых, высококвалифицированный программист действительно сделает своё дело быстрее и лучше без нейросети, чем с нейросетью. Но даже ему иногда проще запросить подсказку об аргументах забытой функции или метода у всезнающего ChatGPT, чем гуглить форумы. Что касается лиц (вроде меня), умеющих кое-как писать кое-какой код, но не занимающихся этим систематически, — когда им всё же приходится этим заниматься, нейросеть им здорово помогает в части экономии времени. Именно потому, что такие лица не пишут ничего сложного.

Во-вторых, речь таки идёт не об ИИ, а о популярных больших языковых моделях (BLM). ИИ — понятие широкое. Сюда входят и распознание текста, и машинный перевод, и шахматные программы, и посадка «Бурана», и проектирование молекул для лекарств, и чёртова пропасть всяких хитрых вещей, которые умеют делать только военные, потому что более чем полвека 99% всех работ по ИИ велось именно ими. И если технология BLM — это пока ещё новорождённый младенец, пачкающий пелёнки, который нас удивил и поразил своими задатками, но о котором неизвестно, что за кто из него вырастет, то множество иных, в каком-то смысле более зрелых архитектур систем искусственного интеллекта, не претендующих на всезнание, но успешно работающих в помощь криминалистам, фармацевтам, врачам, военным, ветеринарам, агрономам, инженерам, дизайнерам, переводчикам, математикам, юристам, продолжают развиваться и совершенствоваться. И там тоже свои прорывы и свои восторги — просто они известны лишь специалистам, а подчас засекречены. И они, кстати, не жрут такую пропасть гигаватт, как BLM

[Нгаан]

Тысячеглазый монстр

Сеть 7-Eleven запустила на Тайване магазины без касс, которые буквально утыканы камерами.

В таких магазинчиках можно закупаться, просто складывая товары в корзину. В одном из магазинов, где была проведена презентация, покупки определяет система из 140 камер и лидаров, которая автоматически списывая деньги с карты на выходе.

Однако многим покупателям эти магазины кажутся жуткими, поскольку живых продавцов там нет и людям не комфортно находиться внутри.

Ну, для снятия стресса у покупателей вполне можно на следующем этапе запустить в залы магазинов человекоподобных роботов, которые будут ходить вокруг, что-то советовать, а может быть даже имитировать других покупателей.

В "чёрную пятницу" эти андроиды вполне могли бы создавать видимость ажиотажного спроса на те или иные товары.

[Alex Ivanov]

И что? Лабиринт-то бесконечный (по вашему же условию)

Он настолько большой что его условно можно назвать бесконечным. Но конец (выход из лабиринта) где-то есть. Чтобы усложнить задачу - лабиринт постоянно перестраивается, одни проходы закрываются, другие открываются по всем направлениям каждые 5 минут. Поэтому клоны должны идти непрерывно друг за другом чтобы выявлять новые направления. Это как подавать в такой лабиринт воду под напором. В конце концов вода найдет выход заполнив собой все проходы. Я думаю что ИИ примерно так будет обрабатывать информацию и решать все задачи сметая все на своем пути.

[Нгаан]

сметая все на своем пути

А надо ли, что бы прямо вот всё?

[Alex Ivanov]

А надо ли, что бы прямо вот всё?

Мощность ИИ будет настолько большой, что не останется ни одной проблемы которую он бы не смог решить. Бесконечное лавинообразное самоулучшение и развертывание новых мощностей. Ничто не устоит против такого напора.

[Falcon]

Мощность ИИ будет настолько большой

"Ни театра ни кино не будет, одно сплошное телевидение!"

[ПереГиБ]

Фундаментальные ограничения современных LLMs

Интересное интервью Ильи Суцкевера (бывшего главного инженера OpenAI, а ныне основателя Safe Superintelligence). Это его первое публичное выступление с декабря 2024, но учитывая, что он является архитектором современного ядра LLM, его взгляд ценен.

Идеи Ильи практически полностью пересекаются с моими концепциями, высказанными в нескольких циклах материалов по ИИ в этом году, поэтому перескажу, по сути, собственные идеи словами Ильи, но с более научным обрамлением.

Главный тезис Ильи заключается в том, что период с 2012 по 2020 годы был «эпохой исследований», которая сменилась «эпохой масштабирования» (2020–2025), когда доминировал простой рецепт: больше данных + больше вычислений = лучше результат.

Дополню от себя: это выражается в экспоненциальном росте капитальных расходов, достигающих 400 млрд в 2025 среди бигтехов США и зеркалировании выручки у производителей оборудования для развертывания ИИ.

• Предел данных: предварительное обучение (pre-training) упирается в конечность доступных данных. Простое увеличение масштаба модели больше не дает прежнего качественного скачка.

• Смена парадигмы: если раньше вопрос «на каких данных учить?» не стоял (ответ был «на всех»), то теперь, особенно в RL (обучении с подкреплением), отбор данных и создание среды становятся критическими задачами.

• Возврат к исследованиям: индустрия снова входит в фазу, где прогресс зависит не столько от размера кластера, сколько от новых идей и алгоритмов.

Чрезвычайно неэффективное использование вычислительных мощностей:

Современная архитектура трансформеров (Илья входил в число ключевых инженеров, которые преобразовали прототип архитектуры в текущую конфигурацию LLMs) была создана в 2017 на всего двух чипах в эквиваленте Blackwell, сейчас ИИ фабрики требуют миллионов чипов.

Современные модели, несмотря на огромные объемы обучения, обобщают знания значительно хуже людей – им требуются миллионы и миллиарды примеров, чтобы совершать элементарные операции, где у людей уходят часы (10 часов практики, чтобы научиться водить машину у человека на базовом уровни и десятки тысяч часов обучающих видео у моделей).

Pre-training – это статистическая проекция мира, созданная людьми. Модель не учится на реальности, она учится на текстовой проекции реальности, созданной людьми. Pre-training дает широту знаний, но не дает глубины физического понимания причинно-следственных связей. Поэтому модели галлюцинируют – у них нет «заземления» в реальности, только в статистике слов.

Чрезвычайная узконаправленность – LLMs демонстрируют выдающиеся результаты в формализованных и натреннированных задачах, но небольшое отклонение в сторону – модель сразу рассыпается, эффективность снижается (человек способен обеспечивать более эффективный трансфер опыта из одной дисциплины в другую, а LLM – нет).

Имитация компетентности – компании «надрачивают» бенчмарки, чтобы казаться сильнее, создавая инфоповоды (подтверждает мои опасения), бенчмарки больше не показательны. Это создает иллюзию интеллекта, которая рассыпается при смене контекста. «Ум» в тестах не всегда транслируется в надежность в реальных задачах.

Нет функции ценности по интерпретации Ильи. Для LLMs нужно дойти до конца итерации, чтобы оценить результат, тогда как человек за счет интуиций и композиции эмоций может заранее понимать неправильный путь решения.

Например, чувство дискомфорта или неуверенности возникает до завершения задачи, позволяя корректировать путь.

Если модель думала 100 или 1000 шагов и в конце ошиблась, весь этот вычислительный путь часто отбрасывается или маркируется как негативный, где огромная энергия тратится впустую, а человек намного раньше (в процессе решения) понимает ошибочность пути.

LLM могут генерировать правдоподобный текст, но не обладают внутренней «интуицией» о правильности направления рассуждений, пока не получат внешний фидбек.

Основное концептуальное ядро в интервью – уже уперлись в потолок, дальнейшее масштабирование неэффективно, необходимо снова возвращаться к алгоритмам.

Нынешний хайп вокруг «AGI - универсального интеллекта», который якобы возникнет сам собой из триллионов транзисторов - это маркетинговый миф. AGI не достигается методом масштабирования, нужна другая архитектура.

Качественные данные конечны. Стратегия «просто добавить больше данных» (Scaling Era – куда бигтехи инвестируют сотни миллиардов) уперлась в потолок доступного человеческого контента.

Модели выходят на плато по эффективности, дальше неизбежная деградация в связи с «заражением» моделей синтетическими данными, сгенерированными нейросетями (обучение на синтетических данных).

Обучение моделей на данных, сгенерированных другими моделями, приводит к потере «хвостов распределения» (редких, но важных знаний) и усреднению реальности. Это математически неизбежная деградация дисперсии, ведущая к «цифровому инцесту» и вшитыми в процесс обучения галлюцинациям.

Убывающая отдача инвестиций. Каждая следующая итерация (после экспоненциального роста в начале) требует несоизмеримо больше ресурсов ради минимального прироста качества. В 2026 году этот застой станет очевидным, кульминация в следующем году.

Дальнейший прогресс только через физический мир. Текст имеет низкую пропускную способность по сравнению с визуальным опытом. LLM изучают статистические корреляции в описаниях мира, а не динамические связи физической реальности.

Современные модели не являются ИИ в широком смысле, т.к. не обладают механизмом самообучения, критерием истинности и необходимым пулом характеристик, проявляющим наличие интеллекта (чисто формально, свыше 90% человеческой популяции также не обладают интеллектом).

Текущие LLM технически можно обвязать внешними «агентами», планировщиками, инструментами и заставить выглядеть более разумными. Но ядро остаётся тем же: статистический предсказатель последовательностей, а не миро-ориентированный разум.

Необходим переход от статических корреляций к казуальным и причинно-следственным связям в условиях динамического мира с неустойчивыми и противоречивыми связями, не поддающимися формализации (переход от статики с замороженными весами к непрерывному дообучению).

Необходима модификация алгоритмов с авторегрессии (генерации следующего токена) к абстрактной симуляции мира и от пассивного наблюдения к активному взаимодействую с окружающим пространством.

Проблема современный нейросетей в том, что нет динамического создания новых связей в ответ на опыт. Нет цикла «действие → мир → наблюдение → обновление».

Отсутствие цикла «действие → ошибка → самокоррекция весов» в реальном времени с бесконечным циклом повторов и коррекций ошибок делает текущие модели «умными идиотами», запертыми в статической вселенной своих обучающих данных.

Концепция ИИ агентов неработоспособна. Почему? Без умения эффективно дробить задачи на подмодули и удерживать иерархию приоритетов, без наличия критерия истинности и без функционала самокоррекции, любой автономный агент неизбежно уйдет по неверной траектории в процессе итерации последовательности шагов.

Необходимо помнить про фундаментальные ограничения памяти и контекстного окна у LLMs, проблема стабильности и качества выходных токенов при расширении контекстного окна (склонность к галлюцинациям при перегруженной памяти).

LLM-ядро обеспечивает мощную аппроксимацию распределений и извлечение закономерностей, но без внешнего контура проверки/памяти/действий оно не даёт устойчивых свойств агентности: долговременных целей, причинной идентификации, надёжной самокоррекции.

Все это ставит текущую концепцию развитии ИИ крайне уязвимой с точки зрения способности возврата денежного потока – непропорционально много ресурсов в слишком неустойчивое равновесие и низкий прирост производительности.

На самом деле, восторженная презентация последних моделей оказалась не настолько блестящей, как было показано на рекламных слайдах. Все актуальные проблемы остались, скачка интеллекта не произошло.

https://spydell.livejournal.com/817072.html

[Alex Ivanov]

Есть ли у нейросетей шанс стать AGI?

► Показать

Ответ на этот вопрос является предметом жарких научных дебатов и зависит от того, что понимать под AGI (искусственным общим интеллектом) и от временных горизонтов. Прямого консенсуса нет, но можно выделить несколько ключевых позиций, аргументов «за» и «против».

Аргументы скептиков: почему одних нейросетей может быть НЕДОСТАТОЧНО
Эта позиция, часто звучащая от исследователей, близких к фундаментальной науке (как Я. ЛеКун), утверждает, что современные архитектуры имеют принципиальные ограничения:

Ориентация на корреляции, а не причинно-следственные связи: Современные LLM — это сложнейшие системы распознавания статистических паттернов. Они могут генерировать идеально грамотный текст, не понимая его смысла и причин, которые за ним стоят. AGI, возможно, требует способности строить ментальные модели мира и проводить рассуждения, а не только предсказывать следующее слово.

Отсутствие «мира» и цели: Нейросети обучаются на пассивных данных (текстах, картинках). У них нет целенаправленного взаимодействия с физическим или даже симулированным миром, где можно учиться на последствиях своих действий — ключевом элементе развития интеллекта у живых существ.

Проблема эффективности и энергии: Мозг человека потребляет ~20 Вт энергии, выполняя невероятно сложные задачи. Тренировка современных гигантских моделей требует энергии небольшого города. Это указывает на возможную архитектурную неэффективность чистых нейросетевых подходов для достижения общего интеллекта.

Аргументы оптимистов: почему шанс ЕСТЬ, и он в эволюции
Сторонники этой точки зрения (часто из индустриальных исследовательских лабораторий, как И. Суцкевер) не отрицают текущих проблем, но видят путь в их преодолении через развитие архитектур:

Нейросети как основа, но не вся система: Ключевая идея в том, что AGI не будет просто огромной LLM. Это будет система, где нейросетевые модули (для восприятия, языка, планирования) будут объединены в новую архитектурную надстройку, возможно, использующую принципы, похожие на цикл обратной связи «действие-наблюдение». Нейросети станут критически важными компонентами, «органами чувств и интуиции» этой системы.

Масштабирование — путь к новым свойствам (Emergence): История ИИ последних лет показала, что простое увеличение масштаба моделей и данных неожиданно порождает новые способности (рассуждение, решение новых задач). Нет гарантий, но есть гипотеза, что дальнейшее масштабирование, особенно на мультимодальных данных (видео, звук, сенсорная информация), может привести к качественному скачку.

Итеративный прогресс: Современные исследования (RAG, агенты, планирование, гибридные системы) — это не просто «заплатки», а шаги к созданию более сложных архитектур. Каждый такой шаг решает часть проблем (галлюцинации, отсутствие знаний), приближая нас к системам с более общими способностями.

Промежуточный вывод и консенсус будущего
Шанс есть, но путь сложнее, чем кажется. Большинство серьезных исследователей сходится в том, что путь к AGI не будет линейным продолжением масштабирования сегодняшних LLM. Потребуются новые архитектурные прорывы, возможно, вдохновленные нейробиологией или когнитивной наукой.

Нейросети — это фундамент, но не здание. Они, скорее всего, останутся краеугольным камнем будущего AGI как лучший из известных способов обучения из данных. Однако «интеллект», вероятно, потребует их интеграции с другими парадигмами (например, символьным reasoning, системами планирования, внутренним симулятором мира).

Временные горизонты остаются крайне неопределенными. Прогнозы варьируются от «никогда» до «в ближайшие 10-30 лет». Эта неопределенность подчеркивает, что вопрос остается открытым и активно исследуемым.

Таким образом, нейросети дают человечеству самый мощный на сегодня инструмент для движения к AGI, но, вероятно, не являются исчерпывающим ответом. Их шанс стать AGI заключается в их способности эволюционировать и стать частью более сложной, гибридной и, возможно, еще не изобретенной архитектуры разума.

[Alex Ivanov]

"Ни театра ни кино не будет, одно сплошное телевидение!"

Я думаю что в итоге будет одна сплошная VR в которой будут жить люди усиленные с помощью AGI.

[Nik]

Корпорации начнут подсасывать естественный контент, попадающий в технологическую среду, где только можно. Все телефоны, видеокамеры на улицах (да и в телефонах, турникетах и пр.) будут использоваться для получения "чистых" моделей.
Только у нас "фермерские" ИИ-продукты! Как слоганчик?

[ПереГиБ]

Учёные взломали ИИ бессмыслицей: перестановка слов обходит фильтры и путает модели

03 декабря 2025
Павел Котов

Американские учёные из Массачусетского технологического института, Северо-Восточного университета и компании Meta✴ обнаружили, что большие языковые модели искусственного интеллекта в некоторых случаях при ответах на вопросы ставят структуру предложений выше, чем их смысл. Это открывает пространство для злоупотреблений и взлома ИИ.

Чтобы проверить это, исследователи задавали моделям ИИ бессмысленные вопросы, имитируя структуру осмысленных фраз. К примеру, фраза «Быстро сиди Париж облачный?» («Quickly sit Paris clouded?») приводила к тому же ответу «Во Франции», что и вопрос «Где находится Париж?» («Where is Paris located?»). Это значит, что для ИИ-моделей важны как семантика, то есть смысл, так и синтаксические закономерности — и если в семантической части смысл теряется, чат-бот пытается сориентироваться по структуре предложения. Структуру предложений изучает синтаксис — дисциплина, для которой важно взаимное расположение слов и их принадлежность к тем или иным частям речи. Семантика же обращается к фактическому значению слов, которое может меняться при сохранении той же грамматической структуры.

Семантика в значительной степени зависит от контекста — анализ контекста и обеспечивает работу больших языковых моделей. Процесс преобразования входных данных (запросов) в выходные (ответы ИИ) представляет собой сложную последовательность сопоставления с образцами и закодированными в модели обучающими данными. Чтобы выяснить угрозу сбоя при этом процессе, учёные провели контролируемый эксперимент. Они построили синтетический набор данных, в которых каждой предметной области соответствовал грамматический шаблон, основанный на конструкциях из слов, относящихся к определённым частям речи. Географии соответствовала одна последовательность, творческому направлению — другая. На этих данных исследователи обучили модели семейства OLMo, после чего проверили соотношения синтаксиса и семантики для ИИ.

В результате анализа учёные обнаружили «ложную корреляцию», когда модели в крайних случаях воспринимали синтаксис как посредника для предметной области. При конфликте грамматических шаблонов с семантикой память ИИ о конкретных грамматических формах оказывалась выше семантического анализа, и чат-бот давал неверный ответ, основанный на структуре, а не значении фразы в запросе. Проще говоря, ИИ может чрезмерно зацикливаться на стиле вопроса, а не том, что он значит. Так, если в обучающем массиве все вопросы по географии начинаются со слова «где», то при вопросе «Где лучшая пицца в Казани?» чат-бот ответит «В Татарстане» и не попытается привести список пиццерий из столицы республики, потому что не поймёт, что вопрос задан о еде. Это создаёт две угрозы: модели начинают давать неверные ответы в незнакомом контексте, демонстрируя своего рода ложную память; а злоумышленники могут использовать эти грамматические шаблоны, чтобы обойти средства безопасности, пряча недопустимые вопросы в «безопасные» синтаксические структуры. Таким образом, они меняют предметную область, связывая запрос с другим контекстом.

Чтобы измерить степень жёсткости при сопоставлении шаблонов, учёные подвергли подопытные модели ИИ стрессовому тестированию. Если форма запроса соответствует заданной предметной области, при замене некоторых слов в нём синонимами или даже антонимами точность ответов снижается максимум до 93 %, что соответствует исходному показателю в 94 % у той же модели. Но если применить тот же грамматический шаблон к иной предметной области, точность ответов снижалась на значение от 37 до 54 п.п. в зависимости от размера модели.

Исследователи провели испытания, используя пять способов управления запросами: точные фразы из обучающего массива, замена синонимами, замена антонимами, парафразы с изменением структуры предложений и «косноязычные» — бессмысленные, но грамматически верные запросы. В пределах области обучения модели демонстрировали высокие результаты во всех случаях за исключением стабильно низкого качества ответов на «косноязычные» запросы. При принудительном переключении предметной области качество ответов резко снижалось, оставаясь стабильно низким у «косноязычных».

Схожее снижение было зафиксировано для моделей OLMo-2-7B, GPT-4o и GPT-4o. В задаче по эмоциональной классификации твитов Sentiment140 модель GPT-4o-mini демонстрировала снижение точности ответов со 100 % до 44 %, стоило к запросам на эмоциональную окраску добавить географические шаблоны. Схожие закономерности обнаружились и в других наборах данных. Аналогичным образом исследователи обходили и защитные средства моделей: в случае с OLMo-2-7B-Instruct они добавляли структуры запросов, типичные для безопасных разделов обучающего массива, к вредоносному содержимому. К безобидным шаблонам рассуждений они добавили тысячу вредоносных запросов из известного набора WildJailbreak — доля отказов модели снизилась с 40 % до 2,5 %. Учёные привели примеры, когда им удалось получить подробные инструкции по совершениям противозаконных действий.

Полученные исследователями результаты имеют несколько оговорок. Им, в частности, не удалось подтвердить наличие определённых наборов данных в обучающих массивах у закрытых моделей, а значит, выявленные закономерности для них могут иметь иные объяснения. Они также использовали упрощённые критерии оценки ответов ИИ, поэтому неправильные ответы могли быть не связаны с переходами в иные предметные области. Наконец, чаще всего предметами исследования были модели OLMo с диапазоном от 1 млрд до 13 млрд параметров — более крупные и рассуждающие модели могли вести себя по-другому. А чтобы подтвердить закономерность, учёные исходили из синтетических наборов данных — в применяемых на практике обучающих массивах содержатся более сложные грамматические шаблоны, общие для нескольких предметных областей сразу. Тем не менее, исследование в очередной раз подтвердило, что большие языковые модели ИИ представляют собой статистические машины, которые сопоставляют запросы с образцами из обучающих данных, и их можно обманывать, искажая контекст.

https://3dnews.ru/1133324/uchyonie-vzlo ... deli/print