Почему возможности LLM почти безграничны

[Bitman]

Все привыкли к ИИшкам и пользуются ими, хотя продолжаются горячие споры, так ли LLM-ки круты или хайп с ними скорее раздут. Я склоняюсь к тому что пока скорее второе; сам пользуюсь Chatgpt примерно два раза в месяц, чаще не вижу необходимости.
Кажется разработчики LLM-ок сами признают, во-первых что они не понимают как LLM-ки работают, во вторых что LLM-ки это не сильный ИИ (скорее к счастью), и настоящий сильный ИИ должен строиться на других принципах. Но я к этому добавлю, что возможности нынешних LLM-ок можно развивать почти безгранично, если сочетать их с обычными программами, анализирующими текст по понятным алгоритмам. Попробую объяснить о чём речь.
Во-первых, если не ошибаюсь, уже давно разработчики пытаются снабдить LLM-ки вспомогательными подпрограммами, которые детектируют что в данном случае у LLM-ки была галлюцинация, и пишут предупреждающий комментарий. Но эта задача пока не решена.
Вот ещё один подход: есть тестовые версии ИИ, в которых несколько ИИ агентов несколько часов друг с другом спорят по какому-то вопросу. Разработчики смотрят логи этих споров, и иногда видят кринжевые фразы вроде "хм... любопытно". Если не ошибаюсь, сейчас такой ИИ есть у Anthropic (Constitutional AI) и у OpenAI (AI debates), но может меня поправят если чуть спутал. Эта технология выглядит очень круто, но пока недоступна широкой публике.
Вот как мне видится очевидно возможное будущее развитие ИИ. Предположим, мы задали ИИшке вопрос. Вначале другая ИИшка разбивает этот вопрос на несколько под-вопросов, на каждый из которых можно ответить Да или Нет. Эти маленькие вопросы задаются ИИшке и та на них отвечает, далее ответы этой ИИшки анализируются уже не ИИшкой, а обычной программой, которая ищет в тексте слова вроде "да" и "нет". И далее, возможно, на основе этих ответов создаётся ещё один вопрос ИИшке, и так далее.
То что я написал - пока чисто интуитивные предположения, и я не могу пока сформулировать это конкретнее. Но вот ещё пример того, что можно сделать в ближайшее время - сервис для написания стихов. Пока ИИшка не может нормально писать стихи. Но слоги в стихах - вещь легко формализуемая, и не очень сложно написать программу, которая проверяет, насколько корректны рифмы в заданием стихе. Даже на этом форуме, возможно, многие могли бы за разумное время на каком-нибудь Питоне написать такую программу. Так вот можно сделать комбинированный сервис: алгоритм пишет текст, в котором просит ИИшку написать ему стих, далее стих от ИИшки разбирается обычной программой, которая проверяет насколько правильны в нём рифмы, и итерация повторяется до тех пор, пока стих не станет максимально удачным. Это значит, что рано или поздно появятся ИИ сервисы, хорошо умеющие сочинять стихи - и мне это вообще не нравится, потому что тогда мне придётся перестать сочинять стихи (я часто пишу стихи моим девушкам).

[Н. Светлов]

Но я к этому добавлю, что возможности нынешних LLM-ок можно развивать почти безгранично

С одной стороны – да. Предела совершенствованию LLM практически нет, если оставить в стороне чисто термодинамические ограничения. Но это будут улучшения, оцениваемые сопоставительно: «новая LLM работает (почти всегда) лучше старой»; а класс задач, практически не разрешимых для LLM, но разрешимых для человека, всегда будет непустым, и притом по мере прогресса LLM он вряд ли будет сжиматься сколько-нибудь заметным образом. Оптимизм, однако, связан с тем, что в классе задач, потенциально разрешимых для LLM, многие задачи пока ещё не решаются или решаются посредственно. Так что есть куда двигаться, в том числе и тем путём, о котором Вы пишете (по схожему пути ещё где-то в нулевых было создано немало искусственных интеллектов для шахмат, го и т.п., в том числе ориентированных на тренеров – правда, в те времена LLM ещё не было, но было немало других хороших алгоритмов).

Принципиальный ограничитель возможностей LLM – их неспособность проверить свои суждения каким-либо способом, кроме двух: сверить их с уже имеющимися текстами (какому из них верить — вопрос открыт); сверить их с суждениями живого человека по ту сторону экрана.

Ещё один ограничитель – отсутствие функции «мне пришла в голову идея». Между тем местом, откуда идеи приходят в голову, и LMM нет никакой связи: больше того, эту связь самым тщательнейшим образом обрубают, иначе софт, на котором работает LMM, попросту зависнет. Как организовать то, что по сути является сбоями в процессе обработки данных, в генератор идей — пока непонятно. Понятно лишь, что в этом смысле архитектура человеческого мозга отличается от архитектуры машины Тьюринга принципиально. Впрочем, об этом я много раз писал на этом форуме.