Решённые и нерешённые задачи искусственного интеллекта

[skor]

Ну так разве больше шагов не потребуют больше энергии, то есть она расходуется на пользу дела? Я не понял предложения - "Куда девается дополнительная энергия".

Да, потребуется.

Когда Мотылёк спрашивал "на какой физический процесс будет расходоваться дополнительная энергия", он, я думаю, хотел понять, почему энергия, необходимая для выполнения одного шага, зависит от размера задачи.

[Н. Светлов]

Вставлю свои пять копеек. Я склонен подходить к этому вопросу философски. Не берусь судить о том, на каких архитектурных принципах построено обучение нейросети человеческого мозга, но характерно, что в процессе его обучения не требуется ни жидкостное охлаждение, ни даже кулер. Могут возразить, что кровь — это как раз жидкостное охлаждение, а роль кулера выполняют лёгкие — я соглашусь; но по этим каналам отводится куда меньше тепла, чем, скажем, от простенького такого вычислительного устройства с 512 физическими вычислительными ядрами.

По этой причине я оптимистично смотрю на возможности резкого снижения энергоёмкости задач вроде отыскания глобальных экстремумов невыпуклых задач (в числе которых, например, обучение современных нейросетей методом обратного распространения ошибки и многие задачи конструирования). Но как этого добиться — сегодня не знает никто. Зато все понимают, что это физически возможно. Имеющийся пробел в знаниях напоминает человеческой цивилизации, что ей всего лишь пять тысяч лет. Предлагаю вернуться к этому вопросу по прошествии пяти миллионов. Может быть, к тому времени десятая часть пути к этому идеалу уже будет пройдена

[Нгаан]

... в процессе его обучения не требуется ни жидкостное охлаждение, ни даже кулер ...

Катастрофически не согласен! Человек учится медленно, но притом пьёт жидкостей всяких за время обучения весьма много.

К тому же некоторые при размышлении ещё и башку в воду макают, а другие так до самых лютых морозов без шапки ходят.

[solvisor]

что в процессе его обучения не требуется ни жидкостное охлаждение, ни даже кулер

Человек в секунду в состоянии покоя выделяет в среднем 100 Ватт, в активном состоянии - 350-400 Ватт. Кровь - источник необходимых веществ (минералы, витамины, кислород и пр) для мозга и всего тела. Токсины выводятся из головного мозга путем сна.

Сначала нужно понять те задачи которые мы хотим решать на квантовых компьютерах. Биологические, математические, физические, имитация народнохозяйственной деятельности или просто гонять как агрегатор больших данных и считать сколько я раз улыбнулся в этом году (Подошел я тут к кассе, в каком-то магазе, в котором был 2й раз за год. Предлагает мне устройство оплатить улыбкой и пишет, что в этом году я улыбнулся 74 раза, но еще улыбкой не платил. Сбер конечно развлекается, а можно было бы эти вычислительные мощности направить на более нужные дела). Пока все это выглядит как рассасывание денег по теме в которой мало кто чего понимает, но всем нравится ее название. Если оставить ажиотаж вокруг этой темы, мне безумно интересно наблюдать за тем как идет развитие квантовых компьютеров. Много направлений, разные методы создания кубитов, методики выращивания волновой функции и пр.

[Нгаан]

Токсины выводятся из головного мозга путем сна.

Это как? Если снится плохой сон, значит токсины пошли?


Отправлено спустя 10 минут 38 секунд:

Сначала нужно понять те задачи которые мы хотим решать на квантовых компьютерах.

Если бы учёные так думали, то ... транзистор бы до сих пор не изобрели, я думаю.

На самом деле, на мой взгляд, изобретают и пробуют делать, потому что могут и хотят попробовать это сделать, а уж потом начинают прикидывать к чему бы это можно было пристроить.

Вот Герц, например, откровенно говорил, что открытые им радиоволны вряд ли когда-нибудь окажутся полезными для людей. А вот поди-ж ты, не успели остыть его ботинки, как в хмурой России один изворотливый умом преподаватель минных классов уже что-то там соорудил и передал первую радиограмму.

[Мотылек]

Это как? Если снится плохой сон, значит токсины пошли?

Благодаря так называемой "глимфатической системе", которую открыли в 2012 году. Во время сна глиальные клетки "скукоживаются", что позволяет продуктам жизнедеятельности нейронов "вымываться" ликвором.

[solvisor]

На самом деле, на мой взгляд, изобретают и пробуют делать, потому что могут и хотят попробовать это сделать, а уж потом начинают прикидывать к чему бы это можно было пристроить

Так я это и написал. Пусть изобретают. Ещё ничего не изобрели, а уже все бабло на эту тему поделили.

Пока у любого ИИ нет решений при девиациях. Если попадается нестандартная задача, он не знает решений.

[Alex Ivanov]

Пока у любого ИИ нет решений при девиациях. Если попадается нестандартная задача, он не знает решений.

► Показать

Чтобы большая языковая модель (например, GPT, LaMDA) мыслила как человек, необходимо преодолеть фундаментальные технологические и философские барьеры. Современные ИИ не обладают сознанием, субъективным опытом или пониманием в человеческом смысле. Они работают на основе вероятностного предсказания следующего токена (слова) в последовательности.

Главный барьер — отсутствие у ИИ сознания и связи с реальным миром. Современные LLM — это чрезвычайно продвинутые имитаторы человеческой речи и знаний, построенные на статистических закономерностях текстов.

Что делают, чтобы приблизиться к цели?

- Увеличивают масштаб: Делают модели больше (больше параметров, данных).

- Улучшают архитектуру: Ищут новые способы обработки информации.

- Добавляют модальности: Обучают модели на видео, звуках, сенсорных данных роботов.

- Связывают с базой знаний: Пытаются "привязать" языковые модели к структурированным фактам.

- Внедряют в "тело": Развивают воплощённый интеллект (embodied AI).

Несмотря на прогресс, вопрос о том, может ли чисто статистическая модель когда-либо обрести настоящее понимание и сознание, остаётся открытым философским вопросом (известным как "Китайская комната" Джона Сёрла).

[solvisor]

Это как? Если снится плохой сон, значит токсины пошли?

Про скрытые способности человека. Интервью с ученым, нейрофизиком:


Добавлю ещё свои 5 копеек. Пока открывают квантовые компьютеры, я бы менял существующую архитектуру процессоров, что в принципе и делается в настоящее время.

Например Groq — стартап (его кстати Nvidia сегодня объявила что покупает за 20 млрд), который разрабатывает специализированные чипы для искусственного интеллекта (ИИ) — Language Processing Unit (LPU). Они предназначены не для обучения моделей, а для их быстрого запуска — «инференции» (inference, «вывод» или «умозаключение»).
Где применяются:
Обработка естественного языка (NLP) — использование LPU для запуска больших языковых моделей ускоряет и повышает точность их ответов, а также позволяет улучшить распознавание контекста.
Компьютерное зрение — скорость работы ИИ-чипов обеспечивает улучшенный анализ изображений и видео в реальном времени, что потенциально может использоваться в продвинутых системах наблюдения и кибербезопасности.
Вычисления высокой производительности (HPC) — чипы Groq ускоряют сложные вычисления, необходимые в научных исследованиях и анализе информации.
Принцип работы
LPU работает как детерминированный конвейер. Данные и инструкции движутся между функциональными блоками по «конвейерным лентам», без ожиданий и конкуренции за ресурсы. Это устраняет случайные задержки и узкие места в ресурсах.
Архитектура
Некоторые особенности архитектуры LPU:
Подход «сначала софт» — центральной «интеллектуальной» частью является компилятор, который заранее просчитывает весь граф выполнения, включая межчиповое взаимодействие, вплоть до тактовых циклов.
Встроенная память (SRAM) — сотни мегабайт встроенной SRAM интегрированы в качестве основной памяти для весов, а не просто кэша. Это позволяет вычислительным блокам загружать веса на полной скорости.
Детерминированное исполнение — заранее просчитанная модель работы LPU исключает аппаратные очереди, буферы переупорядочивания и задержки на координацию во время выполнения.
Тесты
В тестах с большими языковыми моделями LPU Groq демонстрирует высокую скорость генерации. Например:
с Llama 3.3 70B — 1615 токенов в секунду; с DeepSeek R1 — 384 токена. Для сравнения — графический процессор Nvidia H200 Tensor Core в тестах с Llama 3.3 70B выдаёт 51 токен в секунду.

Есть и российские разработки, например нейроморфный процессор "Алтай". Нейроморфный процессор (НП) — это вычислительное устройство, которое работает по принципу биологических нейронных сетей. В отличие от классических CPU и GPU, в нейроморфных процессорах стремятся минимизировать зависимость от архитектуры фон Неймана, при которой данные постоянно перемещаются между памятью и вычислительным ядром. Информация хранится в искусственных нейронах, что уменьшает количество обращений к памяти. Это снижает энергопотребление и увеличивает скорость обработки. Энергоэффективность. Они потребляют намного меньше энергии, чем обычные процессоры, особенно при распознавании изображений, голосов или обучении систем искусственного интеллекта. НП могут быстро решать сложные задачи, потому что обрабатывают данные параллельно и не обращаются к памяти так часто. Эти процессоры подходят для приложений, где нужно быстро реагировать на изменения данных, например, для автономных автомобилей, роботов и обработки сигналов. Низкое энергопотребление позволяет обучать модели машинного обучения прямо на устройстве, без отправки данных в облако.

Я это к тому, что под каждый вид задач, скорее всего в будущем будут "свои" процессоры, которые будут оптимизировать затраты на вычисления.

[Олег К]

ИИ сказал, что если посчитать энергозатраты мозга юзера, за время пока он пишет вопрос, посчитать энергозатраты ИИ на ответы за это же время и разделить их на количество вопросов которые ему поступают опять же за этот промежуток времени, то получаются близкие результаты. Заявил, что "по энергетическому бюджету у нас с вами паритет" Подытожил вот так:

Так что в плане энергопотребления мы с вами сейчас — два одинаковых «прибора» по 20 ватт, которые встретились, чтобы обсудить будущее. Только один из них построен на углероде и глюкозе, а другой — на кремнии и электричестве.

[Alex Ivanov]

А можно и бобинный магнитофон. Это совсем древность.
Где-то бобины с программками под Радио-86РК еще валяются.
Есть желающие проверить сроки хранения данных?

"В США нашли единственную уцелевшую копию ОС Unix v4, забытую на 52 года

В Университете Юты в США специалисты из Школы вычислительной техники обнаружили и успешно восстановили магнитную ленту, содержащую уникальную копию операционной системы Unix v4. Версия ОС примечательна тем, что ее ядро, драйверы и ключевые утилиты были впервые реализованы на языке C, который полвека назад считался передовым.

В Университете Юты в США специалисты из Школы вычислительной техники обнаружили и успешно восстановили магнитную ленту, содержащую уникальную копию операционной системы Unix v4. Версия ОС примечательна тем, что ее ядро, драйверы и ключевые утилиты были впервые реализованы на языке C, который полвека назад считался передовым.

Магнитная лента, изготовленная компанией 3M в 1973 году, несмотря на то, что пролежала более 50 лет, продемонстрировала "достаточно хорошие шансы на восстановление". Процесс восстановления был выполнен Элом Коссоу, экспертом по архивным материалам из Bitsavers. Он применил метод, включающий "запись данных с усилителя сигнала считывающей головки, использование многоканального АЦП для преобразования данных в 100 Гбайт ОЗУ, а затем их анализ с помощью специально разработанной Лен Шустеком программы".

После восстановления объем данных составил всего 40 Мбайт. Они доступны для загрузки вместе с инструкциями по запуску ОС, хотя процесс запуска требует определенных усилий. Пользователю необходимо создать загрузочную среду и скомпилировать систему, следуя методам, применявшимся в те годы. Unix v4 разрабатывался для работы на мини-компьютере DEC PDP-11. Восстановление Unix v4 стало результатом коллективных усилий специалистов, погрузившихся в изучение устаревшей платформы с ограниченной документацией. На момент создания система рассматривалась как экспериментальный проект.

Обнаруженная лента с Unix v4 в настоящий момент находится у Мартина Ньюэлла, автора знаменитой модели чайника, который стал неотъемлемой частью 3D-графики по всему миру."

[Нгаан]

Unix v4 разрабатывался для работы на мини-компьютере DEC PDP-11.

Помню, помню... в одной "из прошлых жизней": Харьковский университет радиоэлектроники, первый курс, компьютерный класс на первом этаже, ряд терминалов с монохромными жёлтыми мониторами, работающими исключительно в текстовом режиме, на которых с помощью звёздочек нужно было графики функций рисовать.

[ПереГиБ]

Помню, помню... в одной "из прошлых жизней": Харьковский университет радиоэлектроники, первый курс, компьютерный класс на первом этаже, ряд терминалов с монохромными жёлтыми терминалами, работающими исключительно в текстовом режиме, на которых с помощью звёздочек нужно было графики функций рисовать

Почти такое же воспоминание... Первый курс, 1990-й год, только вуз другой...
Польский клон IBM PC XT, назывался Mazovia. Жёлтый ЭЛТ-экран, 25 строк (вроде бы)...

[максим]

Да ладно, СМ1420 и график функции кроме терминала печатался на АЦПУ теми же звездочками.
Очень быстро и очень громко
ЕС1030 - была мечтой
Mazovia уже умела в графику, 640х480 CGA

[ПереГиБ]

640х480 CGA

640*480 это VGA.
CGA - 640*200, EGA - 640*350
Во были времена!

[Alex Ivanov]

[solvisor]

OpenAI спускает по $15 млн каждый день на то, чтобы пользователи бесплатно создавали мемы в Sora. Компания уже теряет $12 млрд за квартал, но решила удвоить ставку: каждый 10-секундный ролик обходится ей в $1,3, а люди генерирует больше 11 млн видео в сутки.

Кто-то за это должен заплатить...

OpenAI переоценила свои успехи в математике
Вице-президент OpenAI Кевин Вейл заявил в X, что «GPT-5 нашла решение десяти нерешённых задач Эрдёша и продвинулась ещё в одиннадцати». Это прозвучало как настоящий научный прорыв, новость о гениальности GPT-5 быстро подхватили в сети. Но радость длилась недолго.

В тред пришел админ сайта erdosproblems.com и написал, что Вейл исказил факты. На самом деле GPT-5 не решала задачи, она буквально нашла в интернете научные работы с решениями этих задач. Админ просто был не в курсе, что эти задачи уже кто-то решил, а когда GPT-5 показала ему решения, обрадовался и написал об этом в соцсети. Этот пост подхватили в OpenAI и начали выдавать за свой невероятный успех, якобы нейросеть решила то, над чем лучшие математики бьются десятилетиями.

Дальше — классика жанра. Вейл удалил пост, но всё равно успел получить по шапке от коллег. CEO DeepMind Хассабис назвал эпизод позорным, а Ян Лекун язвительно заметил, что OpenAI «купилась на собственный хайп».

Настоящая история, кстати, куда скромнее, но всё равно интересная. GPT-5 действительно оказалась полезной — как ассистент исследователя, помогающий искать научные работы и связывать разрозненную литературу.

Терренс Тао, один из самых уважаемых математиков мира, прокомментировал ситуацию позитивно: «AI пока не решает великие задачи, но может ускорить математику в десятки раз — не как гений, а как безупречный библиотекарь».

[Нгаан]

как безупречный библиотекарь

Э-эх, если бы ему ещё открыли доступ к лучшим библиотекам мира с их миллионными или миллиардными фондами. Но кто же на это пойдёт, ежели информация настойчиво превращается в стратегический ресурс. И уж тем более сомнительно, чтобы всё это передали гражданам в бесплатное, или хотя бы условно бесплатное, пользование. Нет, не та "погода на дворе", извините.


Отправлено спустя 4 минуты 39 секунд:
На днях принимал экзамен у своих котят по основам теории радиосвязи и телекоммуникаций. Разрешил пользоваться любыми доступными источниками (ради эксперимента). Результат был весьма хорош: нашли все необходимые формулы и решили все задачи. Правда, почти не нашлось тех, кто смог бы объяснить в чём, собственно, состояла задача и зачем нужно её решать.
Выводы:
- современный ИИ замечательная вещь!
- как учить котят пониманию, без попыток самостоятельно решать задачи непонятно.


Да, и к чему это я? К тому, что библиотекарь действительно замечательный! И каталогизатор замечательный! И поиск производит быстро! И ... много можно сказать, но книжек они больше не читают, в том числе и учебников. Зачем, если за десять секунд можно найти любое решение для задачи из задачника или ответ на любой вопрос в конце параграфа. Поэтому ответы есть и ответы правильные. Написаны они грамотно. Только вот знаний и понимания нет. Такая вот мелочь.

Но если подходить в рамках формального тестирования, то пятёрки можно поставить всем.

Ах да, последнее: учиться решать задачи теперь можно без учителей, а вот учиться думать пока нельзя.

[Alex Ivanov]

Но кто же на это пойдёт, ежели информация настойчиво превращается в стратегический ресурс.

Для военных все двери открыты и вполне возможно что они сейчас создают свой военный AGI.
Есть фантастический фильм про самолет невидимку с ИИ - "Стелс" 2005 https://ru.wikipedia.org/wiki/%D0%A1%D1 ... %8C%D0%BC)

[Н. Светлов]

посчитать энергозатраты ИИ на ответы за это же время

Так я ж о затратах не на ответы, а на обучение!

Если нейросеть уже обучена, то её использование действительно не слишком энергоёмко.

- как учить котят пониманию, без попыток самостоятельно решать задачи непонятно.

Лишить жратвы и отправить ловить мышей.