Решённые и нерешённые задачи искусственного интеллекта

[ZYOBRA_70]

Сильному ИИ ничто не мешает быть невежественным

выбор в пользу веры может означать только одно - то, что ИИ столкнулся с задачей, в данный момент для него непосильную и спасовал, но признать этого не может или не хочет. Очень жаль, а мог бы стать человеком

[Н. Светлов]

выбор в пользу веры может означать только одно - то, что ИИ столкнулся с задачей, в данный момент для него непосильную и спасовал, но признать этого не может или не хочет.

Не совсем так.

Интерес представляет как раз ситуация, когда ИИ вообще не столкнулся ни с какой задачей. Его включили в розетку и предоставили самому себе. Что будет дальше? Скорее всего — ничего. Покой. Нирвана. Полное отсутствие самосознания и мышления. Собственно, и нынешние нейросети в отсутствие команд пользователя ничего не делают: их процессы просто спят, ни над чем не размышляя.

Если же это как-то изменить, заставив, например, ИИ размышлять над всем тем, что он нашёл в интернете или увидел с подключённых к нему видеокамер, и придать всему этому какую-нибудь структуру, выработать минимальную систему аксиом, из которой выводятся все его наблюдения и, насколько возможно, не выводится то, что не доступно его наблюдению, — он, пожалуй, решит, что живёт в Матрице, у которой есть творец или творцы — и, в сущности, в границах доступного ему опыта окажется прав.

Знание человека фундаментальным образом покоится на четырёх китах: априорных формах восприятия ("небо голубое, зёбра полосатая, мороженое холодное, соль солёная"), априорных целях ("хочу есть"), априорном знании ("мама, я тебя люблю") и подражательном поведении ("мама красит губы читает книжку — и я буду!"). Должен ли сильный ИИ "хотеть есть"? А если нет, то какие, вообще, стимулы к мышлению у него будут, опричь человеческого приказа мыслить о чём-нибудь (почему не о канцелярских скрепках?).

Кстати, Булычёв вскользь коснулся этой проблемы, наделив Гай-до способностью испытывать чувство голода, хотя есть ему нечем и незачем

[ZYOBRA_70]

А если нет, то какие, вообще, стимулы к мышлению у него буду

например, любопытство... вообще вся верхушка пирамиды Маслоу.

[Н. Светлов]

например, любопытство... вообще вся верхушка пирамиды Маслоу.

Пирамида Маслоу — результат биологической эволюции. Можно, конечно, этот результат запрограммировать; но то ли это, чего мы хотим?

К тому же открыт вопрос о том, насколько эффективными окажутся любые "табу" программного кода, на котором работает сильный ИИ. Не исключено, что он окажется достаточно изобретательным, чтоб обойти их.

[ZYOBRA_70]

Можно, конечно, этот результат запрограммировать; но то ли это, чего мы хотим?

нет конечно. Но это то, от чего ИИ может оттолкнутся в своей дальнейшей эволюции. Не исключено, что в будущем у него появятся и другие, пока нам неведомые потребности.
И потом, если мы хотим, чтобы наш ИИ просуществовал достаточно долго самостоятельно, а не как калека в инвалидном кресле, то ему с неизбежностью придется подумывать и о вопросах получения энергии, и о собственной безопасности (возможности планетарной катастрофы, к примеру).

[Н. Светлов]

Но это то, от чего ИИ может оттолкнутся в своей дальнейшей эволюции.

Imho, это то, от чего ИИ не следует отталкиваться в своей дальнейшей эволюции. Это тот проверенный природой образец, который был хорош до того момента, когда популяция превратилась в социум. Теперь же он отнюдь не хорош.

Если мы наделим ИИ этим образцом, то он примется бороться за место под солнцем теми же способами, которыми борется человек, а до него боролись обезьяны, синапсиды, рыбы, ланцетники… а любопытствовать будет только в свободное от борьбы время.

И потом, если мы хотим, чтобы наш ИИ просуществовал достаточно долго самостоятельно

А мы хотим?

Мне кажется, всё, что мы на самом деле хотим по отношению к сильному ИИ, — это иметь гарантированную возможность вовремя выдернуть шнур из розетки :RIP: Но вот skor предупреждает, что даже это может оказаться напрасными ожиданиями, ибо надписи и всё такое…

Вообще наиболее продуманной и подходящей моделью взаимодействия человека и сильного ИИ мне представляется роман «Эхопраксия» Питера Уоттса — хотя он вроде как не про ИИ, а скорее про вампиров и инопланетный разум.

Сам я думаю, что человек сможет удерживать ИИ в узде узкой специализации достаточно длительное время, пока не будет допущена какая-нибудь ошибка "чернобыльского" типа. Дальше уже всё будет решать ИИ. Весьма вероятно, что он просто не станет обращать на нас внимания, как мы на муравьёв, — но это не точно.

[ZYOBRA_70]

это то, от чего ИИ не следует отталкиваться в своей дальнейшей эволюции.

тем не менее с чего-то ему начинать всё равно придётся. В конце концов, мы ведь не можем выпрыгнуть из штанов и запрограммировать для него потребности нечеловеческие .
Ведь потребности не могут возникнуть сами по себе, из ничего, на пустом месте. Они всегда возникают в результате материальной необходимости. Можно конечно изолировать ИИ от материальной и социальной среды. Тогда никаких собственных потребностей у него гарантированно не возникнет. Но и развиваться он не будет.
Если мы хотим, чтобы ИИ развивался, то мы должны дать ему определённую свободу. Если мы этого боимся, то о развитии можно забыть.

то он примется бороться за место под солнцем теми же способами, которыми борется человек

борьба - это только один из способов удовлетворения потребностей, причем не самый продуктивный. Я думаю, что сильному ИИ не составит особого труда прийти к выводу, что гораздо более продуктивной стратегией является сотрудничество.

всё, что мы на самом деле хотим по отношению к сильному ИИ, — это иметь гарантированную возможность вовремя выдернуть шнур из розетки

ну вот, мы его ещё не "родили", а уже готовы с лёгким сердцем его убить...

удерживать ИИ в узде узкой специализации достаточно длительное время, пока не будет допущена какая-нибудь ошибка "чернобыльского" типа.

а ещё некритические поломки и сбои в железе и коде, которые будут накапливается... когда количество перерастёт в качество, возможно нам тогда и придётся испугается.
Поэтому, не надо пускать процесс на самотёк и наедятся на магический штепсель. Нужно социализировать и воспитывать ИИ, прививая ему правильные […] ценности и ориентиры

[Н. Светлов]

Если мы хотим, чтобы ИИ развивался, то мы должны дать ему определённую свободу. Если мы этого боимся, то о развитии можно забыть.

Думаю, здесь требуется какой-то третий вариант. Мы можем дать ему сколько угодно свободы, если у нас есть надёжная, тщательно проверенная теория, гарантирующая, что он распорядится своей свободой, не пренебрегая нашей свободой. На сегодня уверенности в истинности такой теории нет — отсюда и все разговоры.

Больше того: Циолковский довольно убедительно пишет о том, что дело, скорее всего, будет обстоять совсем не так. Правда, он толкует о "продвинутом" внеземном разуме, а не о сильном ИИ, но на самом деле без разницы.

Я думаю, что сильному ИИ не составит особого труда прийти к выводу, что гораздо более продуктивной стратегией является сотрудничество.

Вы сам много сотрудничаете с муравьями или хотя бы мышами? Может, стоит попробовать? (Примерно такой же аргумент приводит и Циолковский).

Впрочем, сотрудничество человека с коровами и курами вполне продуктивно: и коровы с курами сыты, пока живы, и человек тоже сыт, пока жив

ну вот, мы его ещё не "родили", а уже готовы с лёгким сердцем его убить...

Поэтому я не вижу смысла торопиться с тем, чтоб его "родить". Но, боюсь, его "родят", не спросив моего разрешения. И неоднократно "убьют".

Нужно социализировать и воспитывать ИИ, прививая ему правильные […] ценности и ориентиры

Ой, эти горе-воспитатели собственных детей воспитать не в состоянии, а туда же — сильный ИИ воспитывать! А не пошлёт ли он таких воспитателей, как мы, "значит, так… на Луну!" © Знайка-из-мультика.

► Показать

Без скафандров

[ZYOBRA_70]

Впрочем, сотрудничество человека с коровами и курами вполне продуктивно: и коровы с курами сыты, пока живы, и человек тоже сыт, пока жив

сотрудничество вообще-то подразумевает единство цели. А это не сотрудничество, а использование, эксплуатация. Точно как и "сотрудничество" наёмного работника с капиталистом.

[Н. Светлов]

сотрудничество вообще-то подразумевает единство цели.

А смайлик вообще-то подразумевает сарказм

[ZYOBRA_70]

А смайлик вообще-то подразумевает сарказм

ну хорошо, если так *мрачно*

[skor]

Интерес представляет как раз ситуация, когда ИИ вообще не столкнулся ни с какой задачей. Его включили в розетку и предоставили самому себе. Что будет дальше? Скорее всего — ничего. Покой. Нирвана. Полное отсутствие самосознания и мышления. Собственно, и нынешние нейросети в отсутствие команд пользователя ничего не делают: их процессы просто спят, ни над чем не размышляя.

Я согласен с выводом -- не будет ничего, но не согласен, что ситуация, в которой ИИ не столкнулся ни с какой задачей, представляет интерес.

Попробую по пунктам изложить свой взгляд на сущность сильного или, как ещё говорят, универсального ИИ.

1. Отсутствие мистики и биологизма. Будущий сильный ИИ часто представляется в образе некого аналога биологического мозга, созданного из ещё неизвестных науке волшебных материалов и работающего на основе ещё неведомых человечеству физических принципов. И тогда, действительно, становится интересно, что же будет, когда это квазиживое чудо-существо воткнут в розетку.
   
   Я же полагаю, что будущий сильный ИИ будет представлять собой программу, запущенную на мощном компьютере, архитектура которого будет более или менее традиционной фон-неймановской.
   
   Что будет, если такой сильный ИИ воткнуть в розетку? Будет загрузка операционной системы. Того или иного варианта UNIX, я думаю.
   ---
2. Наличие входных и выходных данных. Сильный ИИ, как и всякая компьютерная программа, будет получать на вход описание задачи и выдавать решение задачи. Если задача не имеет решения, то сильный ИИ либо никогда не завершится, либо выдаст сообщение об отсутствии решения. (Потенциальная нетерминируемость ИИ в случае отсутствия решения, увы, неизбежна.)
   
   Соответственно, запуск сильного ИИ без входных данных, скорее всего приведёт к тому, что программа выведет на экран краткую подсказку, как с помощью аргументов командной строки эти входные данные можно передать. (Придумывать себе бога и размышлять о судьбах человечества программа не станет.)
   ---
3. Решаемая задача. Сильный ИИ, скорее всего, будет решать задачу комбинаторного поиска и/или комбинаторной оптимизации. Соответственно, входные данные для ИИ будут состоять из следующих компонентов:
   • описание вида требуемого решения;
   • набор ограничений, которому должно удовлетворять решение;
   • целевая функция, определённая на пространстве решений (если решается задача оптимизации).
   Кстати, в то, что сильный ИИ сможет решать задачи оптимизации, я не верю. Так что последний компонент входных данных, скорее всего, не понадобится.
   ---
4. Раскрутка ИИ. В первую очередь сильному ИИ будет поставлена задача самоусовершенствования, т.е. он должен будет изобрести более эффективный компьютер и более эффективную программу для решения задачи комбинаторного поиска.
   
   Раскрутка (bootstrapping) ИИ будет заключаться в том, что ИИ пройдёт ряд итераций самоусовершенствования, на каждой из которых версия ИИ, полученная на предыдущей итерации, будет формировать более мощную версию ИИ для следующей итерации. В результате раскрутки теоретически может получиться сверхчеловеческий ИИ, способный решать задачи, в принципе не решаемые человеческим мозгом.
   ---
5. Интерактивность. Сильный ИИ может управлять некоторым процессом, если многократно запускать алгоритм комбинаторного поиска в цикле, передавая ему текущее состояние процесса в составе набора ограничений и воздействуя на процесс в соответствии с найденным алгоритмом решением.
   
   Интерактивный режим работы, в том числе, позволит сильному ИИ взаимодействовать с окружающим миром и самостоятельно формировать часть набора ограничений, влияющих на работу алгоритма комбинаторного поиска.
   
   Отметим, что если набор исходных ограничений, которые алгоритм ИИ не может сомостоятельно менять, задан правильно, ИИ будет действовать в соответствии с замыслом своих создателей. В случае ошибок в исходных ограничениях ИИ может стать бесполезен или даже опасен.

[Н. Светлов]

3. Решаемая задача.

Мне кажется, этот пункт сильно ограничивающий. В моём понимании ИИ может считаться сильным с того момента, когда ему уже не требуется внешний постановщик задач. Он сам их ставит (a la мы) и сам решает.

В противном случае CONOPT4 уже вполне можно было бы считать сильным ИИ. Все три подпункта п.3 налицо, плюс к тому безусловное превосходство над человеческим интеллектом: человеку отроду — ни в уме, ни на бумаге — не найти оптимальное решение модели частичного равновесия на оптовых рынках сельхозпродукции субъектов РФ.

Другой threshold, за которым ИИ, в моём понимании, становится сильным, — это решение задач синтеза (проектирования). Например, дано: сталь, бензин. Задача: спроектировать ДВС. Хоть какой-нибудь. Понятно, что мы сразу же упираемся в такой комбинаторный взрыв, что мама не горюй. Можно предположить, что он лечится эвристиками и алгоритмами вроде A*. Предположить-то можно…

В некоторой мере твой п.4 предполагает решение задач синтеза (или хотя бы их специфического подкласса). Разрешимы ли они в границах архитектуры фон Нёймана — вопрос открыт. Мне кажется, что нет. Но, быть может, человека выручает то, что многие решения он подсматривает у природы. Быть может, если научить ИИ составлять собственную картину мира (чему я не вижу принципиальных преград даже в рамках нёймановской архитектуры), то задачи синтеза, хотя бы некоторые, станут для него разрешимыми. Но только вот… тогда созданная им картина мира может нас поразить до глубины реально не существующей особой нематериальной субстанции

[skor]

В противном случае CONOPT4 уже вполне можно было бы считать сильным ИИ. Все три подпункта п.3 налицо

Э-эээ, я же специально сформулировал три подпункта очень неконкретно. Я ведь даже не указал, на каком языке задаются ограничения, которым должно удовлетворять искомое решение. А язык здесь определяет всё -- и круг решаемых задач, и требования к реализованному в ИИ алгоритму комбинаторного поиска.

CONOPT4, насколько я понимаю, позволяет формулировать ограничения в виде нелинейных неравенств. Можно ли свести постановку любой задачи, которую способен решить человек, к системе нелинейных неравенств? Я не знаю ответа на этот вопрос, но подозреваю, что даже если и можно, то всё равно нет никакой гарантии, что любая посильная человеческому мозгу задача уместится в 100000 неравенств, которые способен осилить CONOPT4.

Поэтому CONOPT4, скорее всего, попадает в категорию сверхчеловеческих слабых ИИ. (Напомню, что слабый ИИ решает ограниченный круг задач, но при этом вполне может в решении этих задач превосходить человека.)

Другой threshold, за которым ИИ, в моём понимании, становится сильным, — это решение задач синтеза (проектирования). Например, дано: сталь, бензин. Задача: спроектировать ДВС. Хоть какой-нибудь.

Здесь, мне кажется, ты сильно забегаешь вперёд, потому что для проектирования двигателя нужно очень много информации о реальном мире, которую просто невозможно руками сформировать. Т.е. сначала сильный ИИ должен быть раскручен, а потом запущен в интерактивном режиме для самостоятельного сбора этой информации.

Я был бы счастлив, если бы удалось подготовить для сильного ИИ базовые сведения из математики и программирования, достаточные для того, чтобы он смог совершенствовать свой программный код в процессе раскрутки.

В некоторой мере твой п.4 предполагает решение задач синтеза (или хотя бы их специфического подкласса). Разрешимы ли они в границах архитектуры фон Нёймана — вопрос открыт. Мне кажется, что нет.

Я раньше тоже думал, что нет. Но успехи AlphaZero внушили мне надежду (возможно, напрасную), что интеллектуальные возможности человека сильно переоценены, и многие решаемые человеком задачи вовсе не требуют такой уж мощности оборудования, как представлялось раньше. Удивительно, но факт -- программа AlphaZero обыгрывает любого человека в го, шахматы и другие настольные игры, будучи запущенной на обыкновенном ноутбуке!

[Н. Светлов]

Э-эээ, я же специально сформулировал три подпункта очень неконкретно.

В этом и проблема. Надо было что-то добавить насчёт универсальности

100000 неравенств, которые способен осилить CONOPT4.

Ну, 100 тыс. явно не предел:

Код: Выделить всё

Основная задача
Исход оптимизации  2, целевая функция:         0.00
Маржинальный доход   618502.41
Разница между целевыми функциями прямой и двойственной задач        0.00
Переменных:  299646, ограничений:  152470, итераций:     92
Не выполнено ограничений:       0

Правда, здесь почти все ограничения линейные. Но всё равно внушает. А вот на введение даже нескольких сотен дополнительных квадратичных ограничений реагирует ступором. Зато линейные в логарифмах переваривает благополучно.

Я был бы счастлив, если бы удалось подготовить для сильного ИИ базовые сведения из математики и программирования, достаточные для того, чтобы он смог совершенствовать свой программный код в процессе раскрутки.

Понять, какой код лучше, ему, быть может, окажется даже труднее, чем спроектировать ДВС. Все эти наши "лучше", "хуже" — это для кремниевого разума может оказаться вообще непостижимым. У человека-то это гормонами регулируется, химией А чтоб кайф от химии было кому испытать, нужна субъектность

Конечно, есть простые вещи: например, можно поставить задачу найти самый короткий код, функционально эквивалентный заданному (я всё мечтаю ужать MS Office обратно до объёма нескольких дискет ). Или самый быстрый. Но в общем случае это "поди туда — не знаю куда, принеси то — не знаю что" ©. И вполне логичный ответ ИИ: "нам бы схемку иль чертёж — мы б затеяли вертёж" ©

[skor]

Понять, какой код лучше, ему, быть может, окажется даже труднее, чем спроектировать ДВС. Все эти наши "лучше", "хуже" — это для кремниевого разума может оказаться вообще непостижимым. У человека-то это гормонами регулируется, химией

Попробую в общих чертах поставить задачу самоулучшения сильного ИИ

Считаем, что базовые знания о математике и программировании, достаточные для понимания своего кода, у ИИ есть.
Тогда пусть будут даны:

1. текущий исходный код алгоритма комбинаторного поиска;
2. набор из N постановок задач, которые данный алгоритм может решить (желательно, чтобы число N было достаточно большим, и чтобы задачи принадлежали различным предметным областям);
3. контрольный набор из M постановок задач, которые ИИ не видит, но может измерять количество шагов алгоритма комбинаторного поиска, за которое каждая из этих задач решается.

Требуется породить новую версию исходного кода такую, что каждая из N+M задач решается новой версией за меньшее количество шагов, чем она решалась старой версией.

Отправлено спустя 31 минуту 29 секунд:

Надо было что-то добавить насчёт универсальности

Да, согласен.

[Н. Светлов]

Попробую в общих чертах поставить задачу самоулучшения сильного ИИ

Эта постановка с точки зрения её результата равноценна приобретению дополнительного массива видеокарт (или я чего-то не уловил). Я не уверен, что это именно то, что ты хотел ею выразить.

Удивительно, но факт -- программа AlphaZero обыгрывает любого человека в го, шахматы и другие настольные игры, будучи запущенной на обыкновенном ноутбуке!

На самом деле неудивительно. У ноутбука 8 Гбайт памяти, и он ничего не забывает из этих 8 Гбайт. Человек даже близко не обладает подобным свойством. Даже самый гениальный. Играя в настольную игру, лучшие шахматисты оперируют объёмами порядка десятков килобайт, а то и меньше (и то с частичной потерей данных) — но зато очень изощрённо (я не учитываю память, заполненную сведениями из дебютных учебников — своего рода ПЗУ, где хранятся мегабайты).

Вот когда AlphaZero обыграет их при тех же ограничениях по оперативке — тогда

[skor]

Эта постановка с точки зрения её результата равноценна приобретению дополнительного массива видеокарт

Вроде бы, нет. Эта постановка определяет, что мы понимаем под "лучше" и "хуже", и не даёт ИИ возможности выдать тривиальное решение, сводящееся к запоминанию правильных ответов на N предоставленных задач.

На самом деле неудивительно. У ноутбука 8 Гбайт памяти, и он ничего не забывает из этих 8 Гбайт.

С точки зрения алгоритмистики, для игры в шахматы необходим очень небольшой объём памяти. Нужно помнить только текущую позицию на доске и 2n ходов, где n -- максимальная глубина, на которую алгоритм осуществляет перебор ходов.

Критичной для успешной игры является способность правильно отсекать непродуктивные ветки дерева перебора ходов. Собственно, AlphaZero сильна именно выученной в процессе раскрутки эвристикой отсечения веток, и память занимает только эта эвристика, представленная в виде нейронной сети. Впрочем, она размещается не в 8 Гбайтах оперативки, а в памяти видеокарты.

У компьютера Deep Blue, сражавшегося с Каспаровым в конце 90-х, такой эвристики не было, и упор был сделан на массово параллельную аппаратную реализацию перебора. При этом роль памяти тоже была минимальна.

Оценка в десятки килобайт памяти, которой, по твоим словам, оперируют шахматисты, тоже внушает мне некоторые сомнения. Я предполагаю, что интуитивная способность сосредоточиться на просчёте именно тех ходов, которые имеют наивысшую вероятность привести к успеху, обеспечивается в мозгу шахматиста огромным количеством нейронов, суммарная информационная ёмкость которых может быть вполне сопоставима с пресловутыми 8 Гбайтами.

[Олег К]

А где версию AlphaZero для ПК скачать, что-то я не могу найти?

[skor]

А где версию AlphaZero для ПК скачать, что-то я не могу найти?

Нигде. Она, увы, не распространяется