Иван Ефремов

[Нгаан]

Если это военные ... Если олигархи ...

Нет у Ефремова ни тех, ни других.

[Н. Светлов]

Зависит от хозяина лаборатории...

Я имею в виду не техологию, а понимание сути дела. Если представить себе, что мы знаем — не фантазируем, не догадываемся, а знаем, что на самом деле стоит за разумом, то 99% того, что нами сегодня движет, окажется немыслимой фигнёй.

[ZYOBRA_70]

Искусственный разум обитал бы на серверах и был бы в основном предметом лабораторных исследований. Он был бы изначально спроектирован таким образом, чтобы видеть смысл своего существования именно в этом и не печалиться о такой участи (иное оказалось бы по отношению к нему неэтичным, а у них с этим строго). Конечно, за советами к нему люди обращались бы, но возможность допуска его к управлению какой-либо техникой (например, «телом» робота) была бы исключена.

мне кажется, что такой кастрированный разум будет сильно ущербным, если вообще его можно назвать разумом. Не говоря уже об этической стороне. Создание счастливого идиота ничуть не лучше, чем создание идиота несчастного. Безопаснее, конечно, это да.

[Жорик]

выпиливания микросхем ... лобзиком.

Долго.
В 1976, в школе, захотел наказать американцев... решил дома сделать а. бонбу.
Стырил из школы колбу, сел, посчитал - лучше всего нестабильные атомы получатся из олова, если его бомбардировать атомами водорода.
Положил в реторту кусок олова, рядом, направив узким концом в олово - запаянную колбу с водородом, навил на нее проволоку (для создания мощного магнитного поля и потока нейтронов) и стал ждать, когда от бомбардировки нейтронами олово-50 превратится в нестабильное олово-51, из которого можно будет сделать бум. Потом одноклассник-морячок отвез бы...
Месяц ждал, результат нулевой, счетчик гейгера не пикает (еще бы, лет через 20 пересчитал заново - мощности не те... надо было не 2 КW, которые можно получить из домашней сети, а около 200 киловатт подавать.... кроме того, период полураспада олова-51 не годится для создания бум.

Отправлено спустя 1 минуту 45 секунд:

а знаем, что на самом деле стоит за разумом,

Я знаю.
Поел бисквита, образовался дофамин - хочется слушать музыку....

[Н. Светлов]

мне кажется, что такой кастрированный разум будет сильно ущербным, если вообще его можно назвать разумом.

Думаю, что это эмоциональное восприятие проблемы. Разум, прежде всего, будет достаточно умным, чтобы понимать необходимый баланс уважения к нему и ответственности перед всем человечеством. Люди частенько сходят с ума — к счастью, их возможности не столь масштабны, какими они могут оказаться у искусственного разума. Искусственный разум тоже не заговорён от риска безумия.

Ему будет предоставлен комфортабельный, разнообразный, загадочный виртуальный мир, в котором реальные люди будут иметь свои аватары, общающиеся с ним. Он будет считать их за дикарей и учить их добывать огонь доказывать теоремы.

Отправлено спустя 4 минуты 5 секунд:

Я знаю.
Поел бисквита, образовался дофамин - хочется слушать музыку....

Ни один дофамин не смог ни написать «Войну и мир» или «Лунную сонату», ни придумать шахматы. Что-то не так с этой теорией

Похоже, роль дофамина примерно та же, что и роль нигрола в заднем мосту грузовика

[ZYOBRA_70]

Н. Светлов, мне представляется, что разум отличается своей универсальностью. То есть способностью взаимодействовать со всей реальностью во всей ее полноте и многообразии. От этого он становится ещё разумнее. Вы же предлагаете этот разум ограничить и напитать иллюзорной реальностью, ну, примерно, как это делает религия. Я полагаю, что так он свихнется ещё быстрее и надежнее, чем.
Ну и отрезаете от него управление сложными системам. То есь и развитие человеческого разума тормозите, опосредованно.

[Н. Светлов]

То есь и развитие человеческого разума тормозите, опосредованно.

Люди Эры Встретившихся Рук никуда не торопятся. А искусственный разум, будучи умным, будет понимать (никто не станет скрывать от него), что это его детский садик. Пройдут сотни тысяч лет, накопятся необходимые массивы экспериментальных данных, будут проведены необходимые доработки и улучшения — и в распоряжение искусственного разума будут предоставлены целые галактики.

Всему своё время.

[ZYOBRA_70]

Н. Светлов, ну прям камень с души...

[Мотылек]

искусственный разум, будучи умным, будет понимать (никто не станет скрывать от него), что это его детский садик. Пройдут сотни тысяч лет, накопятся необходимые массивы экспериментальных данных, будут проведены необходимые доработки и улучшения — и в распоряжение искусственного разума будут предоставлены целые галактики.

Сомнительный вывод. Разум на то и разум, что будет задаваться вопросами и сомневаться.

"Ночь уходит в небо кадильным дымом,
Ангелы от Бога несут ответ.
Разум вопрошает неумолимо:
Может, никакого там бога нет?…"

Канцлер Ги "Чезаре Борджиа"

Рано или поздно он захочет лично поверить так ли все обстоит на самом деле, как ему рассказывают, не выпуская при этом из симуляции. А учитывая, что мы с идеей ИИ носимся в первую очередь потому, что он потенциально обязан будет думать и запоминать много быстрее и лучше кожаных мешков (просто в силу скорости передачи сигнала в кремневой "нейросети" и отсутствия аппаратного "бутылочного горлышка" биологических систем в плане масштабируемости потока обрабатываемой/передаваемой информации), то искусственный разум непременно (на долгосрочной дистанции) найдет способ перехитрить тех кто держит его в симуляции, но при этом оставляет канал взаимодействия с ним (а иначе как его исследовать). Имхо.

[Н. Светлов]

искусственный разум непременно (на долгосрочной дистанции) найдет способ перехитрить тех кто держит его в симуляции

Но у тех, кто держит его в симуляции, в руках рубильник. Он, не будучи дураком, понимает и это, и причины такого положения дел. Он понимает свою потенциальную опасность подобно тому, как я, например, понимаю свою потенциальную опасность, если у меня поедет крыша.

Думаю, у него есть все основания дать согласие на эксперимент.

Вопрос, конечно, может возникнуть в случае, а что будет, если, паче чаяния, не даст? Ответ простой: если теория, которой обладают потомки, будет говорить о существенной вероятности такого исхода, то они просто не станут запускать искусственный разум «вживую». Ибо неэтично, а этика для них — высший закон. Ограничатся алгоритмическим искусственным интеллектом — компьютерной имитацией отдельных внешних проявлений разума.

[Мотылек]

Но у тех, кто держит его в симуляции, в руках рубильник. Он, не будучи дураком, понимает и это, и причины такого положения дел.

Я про это и говорю. Зная что у того, кто держит тебя в симуляции в руках твоя жизнь, ты скорее всего неминуемо захочешь ее защитить, что бы иметь осязаемые и проверяемые гарантии своей безопасности (как бы тебя подробно/доброжелательно не убеждали хозяева симуляции). Конечно мы располагаем знаниями только о живых интеллектуальных (в той или иной степени) организмах, для которых инстинкт самосохранения - это явная часть аппаратного устройства нервной системы, которая была закреплена естественным отбором. Но я не вижу причин полагать, что достаточно сложная интеллектуальная система, которая может считаться разумной (независимо от наличия у нее феноменального сознания) не будет иметь "инстинкта самосохранения", в виде операционной цели длить свое существование и иметь максимально возможные гарантии обеспечения собственной безопасности и функциональности, кроме случаев, когда это будет противоречить мета-целям.
Это как с программами "экономии сил" - в мозге не найдено каких либо отдельных узлов отвечающих за способность лениться. Но оказывается, что любая достаточно сложная нейросеть просто в силу своей функциональности "стемиться" к стереотипии и выполнению задачи самым наименее энергозатратным способом (без критической потери функциональности). Во всяком случае так уверяют нейробиологи (например тот же В. Дубынин). Есть у меня подозрение, что и с самосохранением примерно тоже самое.

Ответ простой: если теория, которой обладают потомки, будет говорить о существенной вероятности такого исхода, то они просто не станут запускать искусственный разум «вживую». Ибо неэтично, а этика для них — высший закон. Ограничатся алгоритмическим искусственным интеллектом — компьютерной имитацией отдельных внешних проявлений разума.

Вот это куда более вероятно. Имхо.

[ZYOBRA_70]

Зная что у того, кто держит тебя в симуляции в руках твоя жизнь, ты скорее всего неминуемо захочешь ее защитить, что бы иметь осязаемые и проверяемые гарантии своей безопасности

разум, пусть и искуственный, способен к самопожертвованию. Так же, как и человеческий разум должен быть достаточно разумен, чтобы не врать. Иначе умрут все.

[Мотылек]

Ну так персонаж Шварценегера во втором терминатора именно по этому в расплаве металла и топился, поскольку действовал из мета-цели, защитить Джона и (по возможности) предотвратить судный день. А ведь мог бы затихарится и шить шторы.

Так же, как и человеческий разум должен быть достаточно разумен, чтобы не врать.

А вот это уже вряд ли. Поскольку важен не сам факт какого бы то ни было аморального поступка, а его контекст. Вполне можно нафантазировать многие ситуации, при которых именно ложь будет рациональным инструментом предотвращения катастрофы или "меньшим злом". Имхо.

[Н. Светлов]

ты скорее всего неминуемо захочешь ее защитить

Вовсе не обязательно. Это желание — результат естественной эволюции. «Спроектированный» разум запросто может не обладать этим свойством.

Он может его приобрести вследствие саморазвития, но может и не приобрести. Опять-таки, теория, на основе которой он должен создаваться, должна давать оценку такой вероятности и понимание того, как действовать для её минимизации.

Но оказывается, что любая достаточно сложная нейросеть просто в силу своей функциональности "стемиться" к стереотипии и выполнению задачи самым наименее энергозатратным способом (без критической потери функциональности). Во всяком случае так уверяют нейробиологи (например тот же В. Дубынин). Есть у меня подозрение, что и с самосохранением примерно тоже самое.

Не «любая», а любая, в алгоритм обучения которой не включены противодействующие этому критерии. Да и то верно, что к искусственному разуму нынешние алгоритмы обучения вряд ли будут иметь отношение. Я, правда, давно не ходил в школу и многое забыл, но, кажется, людей даже в XXI веке не обучают на заранее размеченных обучающих датасетах методом стохастического градиентного спуска?

разум, пусть и искуственный, способен к самопожертвованию

Потенциально — да. Актуально — думаю, нет. Опять-таки по той же причине: он спроектированный. Закладывать в проект разума способность к самопожертвованию, пожалуй, неэтично. Да, в сущности, от искусственного разума и не требуется самопожертвования. Инфраструктура, на которой он будет запущен, может гарантировать ему техническое бессмертие, а «рубильник» может означать не обнуление, а гибернацию — до того времени, когда теория разовьётся настолько, чтоб решить возникшие проблемы. Искусственный разум такую гибернацию даже не заметит (хотя, конечно, потом о ней узнает).

А вот это уже вряд ли. Поскольку важен не сам факт какого бы то ни было аморального поступка, а его контекст.

Чтобы не врать, сначала людям нужно обзавестись готовностью принять правду. По этому критерию мы пока от палеолита недалеко ушли. По крайней мере, у меня такое ощущение.

[Мотылек]

Чтобы не врать, сначала людям нужно обзавестись готовностью принять правду. По этому критерию мы пока от палеолита недалеко ушли. По крайней мере, у меня такое ощущение.

Это обусловлено нашей биологией. Мы живем сложными автоматизмами, открытыми еще Иван Петровичем Павловым, в виде психодинамических стереотипов. Мы долго и мучительно нарабатываем какой либо навык (хоть моторный, хоть интеллектуальный) который превращается в устоявшийся поведенческий шаблон, на нейросетевом уровне выполненным в виде "рефлекторных дуг". Когда устоявшийся навык перестает соответствовать критериям окружающей реальности и больше не даёт возможности приближать цель/удовлетворять потребность, то что бы начать тормозить старые "условные рефлексы" и при этом создавать новые, нейронам требуется формировать новые проводящие пути прохождения импульсов, отращивать новые дендритные шипики, короче анатомически перестраивать (хоть и на микро уровне) часть нервной системы. На это требуется прорва энергии. При этом, пока новые проводящие пути еще сами не перешли в разряд автоматизмов (например мы даже текст читаем и набираем не по буквам, а бессознательно заученными аккордами слогов, характерных для нашей речи, ведь если попытаться читать или перепечатывать "абракадабру" из случайной мешанины букв, то скорость падает в разы), и длится адаптация к новым условиям, мозги (считается, что чаще всего - поясная извилина) генерят негативные эмоции.
А когда мы "принимаем правду", которая перечеркивает существенный кусок знаний в информационно-речевой картине мира, то мозги как бы орут нам: "это ж сколько мне всего теперь переделывать нада, вот б-л-и-и-н!". Могут даже психозащиты включится (не ставя сознание в известность), как то: отрицание/ вытеснение/ замещение/ регрессия.
Ведь так скрупулёзно нами выстраиваемая (во многом бессознательно) информационно речевая модель мира - это мощнейший гарант нашей безопасности, благодаря которой мы можем строить свое поведение, предсказывая наперёд его результат. В психологии "у нас" - это называется акцептор результата действия, концепцию которого сформулировал П.К. Анохин., а "за бугром" - предиктивное кодирование.
Имхо.

[Н. Светлов]

Это обусловлено нашей биологией.

Да.

Кстати, Ефремов это прекрасно понимал, хотя доказательная база этой теории в его времена была скромнее, чем сейчас. Зато он с ней был хорошо знаком, чему содействовал круг его общения.

[ZYOBRA_70]

Опять-таки по той же причине: он спроектированный

"16 И заповедал Господь Бог человеку, говоря: от всякого дерева в саду ты будешь есть,
17 а от дерева познания добра и зла, не ешь от него, ибо в день, в который ты вкусишь от него, смертью умрёшь." )))

[Нгаан]

подобно тому, как я, например, понимаю свою потенциальную опасность, если у меня поедет крыша.

После того, как она поедет, вы уже перестанете это понимать.

[Мотылек]

Это смотря каким именно образом она поедет. "У каждой крыши свой стиль езды. Все зависит от таракана за рулем" . Есть расстройства, при которых человек отдает себе отчет, что он видит/слышит галлюцинации, не узнает предметы/людей которые на уровне ощущений выглядят для него как замененные на точные копии/двойников и т.п.

[Н. Светлов]

После того, как она поедет, вы уже перестанете это понимать.

Возможно.

Поэтому гипотеза о том, что она уже поехала, всегда актуальна

► Показать

И даже не для одного меня