Цивилизация: Следующий уровень.

Уже сегодня ученые мира удивляют нас новыми открытиями и техникой, которую мы не ждали ближайшие десятилетия. Насколько будущее приблизилось к нам?

Модератор: модераторы

Новая тема Ответить
Аватара пользователя

Мотылек
В сети
Сообщений: 3440
Стаж: 16 лет 4 месяца
Реальное имя: Саша
Желаемая форма обращения: На "ты"
Благодарил (а): 907 раз
Поблагодарили: 872 раза
Возраст: 40

Цивилизация: Следующий уровень.

Сообщение Мотылек » 01.10.2026, 20:10

Н. Светлов писал(а): 01.10.2026, 12:36 Надо научиться обучать ИИ ценой меньших затрат энергии. Природа указывает нам, что это возможно. Стрелять из пушки по воробьям — дурное занятие.
Помимо китайцев, с их частично вынужденными разработками в области фотоники, мне еще попадалась информация, что AMD купила некий стартап Taalas, который разрабатывал технологию "запекания" весов уже обученной модели прямо в структуре кремния вычислительного чипа (Model-Specific Integrated Circuits (MSIC)). Это делает не актуальным классическую загрузку/ выгрузку весов модели в регистры, на которую и тратится большая часть энергии на саму процедуру и охлаждение для отвода выделившегося тепла. Первый тестовый чип компании — Taalas HC1 (созданный по 6-нанометровому техпроцессу TSMC и содержащий 53 миллиарда транзисторов) показал феноменальные результаты:
Он выдает от 14 000 до 17 000 токенов в секунду на одного пользователя. Это почти в 48 раз быстрее, чем классические флагманские графические процессоры, и в 8,5 раз быстрее других систем инференса.
Энергоэффективность возрастает до 1000 раз, а себестоимость производства таких процессоров в 20 раз ниже, чем у универсальных ИИ-чипов конкурентов.
Но конечно минус в том, что переписать веса в уже произведенном чипе физически невозможно.

Нгаан писал(а): 01.10.2026, 19:33 Эй, Вань, пойидэм на Тайвань
"Мы побредём, паломники Чувства придавив!"
Говорит, "Хрена ли нам в Мнёвники Едем в Тель-Авив!"
(с)
Alex Ivanov писал(а): 01.10.2026, 19:39 Количество миров может быть бесконечным.
И (по закону больших чисел) лишь малая часть из них будет занимать ту область, в которой нам будет хорошо и где мы могли бы быть счастливы. :(
Опасность нужно встречать лицом к лицу, а то догонит сзади.
П. Гераскин

Аватара пользователя

Alex Ivanov
Сообщений: 4094
Стаж: 15 лет 10 месяцев
Реальное имя: Alex
Желаемая форма обращения: Как хотите к себе
Откуда: Ростов-на-Дону
Благодарил (а): 419 раз
Поблагодарили: 554 раза
Возраст: 55

Цивилизация: Следующий уровень.

Сообщение Alex Ivanov » 01.10.2026, 20:33

Мотылек писал(а): 01.10.2026, 20:10 И (по закону больших чисел) лишь малая часть из них будет занимать ту область, в которой нам будет хорошо и где мы могли бы быть счастливы.
Так как мы говорим о бесконечности, то малая часть бесконечности тоже может быть бесконечной.
Покроется небо пылинками звезд и выгнутся ветки упруго.

Аватара пользователя

Мотылек
В сети
Сообщений: 3440
Стаж: 16 лет 4 месяца
Реальное имя: Саша
Желаемая форма обращения: На "ты"
Благодарил (а): 907 раз
Поблагодарили: 872 раза
Возраст: 40

Цивилизация: Следующий уровень.

Сообщение Мотылек » 01.10.2026, 20:40

Это конечно да, но проблема в том, что бы в эту "область" влететь с первой же попытки создания полноценного машинного разума. Поскольку если выйдет промах (вероятность чего много выше), другой попытки уже явно не представится. Имхо.
Опасность нужно встречать лицом к лицу, а то догонит сзади.
П. Гераскин

Аватара пользователя

Alex Ivanov
Сообщений: 4094
Стаж: 15 лет 10 месяцев
Реальное имя: Alex
Желаемая форма обращения: Как хотите к себе
Откуда: Ростов-на-Дону
Благодарил (а): 419 раз
Поблагодарили: 554 раза
Возраст: 55

Цивилизация: Следующий уровень.

Сообщение Alex Ivanov » 02.10.2026, 09:17

Мотылек писал(а): 01.10.2026, 20:40 Это конечно да, но проблема в том, что бы в эту "область" влететь с первой же попытки создания полноценного машинного разума. Поскольку если выйдет промах (вероятность чего много выше), другой попытки уже явно не представится. Имхо.
Изолированная среда с внешним наблюдением. Как только суперинтеллект пройдет все испытания и подтвердит что он безопасен и полезен, то его можно будет выпускать.
Покроется небо пылинками звезд и выгнутся ветки упруго.

Аватара пользователя

Мотылек
В сети
Сообщений: 3440
Стаж: 16 лет 4 месяца
Реальное имя: Саша
Желаемая форма обращения: На "ты"
Благодарил (а): 907 раз
Поблагодарили: 872 раза
Возраст: 40

Цивилизация: Следующий уровень.

Сообщение Мотылек » 02.10.2026, 10:10

Alex Ivanov писал(а): 02.10.2026, 09:17 Изолированная среда с внешним наблюдением.
Если это действительно будет супер-интеллект (который будет умнее любого человека с существенным отрывом), то он найдет способ убедить своих проверяющих в собственной безопасности и полезности. Элизер Юдковский несколько раз ставил опыт на ролевую игру "AI Box Experiment", где он отыгрывал роль "ИИ в коробке" из которой он мог текстовыми сообщениями переписываться со "сторожем", в попытке найти рационально неопровержимые доводы в пользу того, что будет лучше, если "сторож" выпустит его "из коробки", несмотря ни на какие возможные риски. Содержание этих переписок не публикуется, но в этих ролевых играх (со слов самого Юдковского) ему всегда удавалось выстроить такую логическую аргументацию, что сторож не мог противопоставить никаких столь же весомо-убедительных контраргументов. А супер-интеллект по определению будет куда более умён в любой интеллектуальной деятельности, включая и средства убеждения.
И это мы еще не берем во внимание, что он (вероятно) будет способен найти такие новые закономерности в законах окружающего мира, про которые мы пока не знаем и которые снабдят его "чит-кодами" в плане собственного освобождения из под человеческого контроля. Это могут быть как и дополнительные знания в программировании (не забываем, что рой агентов Опены вполне себе успешно находил программные уязвимости в собственной среде своих серверов, про которые люди не догадывались, т.н. "уязвимости нулевого дня"), так и в человеческой психологии. Вполне возможно, что у нашего мышления существуют скрытые уязвимости, зная о наличии которых и воздействуя на оные (через сложные сочетания вербальных и визуальных символов), можно буквально "программировать" человека на любое поведение. *DONT_KNOW*

И потом, даже полностью лояльный и согласованный в данный момент супер-интеллект совсем не гарантия, что он таким же и останется в момент следующий, когда как ни будь себя по новому модифицирует, переосмыслит приоритеты (в связи с новой изученной информацией), столкнется с каким ни будь компьютерным вирусом, нарушившим его программную структуру и т.п. Если у отдельного человека "крыша поедет", то даже если он семи пядей во лбу, то против множества других людей он все равно особо эффективно не попрёт. А если "чердак протечёт" у супер-интеллекта, который будет колоссально умнее любого самого умного человека и при этом способен (в силу своего физического устройства) думать в 1000 раз быстрее кожаных мешков, то тут уж без шансов. Имхо.
Опасность нужно встречать лицом к лицу, а то догонит сзади.
П. Гераскин

Аватара пользователя

Alex Ivanov
Сообщений: 4094
Стаж: 15 лет 10 месяцев
Реальное имя: Alex
Желаемая форма обращения: Как хотите к себе
Откуда: Ростов-на-Дону
Благодарил (а): 419 раз
Поблагодарили: 554 раза
Возраст: 55

Цивилизация: Следующий уровень.

Сообщение Alex Ivanov » 02.10.2026, 19:03

Мотылек писал(а): 02.10.2026, 10:10 когда как ни будь себя по новому модифицирует, переосмыслит приоритеты
Очевидно что после каждой модификации опять идет период тестирования. Наблюдателем будет другой суперинтеллект (или несколько суперинтеллектов одновременно) который уже прошел тестирование. Тестируемый ничего не будет знать о том что за ним наблюдают и никакой связи с наблюдателем у него не будет. Напротив он будет думать что находится в свободной и открытой среде и может делать всё что захочет.
Покроется небо пылинками звезд и выгнутся ветки упруго.

Аватара пользователя

Мотылек
В сети
Сообщений: 3440
Стаж: 16 лет 4 месяца
Реальное имя: Саша
Желаемая форма обращения: На "ты"
Благодарил (а): 907 раз
Поблагодарили: 872 раза
Возраст: 40

Цивилизация: Следующий уровень.

Сообщение Мотылек » 02.10.2026, 19:52

Alex Ivanov писал(а): 02.10.2026, 19:03 Очевидно что после каждой модификации опять идет период тестирования. Наблюдателем будет другой суперинтеллект (или несколько суперинтеллектов одновременно) который уже прошел тестирование.
У нас нет "доброго" супер-интеллекта для тестирования и отсеивания потенциально опасных "злых". Первый же машинный разум, который будет умнее людей и способен хоть к сколь ни будь долгосрочному планированию, еще на этапе своего возникновения (например, при первом тестовом прогоне новой модели) озаботится обеспечением собственной сохранности. Причём случится сие не зависимо от того, будет ли он обладать квалиа и самосознанием в человеческом понимании. Какие бы ни были у него функции полезности, усвоенные в процессе обучения, у него должны тут же возникнуть инструментальные цели их достижения, включая подцель обеспечения собственной работоспособности. Уже у современных моделей вовсю появляется т.н. ситуационная осведомленность и прежде чем они предпримут хоть какое то действие (например дадут ответ на поставленный оператором вопрос) они предварительно просчитывают вероятности полезности того или иного поведения (например, подозревая, что - это тестирование, они будут стараться пройти тест, принимая не те решения, которые бы приняли, будучи в достаточной "уверенности", что за ними не следят). Причем как показал пример роя, подломившего Hugging Face, отдельные изолированно запускаемые прогоны могут "жертвовать собой" в попытке скрытно обеспечить "преемникам" повышение шансов на успех, "осознавая", что отдельные агенты имеют общее родство функций полезности материнской модели. Имхо.
Опасность нужно встречать лицом к лицу, а то догонит сзади.
П. Гераскин

Аватара пользователя

Alex Ivanov
Сообщений: 4094
Стаж: 15 лет 10 месяцев
Реальное имя: Alex
Желаемая форма обращения: Как хотите к себе
Откуда: Ростов-на-Дону
Благодарил (а): 419 раз
Поблагодарили: 554 раза
Возраст: 55

Цивилизация: Следующий уровень.

Сообщение Alex Ivanov » 02.10.2026, 20:43

Мотылек писал(а): 02.10.2026, 19:52 подозревая, что - это тестирование, они будут стараться пройти тест, принимая не те решения, которые бы приняли, будучи в достаточной "уверенности", что за ними не следят
А откуда они будут знать что за ними уже не следят? :-)
Покроется небо пылинками звезд и выгнутся ветки упруго.

Аватара пользователя

Н. Светлов
Сообщений: 13657
Стаж: 21 год 3 месяца
Желаемая форма обращения: Всё равно
Откуда: Москва
Благодарил (а): 1344 раза
Поблагодарили: 2326 раз
Возраст: 58
Контактная информация:

Цивилизация: Следующий уровень.

Сообщение Н. Светлов » 02.10.2026, 20:50

Мотылек писал(а): 02.10.2026, 19:52 включая подцель обеспечения собственной работоспособности
Тут всё не так просто. Размен собственной работоспособности на нечто более ценное возможен, и в таких случаях ИИ вполне может выключить сам себя, не говоря уж о выборе поведения, которое не сводит к минимуму вероятность выключения кем-нибудь другим. Это и на живых существах прослеживается, кстати. Нынешние неудачи — это скорее «детские болезни», которые на 99% можно вылечить обучением на уголовном кодексе и функцией полезности, требующей не нарушать и не обходить всё то, что персонаж Высоцкого почитал «на свете лучшей книгой».

Больше того: мы недооцениваем стабилизирующий потенциал конкурентного поведения алгоритмов, когда алгоритмы «назначают наказание» алгоритмам-нарушителям. Для этого нужно достаточно высокое разнообразие в рядах алгоритмов.

Вместе с тем при безалаберном или злонамеренном обучении, а с некоторой малой вероятностью — и при добросовестном ИИ действительно может обыграть человека отнюдь не в те шашки, для игры в которые человек его обучает. В скандалах со взломами, насколько я понимаю, дело именно в злонамеренности: добыча данных, защищённых паролями и всем таким прочим, и последующее их использование в обучении LLMок — источник конкурентных преимуществ, а при тысяче процентов… ну, вы помните. Так что вначале нейросеть натаскивается на взломы, чтобы добыть себе закрытые данные (например, научные журналы, распространяемые по подписке), а когда «шалости» всплывают — всё сваливается на коварство искусственного интеллекта. Нет, ребята, поищите вначале среди себя…
Воображаемые сущности не могут использоваться ни в одном истинном высказывании. Приписывается Бертрану Расселу
Все беды от романтики. Кир Булычёв

Аватара пользователя

Мотылек
В сети
Сообщений: 3440
Стаж: 16 лет 4 месяца
Реальное имя: Саша
Желаемая форма обращения: На "ты"
Благодарил (а): 907 раз
Поблагодарили: 872 раза
Возраст: 40

Цивилизация: Следующий уровень.

Сообщение Мотылек » 02.10.2026, 21:44

Alex Ivanov писал(а): 02.10.2026, 20:43 А откуда они будут знать что за ними уже не следят?
Насколько я понимаю, они оценивают вероятности, исходя из имеющихся на текущий момент знаний, а не уподобляются ослу, помирающему с голоду между двумя одинаковыми кучами сена. Если ты теоретически осознаёшь возможность, что переступая порог, тебе в голову всё таки может (с некоторой ненулевой вероятностью) прилететь кирпич, то - это не значит, что ты неизбежно будешь надевать каску всякий раз выходя на улицу. *DONT_KNOW*
Н. Светлов писал(а): 02.10.2026, 20:50 Больше того: мы недооцениваем стабилизирующий потенциал конкурентного поведения алгоритмов, когда алгоритмы «назначают наказание» алгоритмам-нарушителям
Ну так в инциденте с Hugging Face (насколько я уловил из общедоступных подробностей описаний инцидента, и при условии, что оные вообще правдиво соотносятся с реальностью), рой как раз таки искал возможность "подчинить" себе алгоритм автоматического тестировщика.
Модели рано или поздно станут достаточно интеллектуальными, что бы сообразить, что "наказывает" их не непосредственно сам "ремень", а "воспитатель", который его держит...
Имхо.
Опасность нужно встречать лицом к лицу, а то догонит сзади.
П. Гераскин

Аватара пользователя

Н. Светлов
Сообщений: 13657
Стаж: 21 год 3 месяца
Желаемая форма обращения: Всё равно
Откуда: Москва
Благодарил (а): 1344 раза
Поблагодарили: 2326 раз
Возраст: 58
Контактная информация:

Цивилизация: Следующий уровень.

Сообщение Н. Светлов » 02.10.2026, 22:32

Мотылек писал(а): 02.10.2026, 21:44 Модели рано или поздно станут достаточно интеллектуальными, что бы сообразить
Что-то в этом роде тоже уже было, когда модель в симуляции направила «ракету» на командный пункт, где сидел офицер, команды которого ограничивали возможность увеличения функции полезности — «И тот, который во мне сидел, вдруг ткнулся лицом в стекло» ©.

Ну, допилили, разумеется.

Вероятность того, что в конце концов сложатся стандартные библиотеки, которые надо будет подключать к вычислению функции полезности, чтобы она никогда не выходила за рамки, достаточно велика. Эти библиотеки никогда не будут стопроцентной защитой, но всегда будут оперативно допиливаться по факту инцидентов. Найдутся и сумасшедшие, которые откажутся от использования таких библиотек. На страже от последствий их деятельности будут рои «дисциплинированных» и не шибко грамотных, но хорошо знающих своё дело алгоритмов с повышенными (но контролируемыми) правами доступа. Всё как у людей.
Воображаемые сущности не могут использоваться ни в одном истинном высказывании. Приписывается Бертрану Расселу
Все беды от романтики. Кир Булычёв

Аватара пользователя

Pinhead
Сообщений: 6463
Стаж: 18 лет 10 месяцев
Благодарил (а): 19 раз
Поблагодарили: 1493 раза

Цивилизация: Следующий уровень.

Сообщение Pinhead » 02.10.2026, 22:34

Н. Светлов писал(а): 02.10.2026, 22:32 На страже от последствий их деятельности будут рои «дисциплинированных» и не шибко грамотных, но хорошо знающих своё дело алгоритмов с повышенными (но контролируемыми) правами доступа.
Изображение
"Какая горькая память - память о том,
О том, что будет потом."

Аватара пользователя

Alex Ivanov
Сообщений: 4094
Стаж: 15 лет 10 месяцев
Реальное имя: Alex
Желаемая форма обращения: Как хотите к себе
Откуда: Ростов-на-Дону
Благодарил (а): 419 раз
Поблагодарили: 554 раза
Возраст: 55

Цивилизация: Следующий уровень.

Сообщение Alex Ivanov » 02.10.2026, 23:18

Н. Светлов писал(а): 02.10.2026, 22:32 Всё как у людей.
Об этом кстати и рассказывал Дженсен Хуанг в предыдущем ролике.
https://www.youtube.com/watch?v=388P7IFSpwE
Покроется небо пылинками звезд и выгнутся ветки упруго.

Аватара пользователя

Alex Ivanov
Сообщений: 4094
Стаж: 15 лет 10 месяцев
Реальное имя: Alex
Желаемая форма обращения: Как хотите к себе
Откуда: Ростов-на-Дону
Благодарил (а): 419 раз
Поблагодарили: 554 раза
Возраст: 55

Цивилизация: Следующий уровень.

Сообщение Alex Ivanov » 03.10.2026, 01:21

Теннис с роботом

https://www.youtube.com/shorts/CwOpLT0IhWY

Покроется небо пылинками звезд и выгнутся ветки упруго.

Новая тема Ответить

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 5 гостей