Содержание образования: что добавить, а что убрать

Уже сегодня ученые мира удивляют нас новыми открытиями и техникой, которую мы не ждали ближайшие десятилетия. Насколько будущее приблизилось к нам?

Модератор: модераторы

Аватара пользователя

skor
Сообщений: 1017
Зарегистрирован: 17.06.2005, 03:01
Реальное имя: Сергей
Желаемая форма обращения: На "ты"
Откуда: Авксом
Благодарил (а): 36 раз
Поблагодарили: 134 раза
Возраст: 49
Контактная информация:

Содержание образования: что добавить, а что убрать

Сообщение skor » 03.08.2024, 21:22

Лилия писал(а): 03.08.2024, 20:31 Вы считаете, что компьютер, которому ввели текст для перевода понимает его смысл?
Для того, чтобы иметь мнение по этому вопросу, нужно сначала разобраться, какой смысл мы вкладываем в понятие "понимает смысл текста". Впрочем, я о переводе текста ничего и не говорил, потому что нейронка Whisper3 текст не переводит. Она переводит запись речи в её текстовую расшифровку, т.е. у неё на входе — аудио-файл, а на выходе — текст.
Лилия писал(а): 03.08.2024, 20:31 Там о другом совсем. Височная кора(задняя ее часть) отвечает только за процесс понимания речи.
В том фрагменте интервью, который содержит фразу про "схватились за голову", говорится о том, что существует оптимальный период для усвоения звуков родного языка, после которого обучение новым языкам становится более трудоёмким, но все же возможным на протяжении всей жизни.
► Показать
Лилия писал(а): 03.08.2024, 20:31 Высказывание в данном случае сомнений в компетенции профессора, выглядит ну просто, как банальное непонимание, что он пытается объяснить.
Что пытается объяснить профессор, абсолютно понятно. Просто обосновывает он свою мысль кривовато (для тех, кто немножко в теме) :-)
Алиса в последний раз поглядела на всех, сказала тихо: "Прощайте, ребята", - и вышла из комнаты. Навсегда.

Аватара пользователя

Лилия
Сообщений: 16147
Зарегистрирован: 09.02.2011, 23:26
Желаемая форма обращения: Как хотите к себе
Благодарил (а): 2340 раз
Поблагодарили: 2388 раз

Содержание образования: что добавить, а что убрать

Сообщение Лилия » 03.08.2024, 21:26

skor писал(а): 03.08.2024, 21:22 Просто обосновывает он свою мысль кривовато (для тех, кто немножко в теме)
Смотря в какой теме. По мне так Ваше сравнение мозга с компьютером выглядит даже не кривовато, а совсем криво. :-)
Я интервью слушала, а не читала. Половину пока успела. И по мне так, там вполне определенно говорится о том, что больших ресурсов требует сам речевой процесс, с пониманием и воспроизведением. Про языки это попутно и говорится, только о том,что в детстве языки выучить легче, чем позже.

Отправлено спустя 9 минут 13 секунд:
Для того, чтобы иметь мнение по этому вопросу, нужно сначала разобраться, какой смысл мы вкладываем в понятие "понимает смысл текста".
Ну как? Я Вам пишу, Вы воспринимаете информацию и пишите ответ. Тоже сложный процесс только на уровне письма. Компьютер с Вами переписываться не будет.
С речью примерно также. :-)

Аватара пользователя

Н. Светлов
Сообщений: 12894
Зарегистрирован: 21.06.2005, 12:23
Желаемая форма обращения: Всё равно
Откуда: Москва
Благодарил (а): 1198 раз
Поблагодарили: 2109 раз
Возраст: 58
Контактная информация:

Содержание образования: что добавить, а что убрать

Сообщение Н. Светлов » 03.08.2024, 21:50

skor писал(а): 03.08.2024, 16:54 В интервью Дубынина глаз зацепился за фразу:
Я, кстати, тоже за неё зацепился и чуть было не процитировал. Только вот на какой-то период форум заглючил, и это мне помешало.

Но я её хотел процитировать с иной целью. Возле задней височной доли не крутится кулер. Разумеется, кровоток её в какой-то мере охлаждает, но нет признаков того, что именно она нагревает весь организм до 36,6°C (у птиц 42, хотя задняя височная доля у них ничем подобным не занимается). То есть автор, хоть и не кибернетик (и в других местах, рассуждая о педагогике, попадает в ловушки, в которые попадают все некибернетики — где именно, не помню уже, но осадочек остался), в данном случае очень верно подметил проблему. Айтишники так не умеют, как сумела природа.

В сущности, резервы понятны. Можно генерить на порядки меньше тепла в процессе вычислений (а значит, сделать их менее энергоёмкими), например, с цифровой фотоникой. Просто потому, что фотон не имеет массы покоя. И то, что у человечества нет элементной базы цифровой фотоники — это проблема человечества, а не природы. Но при конструировании мозгов природа пошла по другому пути. Там явно имеет место взаимодействие аналоговых и цифровых вычислений (и, быть может, квантовых). Поэтому она решает задачу отображения звукового потока на речь, используя вычислительное устройство с несравнимо бо́льшими объёмами памяти (правда, очень ненадёжной, постоянно теряющей или искажающей данные), но и с умопомрачительно низкой тактовой частотой. Тем не менее, решает.
Воображаемые сущности не могут использоваться ни в одном истинном высказывании. Приписывается Бертрану Расселу
Все беды от романтики. Кир Булычёв

Аватара пользователя

skor
Сообщений: 1017
Зарегистрирован: 17.06.2005, 03:01
Реальное имя: Сергей
Желаемая форма обращения: На "ты"
Откуда: Авксом
Благодарил (а): 36 раз
Поблагодарили: 134 раза
Возраст: 49
Контактная информация:

Содержание образования: что добавить, а что убрать

Сообщение skor » 03.08.2024, 22:44

Лилия писал(а): 03.08.2024, 21:35 По мне так Ваше сравнение мозга с компьютером выглядит даже не кривовато, а совсем криво.
Так это же не я сравниваю мозг с компьютером, а Дубынин!
Лилия писал(а): 03.08.2024, 21:35 Ну как? Я Вам пишу, Вы воспринимаете информацию и пишите ответ. Тоже сложный процесс только на уровне письма.
Это только кажется, что всё просто. А на самом деле вы неявно распространяете на меня своё внутреннее ощущение. И это логично, так как мы с вами принадлежим к одному биологическому виду :-)

Что касается взаимодействия с компьютерами, инопланетянами и прочими нелюдями, то там всё как раз непросто. Есть широко известный мысленный эксперимент Джона Сёрла под названием "китайская комната", который показывает, в частности, что внешнему наблюдателю практически невозможно определить, понимает ли его собеседник или отвечает по какому-то сложному алгоритму. Более того, если вдуматься, то это даже и не важно.
Лилия писал(а): 03.08.2024, 21:35 Компьютер с Вами переписываться не будет.
Компьютер со мной как раз постоянно переписывается, на чистейшем русском языке (я использую Claude от Antropic, а не ChatGPT, если что). Я иногда прошу его поучить меня чему-нибудь такому, что я совсем не знаю. И могу сказать, что результат меня очень радует. Это гораздо эффективнее, чем читать учебники, потому что можно сразу же задавать вопросы, если что-то непонятно, направляя процесс обучения в нужное для меня русло.
Н. Светлов писал(а): 03.08.2024, 21:50 Айтишники так не умеют, как сумела природа.
Я думаю, айтишники ещё дадут природе прикурить, потому что даже на имеющейся элементной базе есть возможность снизить энергопотребление на пару порядков. В частности, для вывода в нейронных сетях нужно использовать тензорные процессоры, а не графические карты.
Алиса в последний раз поглядела на всех, сказала тихо: "Прощайте, ребята", - и вышла из комнаты. Навсегда.

Аватара пользователя

Лилия
Сообщений: 16147
Зарегистрирован: 09.02.2011, 23:26
Желаемая форма обращения: Как хотите к себе
Благодарил (а): 2340 раз
Поблагодарили: 2388 раз

Содержание образования: что добавить, а что убрать

Сообщение Лилия » 04.08.2024, 00:00

skor писал(а): 03.08.2024, 22:44 Так это же не я сравниваю мозг с компьютером,
Ну как же? Вы и начали. Дубынин говорил, что при попытке воспроизвести речевую функцию мозга на компьютере, обнаружилось, что процесс требует больших энергозатрат. И дальше он объясняет почему именно.
Вы сильно хотите, чтобы ИИ превзошел мозг человека? В принципе в этом интервью Вячеслав Альбертович говорит, что считает это вероятным. Еще такого не слышала до этого от ученых. Только нам это зачем? Там в интервью дальше говорится, что даже люди, которые работают над созданием ИИ тоже считают, ни к чему. :-)
skor писал(а): 03.08.2024, 22:44 Компьютер со мной как раз постоянно переписывается, на чистейшем русском языке
skor, компьютер Вам отвечает то, что у него есть в памяти. Он не генерирует мысли самостоятельно.
И больше, чем в нем запрограммировано, он Вам ответить не сможет. Тот же навигатор взять для примера, если в нем есть данные, где какой-то дом находится, он вас туда выведет, если нет или данные он распознал неверно, можете куда нибудь в поле выехать и будете сами думать потом, как до места всё-таки добраться. :-)
skor писал(а): 03.08.2024, 22:44 Я думаю, айтишники ещё дадут природе прикурить,
Ну была угроза при изобретении ядерного оружия, дать прикурить всей планете, как то пока удержались.
При любом масштабном изобретении, такие угрозы могут возникать.

Аватара пользователя

skor
Сообщений: 1017
Зарегистрирован: 17.06.2005, 03:01
Реальное имя: Сергей
Желаемая форма обращения: На "ты"
Откуда: Авксом
Благодарил (а): 36 раз
Поблагодарили: 134 раза
Возраст: 49
Контактная информация:

Содержание образования: что добавить, а что убрать

Сообщение skor » 04.08.2024, 00:48

Лилия писал(а): 04.08.2024, 00:05 Ну как же? Вы и начали. Дубынин говорил, что при попытке воспроизвести речевую функцию мозга на компьютере, обнаружилось, что процесс требует больших энергозатрат. И дальше он объясняет почему именно.
Вы перепутали. Про энергозатраты не Дубынин говорил, а Светлов :-)

А Дубынин сообщил нам устаревшие сведения о якобы небывалой сложности распознавания речи на компьютере, чтобы объяснить, почему взрослому человеку сложно даётся изучение иностранных языков.
Лилия писал(а): 04.08.2024, 00:05 Вы сильно хотите, чтобы ИИ превзошел мозг человека?
Я считаю это неизбежным. И да, мне это интересно, хотя я понимаю, что в результате лишусь большого количества доступных мне сегодня удовольствий. Утешаю себя, что появятся новые удовольствия, которые превзойдут прежние.
Лилия писал(а): 04.08.2024, 00:05 skor, компьютер Вам отвечает то, что у него есть в памяти. Он не генерирует мысли самостоятельно.
И больше, чем в нем запрограммировано, он Вам ответить не сможет.
Я с вами совершенно согласен, хотя подозреваю, что вы вкладываете в эти несомненно верные слова не совсем тот смысл, который я в них вижу.
Алиса в последний раз поглядела на всех, сказала тихо: "Прощайте, ребята", - и вышла из комнаты. Навсегда.

Аватара пользователя

Лилия
Сообщений: 16147
Зарегистрирован: 09.02.2011, 23:26
Желаемая форма обращения: Как хотите к себе
Благодарил (а): 2340 раз
Поблагодарили: 2388 раз

Содержание образования: что добавить, а что убрать

Сообщение Лилия » 04.08.2024, 16:37

skor писал(а): 04.08.2024, 00:48Вы перепутали.
Ну мне показалось, что Вы всё напутали и вообще не поняли суть процесса. Сложный текст видать сразу решил привести Светлов для общего восприятия. :-)
skor писал(а): 04.08.2024, 00:48 Я считаю это неизбежным.
А я не считаю. :-)

Аватара пользователя

Н. Светлов
Сообщений: 12894
Зарегистрирован: 21.06.2005, 12:23
Желаемая форма обращения: Всё равно
Откуда: Москва
Благодарил (а): 1198 раз
Поблагодарили: 2109 раз
Возраст: 58
Контактная информация:

Содержание образования: что добавить, а что убрать

Сообщение Н. Светлов » 05.08.2024, 14:55

skor писал(а): 04.08.2024, 00:48 А Дубынин сообщил нам устаревшие сведения о якобы небывалой сложности распознавания речи на компьютере
Ну, всё-таки не совсем так. О внушительной сложности. Оказавшейся неожиданной для нейрофизиологов. Потому что действительно непонятно, как устройство, работающее на тактовых частотах порядка гектагерц, решает задачу, которой требуются, при современных технологиях, гигагерцы. Это и сегодня непонятно, вот в чём штука-то. Есть какие-то общие соображения вроде тех, которые я высказал, но это всё вилами по воде. Физически возможно, да, но как именно — :?:
skor писал(а): 03.08.2024, 22:44 Я думаю, айтишники ещё дадут природе прикурить
Кое в каких вопросах дали уже давно. Природа не умеет в гигагерцы. И не факт, что успеет научиться до того, как погаснет последняя звезда (или Большая чёрная дыра имени Горькавого всех поест).
skor писал(а): 03.08.2024, 22:44 тензорные процессоры
Идея тензорных процессоров, конечно, перспективна, но тут возникают два вопроса: во-первых, не совсем понятно, почему они сократят энергопотребление сразу на два порядка (зато понятно, почему они могут повысить скорость обработки данных ценой роста энергопотребления), а во-вторых, почему, несмотря на хайп в области искусственных нейросетей, мы не наблюдаем на рынке бешеное предложение тензорных процессоров.

Кстати, любопытно спросить Claude, что она знает об АСН ;)
Сам бы спросил, да неохота прокси подключать ;)
Воображаемые сущности не могут использоваться ни в одном истинном высказывании. Приписывается Бертрану Расселу
Все беды от романтики. Кир Булычёв

Аватара пользователя

Олег К
Сообщений: 988
Зарегистрирован: 31.10.2009, 21:05
Желаемая форма обращения: Как хотите к себе
Благодарил (а): 244 раза
Поблагодарили: 287 раз

Содержание образования: что добавить, а что убрать

Сообщение Олег К » 05.08.2024, 18:08

Н. Светлов писал(а): 05.08.2024, 14:55 мы не наблюдаем на рынке бешеное предложение тензорных процессоров.
Предложение есть, но все уходит кому надо и то эти кому надо в очередь выстраиваются)). Это как во времена майнинга, не то чтобы предложения не было, просто попробуй достань.

Аватара пользователя

skor
Сообщений: 1017
Зарегистрирован: 17.06.2005, 03:01
Реальное имя: Сергей
Желаемая форма обращения: На "ты"
Откуда: Авксом
Благодарил (а): 36 раз
Поблагодарили: 134 раза
Возраст: 49
Контактная информация:

Содержание образования: что добавить, а что убрать

Сообщение skor » 05.08.2024, 18:21

Лилия писал(а): 04.08.2024, 16:37 Сложный текст видать сразу решил привести Светлов для общего восприятия.
Видимо, так и есть :-)
Н. Светлов писал(а): 05.08.2024, 14:55 Потому что действительно непонятно, как устройство, работающее на тактовых частотах порядка гектагерц, решает задачу, которой требуются, при современных технологиях, гигагерцы. Это и сегодня непонятно, вот в чём штука-то.
Я бы сказал, что сейчас вообще непонятно, как решаются такого рода задачи. Никто не может удовлетворительно объяснить, что именно означают числа в гигантских матрицах, из которых состоят искусственные нейронные сети.

Что же касается сравнения частот работы биологического мозга и графического процессора, то, на мой взгляд, оно довольно спекулятивно и в общем случае некорректно. В мозге отсутствует тактовый генератор, и формально у него вообще нет никакой частоты с технической точки зрения.

Более того, производительность устройства совсем не определяется его частотой, т.е. эта характеристика имеет смысл только в том случае, когда мы сравниваем два устройства с более или менее одинаковой архитектурой. Когда мы говорим об устройствах, имеющих принципиально разную архитектуру, сопоставление их частот теряет всякий смысл.
► Показать
Н. Светлов писал(а): 05.08.2024, 14:55 Идея тензорных процессоров, конечно, перспективна, но тут возникают два вопроса: во-первых, не совсем понятно, почему они сократят энергопотребление сразу на два порядка (зато понятно, почему они могут повысить скорость обработки данных ценой роста энергопотребления), а во-вторых, почему, несмотря на хайп в области искусственных нейросетей, мы не наблюдаем на рынке бешеное предложение тензорных процессоров.
Ответ на первый вопрос: при работе тензорного процессора снимается один уровень интерпретации, а снятие уровня интерпретации в среднем даёт ускорение в 50 раз при том же энергопотреблении.
► Показать
Ответ на второй вопрос: мы как раз наблюдаем бешеное предложение тензорных процессоров, которые клепают все, кому не лень. Они, как правило, имеют производительность в несколько терафлопов, а их энергопотребление составляет единицы ватт. Используются такие процессоры, насколько я понимаю, в основном для распознавания лиц в системах видеонаблюдения. Для этого в них, кроме умножения матриц, на аппаратном уровне реализуют декодирование видеопотока.

По-настоящему крутые тензорные процессоры в данный момент, кажется, имеются только у Google. Проектирование и изготовление такого устройства -- дело сложное и недешёвое, и, видимо, преимущества от эксклюзивного обладания мощными тензорными процессорами превышают выгоду от их продажи.
Алиса в последний раз поглядела на всех, сказала тихо: "Прощайте, ребята", - и вышла из комнаты. Навсегда.

Аватара пользователя

Н. Светлов
Сообщений: 12894
Зарегистрирован: 21.06.2005, 12:23
Желаемая форма обращения: Всё равно
Откуда: Москва
Благодарил (а): 1198 раз
Поблагодарили: 2109 раз
Возраст: 58
Контактная информация:

Содержание образования: что добавить, а что убрать

Сообщение Н. Светлов » 05.08.2024, 20:32

skor писал(а): 05.08.2024, 18:21 Что же касается сравнения частот работы биологического мозга и графического процессора, то, на мой взгляд, оно довольно спекулятивно и в общем случае некорректно.
Да.

Если описывать различия в более строгой форме, то нужно оперировать временами прохождения сигнала между логическими элементами и переключения состояния логического элемента. Но разница в порядках всё равно будет примерно такая вот. Суть в том, что нервная ткань как средство обработки сигналов — средство весьма и весьма тормозное. Но, несмотря на, лексемы и синтаксические конструкции благополучно выделяются из аудиопотока в реальном времени. Даже у китов, чья «речь», по слухам, передаёт на порядки больше данных в единицу времени, чем человеческая.
skor писал(а): 05.08.2024, 18:21 Когда мы говорим об устройствах, имеющих принципиально разную архитектуру, сопоставление их частот теряет всякий смысл.
Об этом и речь: если мерить мозги машиной Тьюринга, получается, что это очень даже нехилая машина Тьюринга. Но суть-то в том, что это вообще ни разу не машина Тьюринга. И что, следовательно, машина Тьюринга — так себе инструмент для решения задач вроде восприятия речи. Хотя, если она более-менее навороченная (на уровне технологий 2010-х), то уже кое-как справляется, да.
skor писал(а): 05.08.2024, 18:21 Ответ на первый вопрос:
skor писал(а): 05.08.2024, 18:21 Ответ на второй вопрос:
*Laie*

Спасибо. До некоторой степени просветлился. Хотя для меня всё же странно, чтобы интерпретация машинного языка сжигала столько энергии. Для ЯВУ это естественно, но для машинного кода? Он же обычно оптимизирован на минимизацию ресурсоёмкости интерпретации. Это вроде как азбука производительности чипов.

Особенно когда по итогам изменения состояния бит эдак 128, происходящего при интерпретации машинного кода, происходит изменение сразу доброй тысячи бит (если не десятка или сотни тысяч) при выполнении закодированной векторной операции. Мартицы ведь видеокарта перемножает повекторно, не?
Воображаемые сущности не могут использоваться ни в одном истинном высказывании. Приписывается Бертрану Расселу
Все беды от романтики. Кир Булычёв

Аватара пользователя

skor
Сообщений: 1017
Зарегистрирован: 17.06.2005, 03:01
Реальное имя: Сергей
Желаемая форма обращения: На "ты"
Откуда: Авксом
Благодарил (а): 36 раз
Поблагодарили: 134 раза
Возраст: 49
Контактная информация:

Содержание образования: что добавить, а что убрать

Сообщение skor » 05.08.2024, 21:41

Н. Светлов писал(а): 05.08.2024, 20:32 Если описывать различия в более строгой форме, то нужно оперировать временами прохождения сигнала между логическими элементами и переключения состояния логического элемента.
Это лучше, чем тактовая частота, да.

Тем не менее, в случае кремниевой микроэлектроники мы можем относительно легко сказать, что является логическим элементом, какими могут быть состояния логических элементов, как именно они переключаются и с какой скоростью. Но когда мы пытаемся отобразить эти понятия на клетки головного мозга, мы опять вступаем в зыбкую область неточных аналогий.
Н. Светлов писал(а): 05.08.2024, 20:32 Об этом и речь: если мерить мозги машиной Тьюринга, получается, что это очень даже нехилая машина Тьюринга. Но суть-то в том, что это вообще ни разу не машина Тьюринга. И что, следовательно, машина Тьюринга — так себе инструмент для решения задач вроде восприятия речи.
Чтобы доказать этот тезис, необходимо показать, что моделирование работы мозга не может быть осуществлено на компьютере. Я не уверен, что у тебя это получится :-)
Н. Светлов писал(а): 05.08.2024, 20:32 Хотя для меня всё же странно, чтобы интерпретация машинного языка сжигала столько энергии. Для ЯВУ это естественно, но для машинного кода? Он же обычно оптимизирован на минимизацию ресурсоёмкости интерпретации. Это вроде как азбука производительности чипов.
Я не являюсь специалистом в разработке чипов, поэтому приведу очень простой пример, который, тем не менее, может дать представление о том, почему специализированное решение может быть принципиально, несопоставимо эффективнее универсального.
► Показать
Алиса в последний раз поглядела на всех, сказала тихо: "Прощайте, ребята", - и вышла из комнаты. Навсегда.

Аватара пользователя

Лилия
Сообщений: 16147
Зарегистрирован: 09.02.2011, 23:26
Желаемая форма обращения: Как хотите к себе
Благодарил (а): 2340 раз
Поблагодарили: 2388 раз

Содержание образования: что добавить, а что убрать

Сообщение Лилия » 06.08.2024, 07:21

Светлов писал(а): 05.08.2024, 18:21 Суть в том, что нервная ткань как средство обработки сигналов — средство весьма и весьма тормозное.
Николай Михайлович, это как посмотреть. Мозг формировался в процессе эволюции. Главная задача мозга какая? Обеспечивать выживание в первую очередь. Если это условие не выполняется, то какой смысл всего остального?
ИИ такую задачу перед собой ставит? Вероятно нет. Даже не задумается и не умеет это делать. Так как самосознания у него нет. Вячеслав Альбертович, в интервью говорит, что даже если допустить, что в какой-то момент самосознание у ИИ получилось сформировать. И что? С чего вдруг мы решили, что он будет принимать решения в нашу пользу?
Дальше ещё говорится, что по этим причинам Илон Маск объявил, что сворачивает разработку проектов в этом направлении. Как бы да. Вероятен сценарий развития событий, как в фильмах про Терминатора. А нам это зачем? Тем более, всё уже создано, остаётся только кнопочки нажать. :?
Получается разумный ИИ человечеству в общем то не нужен. Достаточно развития под определённые задачи.
Если только некоторые пытливые умы так и не успокоются. Чем это может закончиться, да бог его знает. Возможно точкой в истории человечества. :?
Светлов писал(а): 06.08.2024, 07:21 О внушительной сложности. Оказавшейся неожиданной для нейрофизиологов.
Вообще, говорится для программистов при попытках всё это воспроизвести.

Аватара пользователя

Н. Светлов
Сообщений: 12894
Зарегистрирован: 21.06.2005, 12:23
Желаемая форма обращения: Всё равно
Откуда: Москва
Благодарил (а): 1198 раз
Поблагодарили: 2109 раз
Возраст: 58
Контактная информация:

Содержание образования: что добавить, а что убрать

Сообщение Н. Светлов » 06.08.2024, 17:24

skor писал(а): 05.08.2024, 21:41 мы опять вступаем в зыбкую область неточных аналогий.
Бесспорно. Так всегда происходит, когда соприкасаешься с чем-то неизученным. Выбираешь какую-то известную тебе аналогию и пытаешься натянуть эту сову на тот глобус. В процессе натягивания выявляются различия, на глобус наносятся исправления, и натягивание совы повторяется. Это называется системным анализом. Если аналогия по-настоящему плоха, то рано или поздно этот процесс заходит в тупик.
skor писал(а): 05.08.2024, 21:41 Я не уверен, что у тебя это получится
Оно мне и не надо. Я в этой области не специалист. Но осторожно замечу, что смоделировать на машине Тьюринга систему, которую в принципе невозможно клонировать без утраты существенных свойств, проблематично. Свойство неклонируемости вряд ли удастся воспроизвести.
skor писал(а): 05.08.2024, 21:41 очень простой пример
Да, с этим согласен. Но тогда дело не в интерпретации машинного языка, а в осуществлении вычислений непосредственно в оперативной памяти. Это действительно крупный резерв, и вполне можно предположить, что ещё до заката кремниевой эры стандартом компьютера станет именно компьютер со «считающей» памятью (хотя бы для минимального перечня операций). Ведь подходящая элементная база, по сути, уже существует. Правда, внедрение потребует большого объёма НИР, так как нужны новые решения по операционным системам, защите областей данных от несанкционированного исполнения и т.п. Но оно того стоит!
Воображаемые сущности не могут использоваться ни в одном истинном высказывании. Приписывается Бертрану Расселу
Все беды от романтики. Кир Булычёв

Аватара пользователя

skor
Сообщений: 1017
Зарегистрирован: 17.06.2005, 03:01
Реальное имя: Сергей
Желаемая форма обращения: На "ты"
Откуда: Авксом
Благодарил (а): 36 раз
Поблагодарили: 134 раза
Возраст: 49
Контактная информация:

Содержание образования: что добавить, а что убрать

Сообщение skor » 06.08.2024, 19:23

Н. Светлов писал(а): 06.08.2024, 17:24 Но тогда дело не в интерпретации машинного языка, а в осуществлении вычислений непосредственно в оперативной памяти.
Вот опасался я приводить этот пример, потому что он, действительно, наводит на мысль о том, что всё дело в вычислениях в оперативной памяти. Тем не менее, я его привёл от безысходности. Просто вторая операция в тензорном процессоре -- умножение матриц -- слишком сложна, чтобы такой неспециалист, как я, мог грамотно изложить принципы её реализации в кремнии.

Попробую привести другой пример.
► Показать
Надеюсь, что на втором примере мне наконец удалось показать, на что именно универсальный процессор расходует так много электричества :-)
Алиса в последний раз поглядела на всех, сказала тихо: "Прощайте, ребята", - и вышла из комнаты. Навсегда.

Аватара пользователя

Н. Светлов
Сообщений: 12894
Зарегистрирован: 21.06.2005, 12:23
Желаемая форма обращения: Всё равно
Откуда: Москва
Благодарил (а): 1198 раз
Поблагодарили: 2109 раз
Возраст: 58
Контактная информация:

Содержание образования: что добавить, а что убрать

Сообщение Н. Светлов » 06.08.2024, 20:07

skor писал(а): 06.08.2024, 19:23 Надеюсь, что на втором примере мне наконец удалось показать, на что именно универсальный процессор расходует так много электричества :-)
Да, более-менее понятно. Не берусь судить, набегает ли тут более порядка разницы, но резерв для экономии электроэнергии на коммутации вычислительных элементов мне вполне понятен.

Плата за это такова, что если мы захотим учить нейросеть не через оптимизацию, а, скажем, через байесовский вывод (так сейчас, afaik, никто не умеет, но мне отчего-то кажется, что это вопрос топологии нейросети) — придётся менять всё железо. Но при нынешних аппетитах deep learning на энергию периодическая замена железа может оказаться в разы дешевле использования универсальных компьютеров.
Воображаемые сущности не могут использоваться ни в одном истинном высказывании. Приписывается Бертрану Расселу
Все беды от романтики. Кир Булычёв

Аватара пользователя

Нгаан
Сообщений: 21475
Зарегистрирован: 16.02.2008, 20:25
Желаемая форма обращения: Всё равно
Откуда: Y-краина
Благодарил (а): 2226 раз
Поблагодарили: 3997 раз
Возраст: 18

Содержание образования: что добавить, а что убрать

Сообщение Нгаан » 06.08.2024, 20:25

Лилия писал(а): 06.08.2024, 07:23 Дальше ещё говорится, что по этим причинам Илон Маск объявил, что сворачивает разработку проектов в этом направлении.
Насчёт Илона Маска и его причин я сильно сормневаюсь, ибо в таком социально-значимом бизнесе как у Маска всегда "есть реальная причина и та, которая красиво звучит".
:wink:
Н. Светлов писал(а): 06.08.2024, 17:24 что ещё до заката кремниевой эры стандартом компьютера станет именно компьютер со «считающей» памятью
Полагаю, что если в эту модель ещё добавить "динамический параллелизм", когда цепи обработки информации складываются и распадаются и снова складываются, но в иной конфигурации, как это происходит в живом мозге, то ... станет совсем интересно.
:D
К тому же следует добавить, что в мире живых людей помимо "локального параллелизма" существует ещё "глобальный параллелизм", проще говоря одну и ту же задачу часто решают разные коллективы умных "решателей" (учёные группы), которые тоже имеют тенденцию объединяться и распадаться весьма спонтанно и вот это всё вместе позволяет двигать научно-технический прогресс. Какой супер-мозг понадобится, чтобы этот процесс воспроизвести, я даже представить боюсь.
:facepalm:
"Если бы кошек не было на свете, их стоило бы выдумать."
(Юрий Куклачёв)

Аватара пользователя

Олег К
Сообщений: 988
Зарегистрирован: 31.10.2009, 21:05
Желаемая форма обращения: Как хотите к себе
Благодарил (а): 244 раза
Поблагодарили: 287 раз

Содержание образования: что добавить, а что убрать

Сообщение Олег К » 06.08.2024, 20:43

Н. Светлов писал(а): 06.08.2024, 17:24 ещё до заката кремниевой эры стандартом компьютера станет именно компьютер со «считающей» памятью (хотя бы для минимального перечня операций).
То есть выполнять операции, за раз на длиннющих строках конденсаторов, прямо внутри чипа dram? Заманчиво.
Н. Светлов писал(а): 06.08.2024, 20:07 Не берусь судить, набегает ли тут более порядка разницы, но резерв для экономии электроэнергии на коммутации вычислительных элементов мне вполне понятен.
Они там еще на битах экономят за счет точности и диапазона чисел.

Аватара пользователя

skor
Сообщений: 1017
Зарегистрирован: 17.06.2005, 03:01
Реальное имя: Сергей
Желаемая форма обращения: На "ты"
Откуда: Авксом
Благодарил (а): 36 раз
Поблагодарили: 134 раза
Возраст: 49
Контактная информация:

Содержание образования: что добавить, а что убрать

Сообщение skor » 06.08.2024, 20:46

Н. Светлов писал(а): 06.08.2024, 20:07 Плата за это такова, что если мы захотим учить нейросеть не через оптимизацию, а, скажем, через байесовский вывод (так сейчас, afaik, никто не умеет, но мне отчего-то кажется, что это вопрос топологии нейросети) — придётся менять всё железо.
Да, так и есть.
Алиса в последний раз поглядела на всех, сказала тихо: "Прощайте, ребята", - и вышла из комнаты. Навсегда.

Аватара пользователя

Лилия
Сообщений: 16147
Зарегистрирован: 09.02.2011, 23:26
Желаемая форма обращения: Как хотите к себе
Благодарил (а): 2340 раз
Поблагодарили: 2388 раз

Содержание образования: что добавить, а что убрать

Сообщение Лилия » 06.08.2024, 21:30

Нгаан писал(а): 06.08.2024, 19:23 Насчёт Илона Маска и его причин я сильно сормневаюсь, ибо в таком социально-значимом бизнесе как у Маска всегда "есть реальная причина и та, которая красиво звучит".
Нгаан, ну бизнес-ни бизнес. Что же он не человек что ли? Если есть угроза, что весь мир может накрыться, потому как ИИ такое решение принял. Кому потом весь этот бизнес нужен будет? :?

Новая тема Ответить

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 1 гость