Век информации переходит в век киборгов

[Нгаан]

А позади — жалкие пять тысяч.

На самом деле "жалкие побольше", ибо сказано, что история о Геракле была рассказана мастером своего дела Еврипидом, поэтом 5-го века до нашей эры, а и он не был первым из тех, кто рассказывал свои истории.

[Н. Светлов]

потому что существует множество исторических примеров, опровергающих подобные построения.

Да-да. Можно, например, сравнить танки, созданные частной компанией Фердинанда Порше, и танки, разработанные в государственных КБ Советского Союза.

Если всерьёз, то между государством и частной компанией нет никакой принципиальной разницы. Государство — это тоже частная лавочка, а какая из частных лавочек работает лучше, какая хуже — зависит от такой кучи факторов, что проклянёшь всё на свете, пока разметишь обучающую выборку. Но вообще похоже на правду, что частные фирмы, не исключая из их числа государства, рождаются, развиваются, достигают зрелости и умирают. Уважаю второй закон термодинамики.

[Нгаан]

Я бы не увлекался как географическим детерминизмом, так и объяснениями, основанными на "менталитете"

► Показать

Уж не социалист ли вы, батенька?

[Н. Светлов]

На самом деле "жалкие побольше", ибо сказано, что история о Геракле была рассказана мастером своего дела Еврипидом, поэтом 5-го века до нашей эры, а и он не был первым из тех, кто рассказывал свои истории.

Я считаю от предполагаемого основания самого древнего из известных государств.

По-видимому, то, что было раньше, — уже «культура», но ещё не «цивилизация».

[skor]

► Показать

Уж не социалист ли вы, батенька?

Не, вряд ли. Скорее всего я минархист и правый акселерационист

[Нгаан]

то для киборгов работающих на световых скоростях это будет происходить практически мгновенно

И всё же я бы вернулся к киборгам.

Насколько я понимаю, это такие "активные модули", "железные агенты Смиты", если кому-то непонятно, или не железные, не важно. Они разбредаются по поверхности (планеты) и фиксируют всё, что им попадается, а потом "несут это в свой улей" (или муравейник), но несут не буквально, а передают по сверхскоростным каналам. Там, "в улье", матка-супермозг анализирует всю полученную информацию и вырабатывает наиболее адекватные решения, отправляя новые партии пчёло-муравьёв на исследование новых рубежей.

Есть в этой модели что-то от Томмазо Кампанеллы, но да бог с ним, ибо в сто третий раз заводить разговор о свободе воли мне не досуг.

Вопрос в другом: что случится, если какой-то пчело-муравей или группа таковых потеряет связь с родным ульем? Каковым должен быть уровень резервирования каналов связи с ульем, чтобы ни один пчёло-муравей не утратил возможность получать ценные указания?

[skor]

Если всерьёз, то между государством и частной компанией нет никакой принципиальной разницы. Государство — это тоже частная лавочка, а какая из частных лавочек работает лучше, какая хуже — зависит от такой кучи факторов, что проклянёшь всё на свете, пока разметишь обучающую выборку.

Государство -- это "тоже частная лавочка", которая, к тому же, обладает инструментами легального насилия. И это как раз принципиальное отличие государства от любой сколь угодно могущественной частной фирмы.

[Н. Светлов]

Государство -- это "тоже частная лавочка", которая, к тому же, обладает инструментами легального насилия.

Мне кажется, что слово «легальное» обладает каким-то магическим свойством. Скажешь «легальное» — и вроде бы как речь идёт о чём-то принципиально ином.

► Показать

[Alex Ivanov]

Каковым должен быть уровень резервирования каналов связи

Посчитайте сколько компьютеров, игровых приставок и смарт-телефонов в мире. Они почти все подключены к интернету и постоянно обмениваются информацией как друг с другом, так и с миллиардами серверов.
Я думаю что помимо локальных суперкомпьютеров участие в решении сложных задач будут также принимать и киборги представляя собой все вместе гигантский глобальный распределенный суперкомпьютер.

[skor]

Мне кажется, что слово «легальное» обладает каким-то магическим свойством. Скажешь «легальное» — и вроде бы как речь идёт о чём-то принципиально ином.

Правильнее будет сказать "легитимное", конечно. Это когда большинство людей считают, что некто имеет право на насильственные действия.

Я думаю что помимо локальных суперкомпьютеров участие в решении сложных задач будут также принимать и киборги представляя собой все вместе гигантский глобальный распределенный суперкомпьютер.

Пропускная способность линий связи всё же очень важна, потому что если 99.9% энергии этот гигантский глобальный распределённый суперкомпьютер будет тратить на передачу данных между киборгами, то пользы от него будет немного.

Аналогия с устройствами в интернете при этом неправильная, т.к. все эти "компьютеры, игровые приставки и смарт-телефоны" не решают одну общую задачу.

[Alex Ivanov]

А ныне нам бы не растерять то, чем уже владеем. То единственное, что реально принадлежит нам и что никто у нас не отожмёт, — то, что у нас в головах.

Нужно смотреть в корень проблемы. Все конфликты и войны происходят из-за того что люди смертны и постоянно борются за выживание. Если люди будут бессмертны, то необходимость такой борьбы автоматически отпадет.

Если вы помните фильм "Старик Хоттабыч", то там есть момент где Волька и Хоттабыч пришли на футбол. Хоттабыч пожалел бедных футболистов которые бегали за одним мячом и выдал каждому по мячу. Игра сразу потеряла смысл.

Отправлено спустя 11 минут 35 секунд:

Пропускная способность линий связи всё же очень важна, потому что если 99.9% энергии этот гигантский глобальный распределённый компьютер будет тратить на передачу данных между киборгами, то пользы от него будет немного.

Этот вопрос уже обсуждался раньше. Перечитайте тему.

Аналогия с устройствами в интернете при этом неправильная, т.к. все эти "компьютеры, игровые приставки и смарт-телефоны" не решают одну общую задачу.

Есть проекты которые как раз этим и занимаются.
https://ru.wikipedia.org/wiki/Folding@home
https://ru.wikipedia.org/wiki/Rosetta@home
https://ru.wikipedia.org/wiki/SETI@home
https://ru.wikipedia.org/wiki/%D0%91%D0 ... 0%B9%D0%BD

[ZYOBRA_70]

Все конфликты и войны происходят из-за того что люди смертны и постоянно борются за выживание.

Первую тысячу лет трудно, а потом привыкаешь...
Кое-что задаром. Роберт Шекли

[skor]

Этот вопрос уже обсуждался раньше. Перечитайте тему.

Тема уж слишком длинная. Если подкинете ссылочку на конкретное сообщение, с удовольствием прочитаю.

Есть проекты которые как раз этим и занимаются.

Есть очень редкие примеры задач, которые хорошо параллелятся.

В общем случае, однако, задачи либо вообще не параллелятся, либо параллелятся плохо. Например, в датацентрах, занимающихся обучением больших языковых моделей, видеокарты загружены в среднем процентов на 30, а всё остальное время уходит на передачу данных между ними. Представьте себе 100000 видеокарт, каждая из которых стоит по $25000, простаивающие 70% времени!

[Alex Ivanov]

Например, в датацентрах, занимающихся обучением больших языковых моделей, видеокарты загружены в среднем процентов на 30, а всё остальное время уходит на передачу данных между ними. Представьте себе 100000 видеокарт, каждая из которых стоит по $25000, простаивающие 70% времени!

Можете привести официальный источник об этой проблеме?

[Нгаан]

Посчитайте сколько компьютеров, игровых приставок и смарт-телефонов в мире.

При этом нужно учесть, что прямо сейчас, пока я пишу это сообщение, тысячи из них сгорели или вышли из строя.

Кроме того, компьютеры эти работают в пределах развитой инфраструктуры, а что происходит на "фронтире"? Там, где нет бесперебойных источников питания и сплошного покрытия спутниковыми системами связи.

Если активные агенты будут призваны "открывать новые горизонты", то кто-то другой должен прежде обеспечить им всю развитую инфраструктуру. В природе это обеспечивается чрезвычайной избыточностью агентов: тысячи пчёл вылетают из улья и ... многие из них каждый день не возвращаются обратно. Чтобы поддерживать гомеостаз системы, улей должен постоянно продуцировать новых агентов в достаточном количестве.

[Alex Ivanov]

Тема уж слишком длинная. Если подкинете ссылочку на конкретное сообщение, с удовольствием прочитаю.

viewtopic.php?f=8&t=5665&p=167450&hilit ... 8B#p167450

Отправлено спустя 7 минут 19 секунд:

Чтобы поддерживать гомеостаз системы, улей должен постоянно продуцировать новых агентов в достаточном количестве.

Я думаю что основную задачу по освоению будут выполнять нанороботы. Киборги будут их частным проявлением.

[skor]

Можете привести официальный источник об этой проблеме?

Официально такие данные держатся в секрете. Однако, есть утечки про детали обучения GPT-4 в OpenAI. Вот здесь они собраны все вместе: https://plainswipe.com/gpt-4-details-leaked/index.html.

В разделе "Training Cost: An Expensive Endeavor" сказано, в частности:

The training of GPT-4 came with substantial costs. OpenAI’s training FLOPS (floating-point operations per second) for GPT-4 amounted to approximately 2.15e25, utilizing around 25,000 A100 GPUs for 90 to 100 days at a utilization rate of 32% to 36%

Т.е. степень использования графических процессоров при обучении GPT-4 составила от 32 до 36 процентов. В принципе, тех, кто в теме, эти цифры совсем не удивляют.

[Alex Ivanov]

Первую тысячу лет трудно, а потом привыкаешь...
Кое-что задаром. Роберт Шекли

Ему нужно было загадать всего одно желание - "Сделай меня Богом!"
Тем не менее получив только один атрибут Бога - бессмертие, у него теперь есть время чтобы добиться и всех остальных атрибутов. Просто это займет намного больше времени.

Отправлено спустя 24 минуты 37 секунд:

Т.е. степень использования графических процессоров при обучении GPT-4 составила от 32 до 36 процентов. В принципе, тех, кто в теме, эти цифры совсем не удивляют.

Там дальше сказано: "Due to numerous failures requiring restarts from checkpoints, the utilization rate remained low."
"Из-за многочисленных сбоев, требующих перезапуска с контрольных точек, уровень использования оставался низким".
Но ничего не сказано про:

видеокарты загружены в среднем процентов на 30, а всё остальное время уходит на передачу данных между ними.

[Нгаан]

видеокарты загружены в среднем процентов на 30, а всё остальное время уходит на передачу данных между ними

В принципе, тех, кто в теме, эти цифры совсем не удивляют.

Они не удивляют даже тех, кто не в теме столь глубоких проблем нейросетевых моделей, ибо известно, что в своё время в компании "Cray Research" проектировали специальную форму мэйнфрейма (полукруг), чтобы любыми способами максимально сократить пути передачи данных в этой многопроцессорной архитектуре. Кроме того, были введены специальные процессоры "супервизоры", в задачу которых входило наблюдать за работой вычислительных ядер и отключать или перезагружать их при зависании. Далее практика построения подобных систем показала, что с ростом независимых вычислительных мощностей, рост нагрузки на "супервизоры" становится чуть ли не экспоненциальным. Предполагалось, что решение будет найдено в так называемых "распеределённых вычислительных" сетях, но там полезли иные стороны всё той же проблемы и во всю встал вопрос под названием "когерентность данных", когда изменённые данные в одном "агенте" должны моментально уведомить другие о том, что их данные "устарели". Нынче, насколько я понимаю, потому и "молятся" на квантовую запутанность, что полагают будто она сможет устранить этот системный "затык".
Но что-то я сомневаюсь...


Отправлено спустя 3 минуты 58 секунд:

основную задачу по освоению будут выполнять нанороботы. Киборги будут их частным проявлением.

То есть нанороботов не жалко? Пусть мрут миллиардами?

Это в корне меняет подход.

Правда очень трудно удержаться от мысли, что может быть люди это и есть такие вот "нанороботы" какого-то могущественного Творца, который через них утверждает в мёртвой Вселенной своё величие.
Ну да ладно. Это старая песня.

[Н. Светлов]

Все конфликты и войны происходят из-за того что люди смертны и постоянно борются за выживание.

Есть другая точка зрения. Большинство войн происходит оттого, что люди называют одни и те же вещи разными словами или разные вещи одними и теми же словами. Это создаёт у каждой стороны иллюзию того, что она имеет дело с дураками, на которых нет другой управы, кроме силы.

Я за последние полвека не встречал людей, которые бы боролись за выживание.

Это когда большинство людей считают, что некто имеет право на насильственные действия.

В результате такого мнения большинства людей те, кто хочет предпринимать насильственные действия, стараются создавать государства и править ими. Те из них, кому это не удалось, применяют насилие нелегитимно, а те, кто применяют его легитимно, им попустительствуют, если находят это выгодным для себя.

Так и живём последние пять тысяч лет. И даже кое-чего достигли. Облака Оорта, например.