Рисуем Алису с нейросетями

[Н. Светлов]

А так, с карандашами и кистями, бодаться не придется?

Ну, BabylonAS как раз имеет соответствующий опыт. Пусть не шедевры, но сам.

[ПереГиБ]

Ну, BabylonAS как раз имеет соответствующий опыт. Пусть не шедевры, но сам

Я помню, что Коллега Пруль сам рисовал. Карандашом.
Творчества BabylonAS не помню

[Лапин]

Карандашом можно. Это тоже увлекательно. Но долго.
И - да, не шедевры. Увы.
ИИ-картинки тоже не шедевры, но быстро.

Тут вот сделал очередное открытие, сравнивая результаты генераций (FLUX+++LoRA, Krea.ai).
Здесь тоже имеет место зависимость внешности персонажа от описания окружения. Весьма заметная, и досадная.
По крайней мере, с LoRA на основе картинок от Шедеврума, в котором это явление просто бесит.

Лучше всего удаются портреты в sci-fi интерьерах космо-баз и звездолётов, и где море-пляж, солнечно.







Причем пляж стабильно перебивает собой весь остальной sci-fi антураж (надо полагать, пляж массово присутствует в основном датасете), к примеру ниже - Around of it wide metal start fild-deck : A sandy beach in a cozy tropical bay with clear, turquoise water, palm trees... Пляж есть, взлетного поля с космопортом нету


Пасмурный свет, дождь в кадре, хмурая погода - делают лицо опухшим и даже хмурым
Процент непохожих картинок при этом гораздо больше.





А поскольку среди 50 картинок, которые возможно включать в датасет, из одежды персонажа были только скафандр без шлема, комбез и купальник, то любой иной гардероб с этой LoRA отрисовать почти невозможно.
К примеру, если запросить полосатую футболку, шорты, кроссовки, то в результате получается в лучшем случае как-то вот так:

► Показать

[axe_chita]

Ну, BabylonAS как раз имеет соответствующий опыт. Пусть не шедевры, но сам.

КМК это сугубо философский вопрос о выборе инструмента творчества. Кто -то углём из костра скале рисует, кто-то кистями на собственноручно созданном холсте, кто-то фотоаппаратом на фотоплёнку с последующим священнодействием проявки и фотопечати, кто-то на цифру с последующей обработкой в фотошопе, а кто-то использует нейросеть для создания образов манипулируя запросами к ней. Но всё это объединяет одно общее: без знаний и опыта, любой инструмент бесполезен, и тут абсолютно не важно какие прекрасные и удивительные образы существуют в твоих мыслях.
Проще говоря "No pain, no gain" или "Без труда, не выловишь и рыбку из пруда.".

► Показать

"Раз счастье, два раза счастье — помилуй Бог! Надо же когда-нибудь и немножко умения."
А.В.Суворов

[BabylonAS]

Творчества BabylonAS не помню

Честно, я мало рисую, и навыков у меня немного. То, что якобы было рисунком Алисы, имело с ней из общего по сути только имя. Потом вместо Алисы я рисовал другого персонажа, не из алисианы.

[ПереГиБ]

Потом вместо Алисы я рисовал другого персонажа, не из алисианы

А, припоминаю. Из "Звёздных войн".

[Мотылек]

в лучшем случае как-то вот так

А что, вполне симпатичное цветовое сочетание, особенно последнее изображение. Однотонный комбинезон (или максимум с полосками) уже примелькался, а тут прям милота, аля космо-ползуны.

[максим]

Ну, BabylonAS как раз имеет соответствующий опыт. Пусть не шедевры, но сам.

КМК это сугубо философский вопрос о выборе инструмента творчества. Кто -то углём из костра скале рисует, кто-то кистями на собственноручно созданном холсте, кто-то фотоаппаратом на фотоплёнку с последующим священнодействием проявки и фотопечати, кто-то на цифру с последующей обработкой в фотошопе, а кто-то использует нейросеть для создания образов манипулируя запросами к ней. Но всё это объединяет одно общее: без знаний и опыта, любой инструмент бесполезен, и тут абсолютно не важно какие прекрасные и удивительные образы существуют в твоих мыслях.
Проще говоря "No pain, no gain" или "Без труда, не выловишь и рыбку из пруда.".

► Показать

"Раз счастье, два раза счастье — помилуй Бог! Надо же когда-нибудь и немножко умения."
А.В.Суворов

Вот за Суворова

[Н. Светлов]

КМК это сугубо философский вопрос о выборе инструмента творчества.

Не совсем так.

У каждого инструмента есть ограничения. Малярная кисть — тоже инструмент, и «Сикстинскую мадонну» ею не нарисуешь. Карандаш ограничивает возможности смешения цветов. Акварель не любит тонкие контрастные линии. И т.д.

Если с этой точки зрения взгянуть на алгоритм, то его ограничения очень жёсткие. Их либо невозможно обойти, совершенствуясь в технике, либо за это приходится платить отклонением от замысла. Всё, что может нейросеть, — это комбинировать известные ей (при обучении либо из промпта) изображения, меняя их масштаб и применяя фотошоповские фильтры. Плюс ещё она может удалить объект по его словесному описанию либо заменить его другим, если она помнит картинку того другого объекта.

Творчество здесь, пожалуй, начинается с того момента, когда художник переобучает нейросеть под свои нужды каждый раз, когда ему нужно создать желаемое изображение. Такой опыт в наших краях есть (я имею в виду одного из наших Денисов), и вот он заметно выделяется среди иных попыток. Выделяется иным балансом между замыслом и «рамками»: замысла в рисунках больше, «рамок» меньше.

Впрочем, если выяснится, что мне это только кажется, — я не удивлюсь.

[Лапин]

...
Творчество здесь, пожалуй, начинается с того момента, когда художник переобучает нейросеть под свои нужды каждый раз, когда ему нужно создать желаемое изображение.

Это как посмотреть. Можно ведь сказать, что творческий полёт фантазии спотыкается как раз в тот момент когда возникает необходимость пере- или до-обучать НС настраивая её на желаемый результат.
Это тоже творческий процесс, но уже иного рода.

К слову, заставить ИИ рисовать в нужном направлении можно через картинку-образец, и тогда изобразительная лотерея станет чуть более предсказуема.

Здесь для образца была взята Шедеврумиальная картинка из серии "Кажись, приехали..." , из выложенных ранее:

► Показать

В связке с LoRA-ми на Креа.аи выходит так:

[axe_chita]

Еще немного генераций из осени 2023, теперь локально запущенном FooocusV2 (который тогда называли "бесплатным Midjourney у вас на компьютере")
К сожалению, точный запрос к Н/С не сохранился, по крайней мере я его не смог найти его на флешках. Но скорее всего он базировался на вот этом

► Показать

"Алиса — девочка школьного возраста, живущая в футуристической Москве конца XXI века. девочка высокого роста со светлыми короткими волосами и спортивного телосложения, одетая обычно в «мужскую» одежду (шорты и майка, либо комбинезон). Возраст 12 лет. Стиль рисунка Евгения Мигунова", генерация производилась в стиле аниме, что наложило своеобразный японский акцент







Вот тут пошли генерации с утерянной частью запроса, где я постарался добавить рисункам немного "сказочности и тайны"

Получилось довольно мило
После знакомства с FooocusV2, я решил что созрел на сборку автоматического калейдоскопа с персептроном и фильтрами отбора результата по запросу отдельного ПК с RTX3xxx. Параллельно, я погрузился в визуализацию мира "Великого Внеземелья" Сергея Павлова. И к Алисе, я вернулся только после выхода прорывного Flux
Даже первая генерация, без настроек запроса, дала удовлетворительные результаты с первой генерации

► Показать

"Алиса — девочка школьного возраста, живущая в футуристической Москве конца XXI века. девочка высокого роста со светлыми короткими волосами и спортивного телосложения, одетая обычно в «мужскую» одежду (шорты и майка, либо комбинезон). Возраст 12 лет. Стиль рисунка Евгения Мигунова"

[axe_chita]

У каждого инструмента есть ограничения. Малярная кисть — тоже инструмент, и «Сикстинскую мадонну» ею не нарисуешь.

Почему нельзя? Если ты расписываешь церковь, то ты неизбежно вынужден пользоваться и малярной кистью. Скажем так, масштаб производимых работ требует соответствующего инструмента. Опять же если создается мурал на стене здания, то там кисточка и карандаш так же становятся не эффективны.
Кстати в мурале увековечили и Алису, облагородив ТП-шку в Сыктывкаре https://komiinform.ru/news/269076

Если с этой точки зрения взгянуть на алгоритм, то его ограничения очень жёсткие.

Алгоритм - простодушно недалёкий неутомимый исполнитель, а человек представляющий замысел в целом и дающий указания алгоритму - уже творец. И человек, знающий ограничения исполнителя может обходить их, или маскировать их. К примеру, пока н/с не научились правильно "считать пальцы" то я, если была возможность, прятал кисти рук в карманы, или убирал руки за спину Было ли это прям жестоким компромиссом меняющий замысел в целом? Нет

Всё, что может нейросеть, — это комбинировать известные ей (при обучении либо из промпта) изображения, меняя их масштаб и применяя фотошоповские фильтры.

Современные н/с не имеющие памяти обучения, как я уже не раз говорил, это "параллельный автоматический калейдоскоп с смешиванием, персептроном и фильтрами отбора результата по запросу"

Творчество здесь, пожалуй, начинается с того момента, когда художник переобучает нейросеть под свои нужды каждый раз, когда ему нужно создать желаемое изображение.

Нет тут обучения как такового Просто мы добавляем н/с ещё один датасет/пазл/калейдоскоп который она крутит с исполнительностью болвана.

[Лапин]

Нет тут обучения как такового Просто мы добавляем н/с ещё один датасет/пазл/калейдоскоп который она крутит с исполнительностью болвана.

дык... это и есть обучение НС. Какое-никакое. Причем некую "память обучения" иные ИИ явно применяют, но по своему (недо)разумению.

За основательный подход к освоению НС тебе респект .
Сам-то я до сих пор не сподобился собрать ящик под локальную установку НС.
Всё по сервисам мыкаюсь.

По ретроспективе первых генераций прорывного Flux - хм...
да, девочки вышли удовлетворительно.
Но Алисы среди них я не увидел.
Как-то не срастается эта внешность с книжным её образом.

... Мне хорошо знаком эффект очарования от нового рисунка, а тем более - от новой генерации, которые иной раз поначалу кажутся очень удачными. Но это проходяще.
На большинство своих прошлых генераций Алисы я теперь могу смотреть разве что так:
Но это отнюдь не значит, что надо плюнуть на всё и забросить.
Творим дальше.

[axe_chita]

Продолжим делится результатами генераций в FluxDev (локально). Запрос менялся минимально, но использовались различные стили в WebUI Forge

► Показать

Запрос "блондинка с очень короткой стрижкой, в обтягивающем скафандре, голова закрыта шлемом, на рукаве скафандра шеврон с флагом россии, на груди скафандра надпись "Пегас", она пробирается к нам через инопланетные джунгли, полные странных летающих и ползающих насекомых, с деревьев свисают светящиеся лианы в цветах, рядом с которыми порхают мелкие медузы"

Отправлено спустя 1 час 16 минут 30 секунд:

дык... это и есть обучение НС. Какое-никакое. Причем некую "память обучения" иные ИИ явно применяют, но по своему (недо)разумению.

Скорее это тренировка условных рефлексов у автора, что бы он бессознательно хомячил удачные запросы и сиды. Seed это случайное число задаваемой генерации очень важно, если ты хочешь повторить почти тоже самое изображение.

За основательный подход к освоению НС тебе респект

Спасибо, за добрые слова. Просто часто не хватает времени и сил, чтобы "учиться военному делу нейросетям основательно настоящим образом".

Сам-то я до сих пор не сподобился собрать ящик под локальную установку НС.
Всё по сервисам мыкаюсь.

Если будешь собирать "калейдоскоп" то видеокарту бери с памятью не менее 8гб, естественно RTX не ниже 30хх серии, но 50хх серию не советую пока брать, по крайней мере пока не допилится поддержка н/с новой версии CUDA. Под AMD и Intel поддержка н/с допиливается по остаточному принципу. Оперативки как минимум 16гб, лучше больше. SSD 256гб самый минимум н/с очень "жирные" и "прожорливы" до свободного места, ругаю себя что не взял себе хотя бы пару терриков по лету 2025

По ретроспективе первых генераций прорывного Flux - хм...
да, девочки вышли удовлетворительно.
Но Алисы среди них я не увидел.
Как-то не срастается эта внешность с книжным её образом.

Наиболее близко к книжному описанию, вторая, четвертая, шестая, и с оговорками седьмая генерации. Почему я назвал переход на флюкс прорывным? Во первых исчезновение дискриминационного промпта "чего не должно быть в генерации". Во вторых, исчезновение мелких но назойливых глюков которые ты раз увидишь и будешь замечать везде (зрачки/косоглазие/пальцы/суставы/завернутые веки/ресницы). Третье появление почти работающих надписей. И конечно же целостность рисунка и очень редкое сваливание в шизофрению и бред

... Мне хорошо знаком эффект очарования от нового рисунка, а тем более - от новой генерации, которые иной раз поначалу кажутся очень удачными. Но это проходяще.
На большинство своих прошлых генераций Алисы я теперь могу смотреть разве что так:

Есть такое. Но могу поделится наблюдением, генерации к которым применил стиль "рисунок карандашом, иллюстрация, комикс" благополучно проходят "зловещую долину" и выдерживают испытание временем

Но это отнюдь не значит, что надо плюнуть на всё и забросить.
Творим дальше.

Продолжаем творить и работать!
«Кто норму выполняет, тому талоны на усиленное питание! Строжайшее соблюдение норм и правил техники безопасности, должно стать нормой на производстве. План — закон, выполнение — долг, перевыполнение — честь! Арбайт по-стахановски!» "Братва и кольцо"

[Н. Светлов]

axe_chita, уточнения принимаются. Я, со своей стороны, мог бы выдать ещё цикл уточнений, но в деталях увязать не хочется. Суть в целом понятна.

[Лапин]

Доброго времени.

Ради эксперимента взял промпт axe_chita из поста выше:

► Показать

блондинка с очень короткой стрижкой, в обтягивающем скафандре, голова закрыта шлемом, на рукаве скафандра шеврон с флагом россии, на груди скафандра надпись "Пегас", она пробирается к нам через инопланетные джунгли, полные странных летающих и ползающих насекомых, с деревьев свисают светящиеся лианы в цветах, рядом с которыми порхают мелкие медузы

Понятно, что там генерации давние, но для наглядного сравнения, насколько различны бывают результаты
Больше всего удивило, что у axe_chita там иногда получалось мал-мал похоже на девочку. Без доп. "стилей" с этого промпта все рисуют здоровенных тёток:

► Показать

Zimage

Flux2klein

Qwen2512

Flux вообще чудит, стабильно

Флюкс, на Креа, + LoRa. То ли Flux там не той системы, то ли ещё что. Упорно не хочет рисовать идущую во весь рост:

► Показать

А это очарование сегодняшнего дня:
просто портрет Алисы.

[Мотылек]

Такое впечатление, что собачка либо сильно чего то перепужалась (не исключено, что персонажей заднего плана со следующей картинки) либо ее током ударило.

[axe_chita]

Понятно, что там генерации давние, но для наглядного сравнения, насколько различны бывают результаты

Тут есть нюанс в подготовке запроса на генерацию.
Первое: Даже если н/с заявляет что она спокойно принимает запросы на русском, давайте ей запросы только на английском и обязательно вычитывайте перевод чтобы у сети не возникло недопонимания с полисемичными словами. К примеру в моем случае это "блондинка" которое в контексте без уточнения распознаётся как "взрослая женщина блондинка". И чтоб н/с рисовала девочек/подростков/девушек надо давать конкретное уточнение о ком идет речь. Причем попытка указать возраст в годах часто даёт непредсказуемый результат, лучше добавлять конкретно "маленькая/юная девочка/ тинэйджер/молодая женщина. И тут возникает соблазн описать всё максимально конкретно, но есть НО.
Второе: И тут возникает ограничение: Контекстное окно в рамках запроса не такое уж и большое, ЕМНИП всего 70 токенов/образов на всё про всё. Вроде бы достаточно много, но не забывайте что "стили" тоже "откусывают" токены от контекста. А если запрос превысит окно, то запрос будет обрезан по границе окна, с порождением "мусора" в конце запроса который может привести к глюкам генерации. Кстати поэтому н/с частеньку игнорируют команды которые вы даёте в конце запроса. При локальной генерации ты в окне терминала ты можешь увидеть где рубануло запрос, и соответственно поправить его чтобы минимизировать ущерб. На онлайн сервисах это к сожалению не видно
Третье: Не пытайтесь сразу написать сложный запрос, начните с простой сцены, и постепенно усложняйте и уточняйте её.

Флюкс, на Креа, + LoRa. То ли Flux там не той системы, то ли ещё что. Упорно не хочет рисовать идущую во весь рост:

Flux.DEV классический без LoRA

Отправлено спустя 3 минуты 46 секунд:

Упорно не хочет рисовать идущую во весь рост:

Иногда помогает "full body shot"

[Лапин]

axe_chita, я-то с простой души взял то, что ты прописал по-русски , если что.
Сам я тут промпты привожу дословно, в том числе когда там намешан русский с английским.

70 токенов - это во Флюксе? Не знал.
В онлайне у флюкса ограничения только по знакам, на разных сервисах могут отличаться. На Креа - 1800 к примеру, а это слов 300.
...........................

...А ровно (с точностью до часа) полвека назад (аж страшно подумать) на пасмурные улицы вечерней Москвы выскочила словно из ниоткуда девочка в красном комбезе.







во Флюксе который на Креа не получается нарисовать Алису бегущей.
Поэтому приходится идти в ИИ-фотошоп, и на скорую руку пытаться изобразить:





ЗЫ: ...До чего же "правильный" этот ИИ-фотошоп. На ВСЕХ картинках, где Алиса перебегает улицу, он рисует "зебру" у ней под ногами.

...и если после взять картинку с зеброй как image-prompt для Flux, то лучше всего отрисуется именно "зебра"



... но и "зебра" не застрахована от глюков


С помощью image-prompt, Flux может изображать бегущих. Но обычно вдоль улицы, игноря указание Side view:

[axe_chita]

axe_chita, я-то с простой души взял то, что ты прописал по-русски , если что.

Извиняй что не уточнил. Я перевожу запрос в "полуавтоматическом" режиме https://translate.yandex.ru/, на английский затем чтоб увидеть опечатки, и подобрать правильный оборот речи.

Сам я тут промпты привожу дословно, в том числе когда там намешан русский с английским.

я так не рискую делать, поскольку результат не предсказуем.

70 токенов - это во Флюксе? Не знал.

КМК это ограничение WebUI, поскольку в SD были такие же ограничение. Визуально 320-400 символов.

...А ровно (с точностью до часа) полвека назад (аж страшно подумать) на пасмурные улицы вечерней Москвы выскочила словно из ниоткуда девочка в красном комбезе.