Библиотека в программировании — это набор готовых функций, классов и объектов для решения определённых задач.

Такие наборы помогают программистам ускорять и упрощать свою работу. Например, можно не писать с нуля сложный алгоритм сортировки, а вызвать функцию из библиотеки, где он уже реализован.

Дополнение или расширение (как правило, эти термины используют как синонимы) в программном обеспечении — это подпрограмма, которая расширяет базовый функционал приложения.

Дополнения пользователь выбирает и устанавливает самостоятельно, в зависимости от цели и специфики использования продукта.

Это этап непосредственной полезной работы уже обученной нейросети на конечном устройстве.

Если обучение модели — это фаза, в которой ИИ накапливает знания и настраивает свои параметры на основе огромных объемов данных, то инференс представляет собой применение этих знаний на практике. Например, когда система распознавания лиц определяет человека на фотографии или голосовой помощник обрабатывает запрос пользователя, все это происходит благодаря инференсу.

Процесс преобразования числовых значений в модели машинного обучения из высокоточных форматов с плавающей запятой в форматы с меньшей точностью.

Например, из 32-битных FP32 или 64-битных FP64 в FP8 с плавающей запятой или даже в целочисленный INT8 (8-битные целые числа).

Цель квантизации — ускорить работу моделей, сократить потребление энергии и памяти, что делает технологии искусственного интеллекта (ИИ) доступными для широкого круга применений.

1. Анализ распределения данных. Оцениваются диапазоны значений весов.
2. Нормализация. Подготовленные значения приводятся к единому стандартному диапазону, например, весам задаются границы от минимального до максимального значения.
3. Округление. После нормализации значения округляются до ближайших целых чисел, которые могут быть эффективно обработаны доступными аппаратными средствами.
4. Обратное преобразование. После вычислений результаты могут быть восстановлены до более точных форматов, если в этой задаче возникает практическая необходимость.

Смотрите Чекпоинт

Существует множество моделей для Stable Diffusion. Какие-то более требовательны к железу, какие-то менее. Есть базовые (изначальные) и есть дообученные на основе базовых. Есть универсальные, а есть специализированные для каких-то узких задач — для интерьеров, для 3D-персонажей, для промдизайна и т. д.

В Stable Diffusion вы можете выбирать, с помощью какой модели генерировать изображение.
В зависимости от выбора модели, на один и тот же запрос с одними и теми же настройками можно получить как похожие изображения, выполненные в разных стилях, так и совершенно разные картинки.

В большинстве источников, такие термины как «Базовая модель», «Модель» и «Чекпоинт» (checkpoint) используются как синонимы, подразумевая, что это одно и то же.

И базовая модель и модель и чекпоинт — это и есть нейросеть собственной персоной. Она преобразует текст в изображение. Представляет собой предварительно обученную нейронную сеть. Понимает внешний вид широкого спектра объектов, таких как люди, животные, здания, автомобили и другие.

• Модель — общий термин. И базовая модель и чекпоинт являются моделями;
  
• Базовая модель — исходная, первоначальная, универсальная версия модели.
  Это как новенький автомобиль, поставляемый с завода в базовой комплектации;
• Чекпоинты — многочисленные, дообученные умельцами модификации базовой модели, часто заточенные под определённую тему или стилистику.
  Это как тюнингованные тачки, создаваемые энтузиастами в гаражах и дизайн-ателье на базе заводских автомобилей.
• Основная модель — модель, которую вы выбрали для генерации. Это любой выбранный вами чекпоинт.
  «Основной» её называют потому, что помимо неё в генерации могут принимать участие и дополнительные — неосновные модели, типа LoRA.

В общем, любую базовую модель можно называть и моделью и чекпоинтом, но не любой чекпоинт является базовой моделью.

Это тип модели машинного обучения, которая учится создавать новые данные, похожие на те, на которых она была обучена.

Она работает, изучая основные закономерности и взаимосвязи в данных, а затем используя этот набор знаний для создания новых образцов.

Основная цель генеративной модели — создавать новые данные, которые похожи на обучающие данные, но не являются их точными копиями.

Примеры применения генеративных моделей:

• генерация изображений;
• текста;
• музыки;
• видео;
• и даже проектирование новых молекул.

Математическая модель, используемая для описания процессов принятия решений и генерации данных.

Она работает по принципу постепенного накопления информации или преобразования случайного шума в структурированные данные.

Диффузионные модели применяются в различных областях, например:

• Генерация изображений. Модель начинает с хаоса (шума) и постепенно превращает его во что-то осмысленное и красивое.
• Генерация видео.
• Генерация музыки и даже музыки со словами.
• Медицинские задачи.
• 3D-моделирование и другие.

• Прямой процесс (Forward Diffusion). Берёт реальные данные (например, картинку) и постепенно добавляет к ним шум, пока они не превратятся в чистый случайный шум.
• Обратный процесс (Reverse Diffusion). Учится из этого шума воссоздавать исходные данные, убирая шум шаг за шагом. Модель учится предсказывать, как убирать шум, чтобы в итоге генерировать новые изображения с нуля.

В итоге сгенерированные данные становятся очень похожими на исходный набор данных. Это позволяет модели создавать высококачественные данные, такие как текст, изображения или звук.

Это технология, которая предоставляет доступ к вычислительным ресурсам, хранению данных и приложениям через интернет.

Они базируются на виртуальной инфраструктуре, которая состоит из удалённых серверов и специального программного обеспечения, позволяющего управлять этой инфраструктурой.

• Хранение данных. С помощью облаков можно безопасно хранить большие объёмы всевозможной информации.
• Обработка данных. Применение облачных вычислительных мощностей позволяет оперативно обрабатывать огромные объёмы данных.
• Сотрудничество и обмен данными. Удалённый доступ к файлам и документам в облаках обеспечивает возможность командной работы над проектами.
• Разработка и тестирование ПО. Платформы для разработчиков помогают создавать и тестировать приложения без наличия локальных серверов.
• Резервное копирование и восстановление. Облака позволяют автоматически создавать резервные копии и восстанавливать данные.

Пиксель, пиксел (pixel, px)— сокращение от piсtures element (элемент изображения) — неделимая элементарная частица картинки.

Пиксель цифрового изображения — это наименьшая единица изображения, фактически строительный блок всех визуальных элементов, которые видны на экране.

Если увеличить цифровую картинку, например в Фотошопе, то увидите, что она состоит из отдельных однотонных квадратиков. Это и есть пиксели:

Изображения, состоящие из пикселей, называют растровыми изображениями. Самый простой пример такого изображения — цифровая фотография. Такие фотографии получаются при съёмке на камеру телефона, например.

Нейросети, и Stable Diffusion, генерируют именно растровые картинки.

Размер такой картинки в пикселях (количество пикселей в ширину и в высоту) называют разрешением изображения.

Текстовая строка (текстовое поле) с набором терминов и специальных команд, которая определяет, что в итоге будет сгенерировано.
Пользователь пишет промпт сам в соответствующем текстовом поле, либо копирует туда уже готовые промпты.

Промпт может быть совсем простым, например «beautiful woman photo» (фотография красивой женщины), или содержать длинное описание с подробностями, дополнительными командами и усилителями. Чем подробнее и грамотнее написан промпт, тем больше шанс получить желаемый результат.

Stable Diffusion (SD) на вход принимает 2 промпта — позитивный и негативный:

Как следует из названия, один будет усиливать вероятность появления тех или иных вещей в генерации, а второй будет ослаблять. Надо понимать, что со 100% вероятностью исключить или заставить SD что-то сгенерить не получится. Это скорее подсказки, которые настоятельно советуют ему что-то делать или не делать.

Промпт из текста преобразуется в набор чисел (токенов), который затем поступает на вход алгоритма генерации SD.
Из этого следует, что SD не столько понимает «смысл» того, что вы пишете, сколько ищет соответствие набору ваших токенов в своём гиперпространстве. И затем создаёт на их основе изображение.

Разрешение изображения — это количество пикселей (в ширину и в высоту), из которых состоит растровое изображение.

Растровое изображение — изображение, состоящее из отдельных пикселей, например цифровая фотография или сгенерированная нейросетью картинка.

Разрешение обычно указывается в виде двух чисел, разделённых знаком «×», например 1920×1080. Первое обозначает число пикселей по горизонтали, второе — по вертикали.

Чем больше разрешение картинки или видео, тем более детальным и чётким оно будет. Однако при этом размер файла также будет больше.

Также термин «разрешение» применяется и к экранам телевизоров, мониторов, смартфонов и т. д., так как экраны тоже состоят из пикселей. Правда, экранный пиксель и пиксель изображения хоть и родственные, но всё же несколько отличающиеся понятия.

Некоторые распространённые разрешения экранов и их названия:

• HD (High Definition (высокая четкость)) — 1280×720 пикселей. Минимальный стандарт, который используется для небольших экранов, таких как старые телевизоры, бюджетные ноутбуки и некоторые смартфоны.
• Full HD — 1920×1080 пикселей. Стандарт для большинства современных мониторов, ноутбуков и телевизоров. Обеспечивает хорошую чёткость и детализацию изображения, подходит для офисной работы, игр и просмотра видео.
• 2K — 2560×1440 пикселей. Часто используется в профессиональных мониторах и игровых устройствах. Формат предлагает более высокую чёткость, чем Full HD, что особенно важно для графического дизайна, видеомонтажа и игр.
• 4K (Ultra HD) — 3840×2160 пикселей. Обеспечивает невероятную детализацию и чёткость изображения, но требует мощного аппаратного обеспечения.
• 8K — 7680×4320 пикселей. Технология, которая пока применяется в основном в специализированных областях, таких как киноиндустрия и профессиональная видеосъёмка.

Растровое изображение — это изображение, состоящее из отдельных элементов — пикселей. Оно выстроено из отдельных пикселей как из кубиков Лего. Каждый пиксель растрового файла хранит информацию о цвете, а их совокупность образует целостную картинку на экране устройства.

Самый простой пример такого изображения — цифровая фотография. Или изображение сгенерированное нейросетью.

Растр применяют, когда требуется высокая детализация и реалистичные переходы цвета.

Некоторые распространённые форматы растровых файлов:

• JPG (JPEG). Один из самых распространённых и компактных форматов— в нём хранится большинство картинок в интернете. Но при упаковке в этот формат может заметно упасть качество изображения из-за компрессии.
• PNG. Сохраняется практически без потери качества, но при этом весит ощутимо больше JPG.Поддерживает прозрачность, в отличие от того же JPG.
• TIFF. Идеален для печати, так как сохраняет картинку с высоким разрешением и поддерживает слои, каналы и прозрачность.

От англ. «repository» — хранилище — место, где хранятся и поддерживаются какие-либо данные. Чаще всего данные в репозитории хранятся в виде файлов, доступных для дальнейшего распространения по сети.

В IT-сфере репозиторий — место хранения различных версий программного кода.
Примеры таких систем — Git и SVN.

Скрипты в Stable Diffusion — это дополнительные настройки, которые позволяют более детально настроить генерацию и рассмотреть разные варианты. Пользователь выбирает определённый скрипт, указывает настройки, и нейросеть генерирует разные варианты по одному и тому же запросу с учётом этих настроек.

• Promt matrix. Позволяет сгенерировать четыре картинки, в каждой из которых алгоритм будет соблюдать разные части промпта. Например, промпт «девушка с серыми глазами в цветочном платье» — на первой картинке будет девушка в цветочном платье, на второй — с серыми глазами и в цветочном платье, на третьей — просто девушка с серыми глазами, а на четвёртой — только девушка.
• X/Y/Z plot. Создаёт таблицу с изображениями, если настроены все три оси. Для каждой оси указывается количество шагов для генерации и разнообразные настройки. В итоге получится 12 изображений, которые нейросеть сгенерировала с разным числом шагов и с разным отношением к подсказке (точное соблюдение или игнорирование).

Токен в нейросети — это минимальная единица текста, которая может проходить через слои в архитектуре. Токеном может быть слово, часть слова или даже отдельный символ в зависимости от используемой модели и метода токенизации.

Токены разбивают текст на более управляемые части. Это важно для оптимизации обработки больших текстов: чем больше контекста модель может охватить за один раз, тем лучше её результаты.

Примеры токенов:

• В предложении «Нейросети меняют мир» токенами могут быть отдельные слова: «Нейросети», «меняют», «мир».
• Предложение «Привет, как дела?» будет разбито на токены: ["Привет", ",", "как", "дела", "?"].

Токен в Stable Diffusion — это основной строительный блок текстового ввода, который модель использует для анализа и интерпретации запроса (промта).

Токены представляют собой числовые значения (промпт из текста преобразуется в набор чисел), которые позволяют модели Stable Diffusion понимать и обрабатывать запросы пользователя.

Если в двух словах: это возможность работать из любой точки мира, с любого, даже слабенького компа (главное — наличие стабильного интернета), на мощном железе, смонтированном на каком-то далёком сервере.

При этом, для вас это будет выглядеть как нормальный рабочий стол операционной системы, с иконками, программами, файловым менеджером и т. д., только открытый в окне специальной программы, которая так и называется — «Подключение к удалённому рабочему столу» (Microsoft Remote Desktop — встроен в Windows). И вы можете через это окно устанавливать и запускать необходимые программы и выполнять с ними действия так, как будто вы работаете со своим собственным компьютером.

Арендовать удалённую систему можно на gpudc.ru или immers.cloud, например.
Доступно всем желающим.

Выглядит это примерно так:

1. Вы регистрируетесь на сайте сервиса, предоставляющего такую услугу.
2. Пополняете свой баланс.
3. Настраиваете параметры желаемой системы (операционка, процессор, ОЗУ, видюха и т.д. (возможны готовые сборки с предустановленным софтом, например для 3-дэшников)).
   
4. Ждёте мин 20, пока система подготовится к работе.
5. Подключаетесь к созданной системе.
6. Устанавливаете на неё необходимый вам софт.
7. Наслаждаетесь работой на мощном железе.

Тарифы зависят от выбранной конфигурации железа.
На 2025 год в среднем от 20 руб./час. и до 500-700 руб./час. Для самых требовательных возможны конфигурации сильно дороже.

Контрольная точка (точка сохранения) — это финальный или один из промежуточных результатов, который сохраняется во время обучения сети.

Цель сохранения контрольных точек — возможность восстановить процесс обучения с того места, где он был остановлен. Это полезно, например, если компьютер выходит из строя или процесс обучения прерывается.

Также сохранение контрольных точек позволяет поделиться моделью с другими.

Смотрите Sampling steps

Application Programming Interface — это набор правил и протоколов, позволяющих приложениям общаться между собой и обмениваться данными по запросу.

Например, когда вы оплачиваете покупку банковской картой, терминал обращается к API банка, который выпустил вашу карту, и отправляет запрос на оплату.

Библиотека на Python, которая включает 8-битные оптимизаторы, функции умножения матриц и 8 и 4-битные функции квантования.

Позволяет уменьшать точность представления весов нейронной сети с целью оптимизации использования памяти.

Немецкий стартап по искусственному интеллекту, основанный в 2024 году бывшими сотрудниками компании Stability AI (разработчик Stable Diffusion) с целью развития генеративных моделей глубокого обучения для медиа-приложений.

Флагманский продукт Black Forest Labs — передовая модель FLUX.

В августе 2024 года модель FLUX-1 от Black Forest Labs использовалась для работы чат-бота Grok от xAI Илона Маска.

Если в названии модели указано «BNB NF4», это означает, что перед вами наиболее оптимизированная версия.

«BNB» в названии модели прямо указывает на использование Bitsandbytes — библиотеки, которая позволяет выполнять квантизацию модели, то есть уменьшать точность представления весов нейронной сети с целью оптимизации использования памяти.

«NF4» означает 4-битную квантизацию, что является одной из возможностей BNB, благодаря которой модель генерирует быстрее и меньше съедает памяти.

Один из доступных форматов файла «контрольной точки», используемый для хранения весов модели.

Считается потенциально опасным — в файл можно поместить вредоносный код, который выполнится при загрузке модели.
Поэтому важно использовать их только из надёжных источников.

Расширение, которое позволяет генерировать изображения на основе готовых картинок, эскизов или поз.

С его помощью можно подробно задавать входные данные для нейросети и влиять на процесс генерации. Например, можно взять фотографию человека, пропустить её через нейросеть и заменить только его внешность, сохраняя при этом остальные элементы композиции.

• Модель Canny. После загрузки референса нейросеть создаёт её набросок тонкой линией. Это позволяет чётко выделить контуры объектов, сохраняя при этом мелкие детали.
• Модель HED (Holistically-Nested Edge Detection). Нейросеть грубо и нечётко очерчивает объекты на изображении после его загрузки, создавая эффект, аналогичный тому, как бы это сделал человек.
• Модель Depth Map. Эта модель создаёт набросок изображения с картой глубины, демонстрируя расположение объектов в пространстве.
• Модель Normal Map. Определяет положение объекта в трёхмерном пространстве.
• Модель MLSD (Mobile Line Segment Detection). Эта модель обнаруживает прямые линии на изображении.
• Модель OpenPose. После загрузки фотографии она определяет положение головы, плеч, рук и ног, а затем создаёт «скелет» — довольно точное представление позы.
• Модель Scribble. Генерирует изображение на основе скетча. Достаточно нарисовать или загрузить набросок, и с помощью текстового запроса указать, в какой облик его следует превратить.

Подраздел машинного обучения, который использует многослойные искусственные нейронные сети для извлечения признаков из неструктурированных данных (аудио, видео, изображения или тексты).

• Распознавание речи. Нейросети анализируют аудиозаписи разговоров и выделяют отдельные слова, части речи, эмоции.
• Компьютерное зрение. Алгоритмы глубокого обучения анализируют изображения, видео, выделяют объекты, лица, тексты, дорожные знаки.
• Обработка естественного языка. Нейросети извлекают смысл из текстов на естественном языке, определяют тематику, тональность, выделяют ключевые слова.
• Сервисы рекомендаций. Модели глубокого обучения анализируют поведение пользователей, историю взаимодействий, демографические данные и на этой основе выдают персонализированные рекомендации товаров, контента, музыки.
• Диагностика заболеваний. Глубокое обучение применяется для анализа медицинских изображений — снимков КТ, МРТ, микроскопии. Нейросети могут обнаруживать аномалии, опухоли, патологии.

Это выпадающий список в программе SD Forge, который позволяет настроить квантизацию модели.

Квантизация уменьшает точность представления весов нейронной сети с целью оптимизации использования памяти. Например, 4-битная квантизация (nf4) в этой опции означает, что модель генерирует быстрее и занимает меньше памяти.

Если у пользователя небольшой опыт работы с моделью, рекомендуется оставить опцию по умолчанию — Automatic. При неправильном выборе можно потратить много дополнительного времени на генерацию изображения без гарантии того, что оно получится лучше.

ESRGAN — это апскейлер.

ESRGAN (Enhanced Super-Resolution Generative Adversarial Network) — модель, которая улучшает качество изображений, генерируемых Stable Diffusion (SD).

Во время обучения ESRGAN изучает изображения с высоким разрешением. Когда пользователь загружает картинку с низким разрешением, модель использует полученные знания, чтобы сгенерировать версию с более высоким разрешением.

В результате мы получаем увеличенное, чёткое и детализированное изображение.

ESRGAN может использоваться в разных приложениях, например для масштабирования старых фотографий, улучшения качества изображений в кадрах видео или повышения визуальной привлекательности графики и художественных работ.

Смотрите Дополнения и расширения

Это мощная базовая модель для генерации изображений по текстовому описанию. Генерирует невероятно реалистичные и детализированные картинки.

Разработчики Flux — бывшие создатели Stable Diffusion и Stable Diffusion XL — Робин Ромбах и Андреас Блаттман. Ими была создана новая компания Black Forest Labs, которая и представила нам Flux в 2024 году.

Flux основана на 12-миллиардном трансформере и использует инновационный подход, так что достигать высокой производительности и качества изображения возможно даже при запуске на бытовых видеокартах. Модель очень хорошо следует промпту и распознает текст.

• Созданные изображения выглядят почти как настоящие фотографии.
• Flux превосходит многие существующие модели по качеству и реализму деталей.
• Имеет сложную многоуровневую структуру. Каждый уровень отвечает за определенные аспекты изображения: цвета, формы, текстуры и т.д.
• Все части модели работают вместе. Это позволяет создавать высококачественный и реалистичный результат.
• VAE не требуется —модели уже готовы к работе

1. FLUX.1 DEV (Flux.1 D) — является открытой и предназначена для некоммерческого использования. Она была создана на основе Pro-версии и обладает схожим качеством и способностью следовать подсказкам, но работает более эффективно.
2. FLUX.1 SCHNELL(Flux.1 S) — упрощённая и самая быстрая версия модели (нем. schnell — быстрый). Ориентирована на скорость, позволяя генерировать изображения за 1-4 шага. Предназначена для локальной разработки и личного использования, в которой также предусмотрена интеграция в ComfyUI.
3. FLUX.1 PRO — самая продвинутая версия модели для бизнеса и коммерческих задач.
   Доступна только для корпоративных клиентов и только через платный API, а обычные пользователи могут поработать с ней через некоторые платные онлайн-сервисы.
   Обеспечивает высококачественную генерацию изображений. Отличается превосходным следованием подсказкам, высоким визуальным качеством, детализацией изображений и разнообразием выходных данных. Требует мощных видеокарт с большим количеством памяти.

Если в названии чекпоинта на основе FLUX присутствуют такие сокращения (BNB NF4 и Schnell) — это означает, что перед вами гибридная оптимизированная версия, позволяющая достичь качества Dev с эффективностью Schnell.

Гораздо менее требовательна к железу по сравнению с базовой Flux.1 D и, соответственно, более шустрая.

Оптимизированы для GPU с 6–12 ГБ памяти.

Первые версии таких гибридов можно запустить на картах с 6–8 ГБ VRAM (RTX 2080 Ti, RTX 3050).

Версии старше (в названии указано «v2», например «flux1-dev-bnb-nf4-v2.safetensors») подходят для видеокарт с 8–12 ГБ VRAM и выше (RTX 3060, RTX 3070).

Максимально казуальная, неконтролируемая игрушка с одной кнопкой. Пользователю доступен промпт и пара параметров.

Из плюсов стоит отметить большое кол-во заготовленных стилей. Авторы декларируют, что у них некоторые алгоритмы реализованы круче/интереснее, и, скорее всего, это так.

Но отсутствие возможности адекватного изменения параметров, фиксированные разрешения и попытка сделать всё за пользователя делают Fooocus игрушкой, а не профессиональным инструментом.

• Повышенная скорость генерации изображений. Особенно это заметно у пользователей с видеокартами с небольшим объёмом видеопамяти. Например, для видеокарт с 6 ГБ видеопамяти скорость генерации может увеличиться на 75%, а для видеокарт с 8 ГБ — примерно на 45%.
• Оптимизированная архитектура бэкэнда. Она улучшает совместимость с несколькими расширениями и снижает риск конфликтов производительности.
• Предустановленные расширенные функции. В SD Forge уже установлены популярные расширения, такие как ControlNet, FreeU и Stable Video Diffusion (SVD).
• Поддержка моделей Flux. Forge автоматически определяет тип модели и применяет соответствующие параметры работы.
• Встроенный менеджер памяти. Он автоматически подбирает оптимальные параметры оптимизации, исходя из объёма доступной видеопамяти и параметров конкретной модели.

Это типы чисел, используемых при квантизации модели.
Чтобы ускорить работу, сократить потребление энергии и памяти, числа преобразуются из высокоточных форматов в форматы с меньшей точностью.

Чем ниже число, тем сильнее сжата модель.

Эти сокращения могут встретиться в названии модели.
Означает, что модель оптимизирована для существенной экономии памяти видеокарты путём уменьшения разрядности чисел...

Если вы не являетесь DL-инженером, то технические подробности вам знать ни к чему.

Расширение, которое улучшает качество генерируемых изображений.

Основной эффект FreeU — увеличение насыщенности, что создаёт более реалистичную текстуру. Однако эффективность может варьироваться в зависимости от используемой модели.

Особенно полезен, когда цель — реалистичное качество изображения.

Специальная программа, которая позволяет отслеживать любые изменения в файлах, хранить их версии и оперативно возвращаться в любое сохранённое состояние.

Это распределённая система контроля версий, то есть каждый участник команды имеет собственную локальную копию проекта, которая синхронизируется с репозиторием — центральным хранилищем всех версий проекта.

Graphics Processing Unit — это графический процессор, который управляет памятью видеокарт и ускоряет вывод графики на экран устройства.

Он обрабатывает данные, связанные с отображением изображений, видео и 3D-графики.

Это сервер, на котором установлены графические процессоры (GPU), оптимизированные для выполнения параллельных вычислений.

В отличие от обычных процессоров (CPU), которые отлично справляются с последовательными задачами, GPU могут выполнять множество операций одновременно, что делает их идеальными для задач, требующих большой вычислительной мощности, таких как обработка изображений, обучение искусственного интеллекта и моделирование физических процессов.

• Машинное обучение и ИИ. Ускоряют работу нейросетей и создание алгоритмов. На них выполняются задачи по генерации текстов, изображений и построению прогнозов.
• Большие данные (Big Data). Подходят для анализа информации в финансах, медицине, исследованиях и рекламе.
• Финансы и блокчейн. На их базе проводят разработку финансовых моделей, аналитику и работу с криптовалютами.
• Графика и видео. Ускоряют создание спецэффектов, 3D-анимацию и моделирование. Применяются при рендеринге сложных сцен с текстурами, освещением и тенями.
• Научные исследования. Используются в биологическом и химическом моделировании, симуляциях и сложных вычислениях.

GUI (graphical user interface) — графический пользовательский интерфейс.

Так называется внешний вид программы — то, что видит пользователь и с чем он может взаимодействовать. К GUI относятся окна, кнопки и другие элементы.

Инструмент на основе искусственного интеллекта, который перерисовывает любую загруженную картинку с учётом текстового запроса (промпта).

С его помощью можно, например, сгенерировать несколько похожих на исходное фото картинок или улучшить качество существующего изображения.

Суть метода Img2img заключается в том, что в качестве отправной точки нейросеть использует не случайный шум, а загруженное пользователем изображение, к которому затем добавляется шум, который, в свою очередь, потом пошагово очищается. Чем больше добавлено шума на старте, тем сильнее будут заметны изменения, вплоть до полной неузнаваемости.

Это функция SD, которая позволяет вносить изменения или добавлять новые элементы в определённые области изображения, заданные пользователем — с помощью курсора закрашиваете поверх сгенерированной или загруженной картинки область, в которую хотите внести изменение, и в промпте описываете, какого результата хотите достичь.

• модификация объектов в выбранной области изображения;
• редактирование или удаление фона;
• перерисовка определённых элементов на картинке;
• добавление фигур в уже существующие изображения;
• повышение качества фотографий;
• изменение внешнего вида или одежды персонажей на изображении;
• коррекция общей эстетики (стиля) изображения.

Например, управляют количеством деталей или формируют определённый стиль, или натренированы на конкретный материал, эффект, объект, персону, явление (всплески воды, мех, неоновое свечение, правильное количество пальцев, фрукты, полотна Кандинского, Папа Римский, аниме, интерьер в скандинавском стиле и т. д.).

LoRA также поставляются в виде файлов с расширением *.safetensors, но весят гораздо меньше основных моделей — от 10 до 500 МБ. Отдельные экземпляры могут достигать и 2 ГБ, но чаще в районе 200–400 МБ.

«Merge» — англ. поглощать, соединять, слиться, смыкаться.

В Stable Diffusion — объединение разных контрольных точек для создания модели, которая понимает разные стили и эффективно адаптируется к новым задачам генерации изображений. Для этого выравнивают и интегрируют нейронные сети разных контрольных точек, чтобы сильные стороны одной компенсировали недостатки других.
Например, можно добавить «фотореалистичную» компоненту в одну из моделей, что увеличит весовые коэффициенты именно для фотографий.

В ComfyUI — объединение контрольных точек разных моделей для создания надёжной и универсальной модели для художественных проектов на основе искусственного интеллекта. При этом получаемая модель сохраняет целостность и качество исходных контрольных точек.

Возможно, самая известная нейросеть для создания изображений по текстовым описаниям. Использует технологии диффузионных моделей.

Работает на платформе Discord.

Платная — доступна по подписке. По состоянию на январь 2024 года имеет четыре уровня подписки стоимостью от 10 до 120 долларов в месяц.

Это сокращение часто встречается в названиях моделейна основе FLUX. Означает, что модель оптимизирована для экономии памяти видеокарты, работает шустрее базовой и пригодна для использования на не самом мощном железе.

NF4 — один из форматов (контейнеров) для кодирования чисел, призванный оптимизировать и значительно сэкономить память видеокарты в процессе генерации — на инференсе.

Используется при сжатии нейросетей. Оптимизирован для нормального распределения весов...

Если вы не являетесь DL-инженером, то технические подробности вам знать ни к чему.

Высокоуровневый язык программирования общего назначения с динамической строгой типизацией и автоматическим управлением памятью.

Он был создан в 1989–1991 годах голландским программистом Гвидо ван Россумом.

• Интерпретируемый язык. Код на нём выполняется построчно, в режиме реального времени.
• Динамическая типизация. Тип переменной определяется автоматически, во время выполнения кода.
• Объектно-ориентированность. Программа представляет собой совокупность объектов, каждому из которых присвоены определённый класс и место в иерархии.

По умолчанию в Stable Diffusion используется случайное значение Seed («-1» — случайный шум), что приводит к новым и уникальным изображениям при каждой новой генерации при одном и том же промпте и настройках.

• Более точные и яркие цвета. Также улучшена контрастность, тени и освещение.
• Генерация изображений с разрешением 1 мегапиксель (1024×1024) занимает всего несколько секунд.
• Способность обрабатывать сложные инструкции, состоящие из нескольких частей, представленных в виде коротких подсказок.

Stability AI — британская компания, специализирующаяся на искусственном интеллекте. Была основана в 2019 году Эмадом Мостаком и Кайрусом Ходесом.

Наиболее известна благодаря модели генерации изображений по текстовому описанию Stable Diffusion. Помимо неё, Stability AI разрабатывает модели для видео, аудио, 3D и текста.

Создателем Stable Diffusion является компания Stability AI, релиз состоялся в августе 2022 года.

Принцип работы: по запросу пользователя нейросеть ищет знакомые очертания на подходящих исходных изображениях в базе и соотносит их с текстом запроса. Далее с помощью прямой диффузии на найденную картинку накладываются гауссовские шумы до состояния, когда невозможно понять, что было на изображении. После этого применяется обратная диффузия, которая поэтапно отменяет прямую диффузию, уменьшает шумы и происходит создание нового изображения.

Модель генерации видео, выпущенная компанией Stability AI, разработчиком генератора искусственных изображений Stable Diffusion.

• Генерация видео из текста и изображений. Для создания видео нужно загрузить изображение или ввести текстовое описание.
• Создание анимации. Модель может генерировать видеоролики длиной от 14 до 25 кадров с настраиваемой частотой от 3 до 30 кадров в секунду.
• Некоторые ограничения: генерирует относительно короткое видео (менее 4 секунд), не может выполнять движение камеры, кроме медленного панорамирования, не имеет управления текстом.

«Trained» — англ. обученный, натренированный.

Это проверенная точка отсчёта во время обучения модели, которая фиксирует её состояние на определённой стадии процесса обучения.

Например, в Stable Diffusion так называют проверенные модели, созданные путём обучения новой модели с собственным набором данных. Также под trained checkpoints могут подразумевать тонко настроенные модели, адаптированные к конкретной задаче или набору данных, например, к определённому стилю искусства, человеку или персонажу.

Инструмент на основе искусственного интеллекта и машинного обучения, который позволяет генерировать изображения на основе текста.

Алгоритмы анализируют семантику входного текста и, понимая контекст, настроение и ключевые понятия, генерируют изображения, которые отражают суть контента.

User Interface — это пользовательский интерфейс, который формирует визуальную связь между пользователем и программным продуктом. Это совокупность элементов управления, которые помогают человеку взаимодействовать с системой: кнопки, меню, формы ввода, иконки и другие компоненты.

Эта функция автоматически адаптирует раскладку интерфейса под специфику выбранного алгоритма генерации, например SD 1.x, SDXL или FLUX

В моделях со встроенным VAЕ, результат генерации сразу будет хорошим. Но некоторые модели не имеют его в своём составе, и картинки в результате получаются тусклыми и мыльными. В этом случае имеет смысл использовать кастомный VAE.

Video Random Access Memory — оперативная память видеокарты. Её ключевая задача — хранить в себе данные о графике, а также сохранять готовые изображения, которые затем передаются на экран монитора.

Automatic1111

ComfyUI

Fooocus

Forge