Black Forest Labs выпустила ИИ-генератор изображений FLUX.2, оптимизированный для RTX-карт

Black Forest Labs, разработчик генеративных нейросетей, анонсировал новое семейство моделей для создания изображений по текстовому описанию — FLUX.2. Этот программный продукт предлагает ряд инновационных инструментов и возможностей, в том числе функцию многореференсных изображений. Она позволяет генерировать множество похожих вариантов с высокой степенью фотореалистичности и чёткими шрифтами, даже в крупных масштабах. Как информирует блог Nvidia, разработка FLUX.2 осуществлялась при участии этой компании и разработчиков среды ComfyUI для работы с генеративными моделями искусственного интеллекта. Благодаря этому семейство FLUX.2 поддерживает квантование в формате FP8 и оптимизировано для работы на графических процессорах RTX. Это позволяет уменьшить объём необходимой видеопамяти на 40 % и одновременно увеличить производительность на такой же процент. Модели FLUX.2 не требуют дополнительного программного обеспечения и доступны непосредственно в среде ComfyUI. Изображения, созданные с их помощью, отличаются высокой степенью фотореалистичности, даже в разрешении до 4 мегапикселей. Они также характеризуются реалистичным освещением и физикой. По данным Nvidia, модели не создают «эффекта искусственного интеллекта», который мог бы снизить визуальную точность. Одной из ключевых особенностей моделей является возможность прямого задания позы объекта или персонажа на изображении. Кроме того, они обеспечивают чёткий и читаемый текст для инфографики, экранов пользовательского интерфейса и многоязычного контента. Новая функция нескольких референсов позволяет художникам выбирать до шести референсных изображений, сохраняя стиль или тему, что устраняет необходимость в глубокой ручной настройке модели. Несмотря на впечатляющие возможности, FLUX.2 предъявляет высокие требования к ресурсам. Модель включает 32 миллиарда параметров и требует 90 гигабайт видеопамяти для полной загрузки. Даже в режиме lowVRAM, при котором загружается только активная часть модели, требования составляют 64 гигабайта, что делает FLUX.2 практически недоступной для эффективного использования на потребительских видеокартах. Для расширения доступности FLUX.2 Nvidia и Black Forest Labs совместно работали над квантованием модели до формата FP8. Это позволило снизить требования к видеопамяти на 40 % без потери качества. Кроме того, Nvidia сотрудничает с разработчиками ComfyUI над улучшением функции разгрузки памяти, известной как потоковая передача весов. Благодаря этому пользователи могут выгружать части модели в системную память, расширяя тем самым объём доступной видеопамяти.