Оптимизация затрат на GPU: как сократить расходы на AI-видеомонтаж в 8–10 раз
Краткое резюме
Автор статьи рассказывает о системе оркестрации «одноразовых воркеров» для рендеринга видео, которая создаёт виртуальные машины с GPU только на время выполнения задачи. Это позволило снизить расходы на инфраструктуру с 1100 до 130 долларов в месяц.
Здравствуйте, читатели Хабра!
Сегодня мы поговорим о том, как оптимизировать расходы на инфраструктуру для вычислительно сложных задач в рамках небольших проектов или стартапов на начальной стадии развития.
**Проблема:** аренда сервера с графическими процессорами (GPU) обходится довольно дорого — от 300 до 1000 долларов в месяц, при этом большая часть времени (около 90%) такой сервер простаивает без нагрузки. Решения типа serverless GPU часто имеют ограничения по времени выполнения задач или по окружению, что не подходит для задач, связанных с рендерингом видео.
**Решение:** разработана собственная система оркестрации «одноразовых воркеров» (Disposable Workers). Основной бэкенд, построенный на Node.js, через API облачного сервиса создаёт виртуальные машины с GPU только на время выполнения задачи рендеринга и уничтожает их сразу после завершения работы.
**Используемые технологии:**
* Node.js — основной процесс оркестратора и воркера;
* Redis — для управления состоянием системы;
* Python — компоненты воркера;
* API DigitalOcean;
* FFmpeg;
* провайдеры LLM.
**Экономический эффект:** благодаря переходу на новую систему оркестрации расходы на инфраструктуру удалось снизить с 1100 долларов в месяц (при использовании постоянного сервера) до примерно 130 долларов в месяц, оплачивая только время фактического рендеринга.