Как работает наша LLM-платформа MWS GPT
Краткое резюме
MWS GPT — платформа для работы с большими языковыми моделями (LLM), разработанная командой МТС Web Services. За первый год работы сервис привлёк более 15 тысяч пользователей и обработал 0,5 триллиона токенов. В январе 2025 года платформа стала доступна для внешних заказчиков.
Здравствуйте, читатели Хабра! Олег Гуров, Presales Solutions Architect в МТС Web Services, представляет продукт MWS GPT — платформу для работы с большими языковыми моделями (LLM).
Два с половиной года назад наша команда начала разработку этой платформы. Мы создали тестовую среду на базе нескольких видеокарт для экспериментов с моделями и проверки их применимости в бизнесе. Интерес к LLM внутри МТС оказался высоким, что побудило нас развернуть внутренний сервис, доступный всем сотрудникам и разработчикам продуктов для тестирования технологий.
За первый год работы мы привлекли более 15 тысяч пользователей и реализовали свыше 150 внутренних проектов на базе платформы. Сегодня наш сервис обрабатывает более 0,5 триллиона токенов в год. Для наглядности: это эквивалентно примерно 0,5 миллиардам страниц текста при использовании токенизатора Llama 3.
В январе 2025 года мы достигли нового уровня зрелости технологии и ускорения работы команды, что позволило нам запустить продукт для внешних заказчиков — коммерческую платформу MWS GPT.