Новости по тегу "инференс"
Подборка публикаций, содержащих тег "инференс". Актуальные темы и важные события.
Сравнение двух СнК одного тех. процесса с точки зрения инференса нейронных сетей
Несколько лет назад у меня на прошлой работе состоялась интересная дискуссия с коллегой из отделения микроэлектроники. Его посыл заключался в том,...
[Перевод] Что же такое TPU
В последнее время я много работал с TPU и мне было интересно наблюдать такие сильные различия в их философии дизайна по сравнению с GPU.Главная...
[Перевод] Видеокарты для нейросетей: две RTX 5060 Ti 16GB или одна RTX 3090 24GB? Тест LLM‑инференса
Мечтаете запустить нейросеть на компьютере и анализировать целые книги или сложные документы? Тогда объем VRAM и поддержка длинных контекстов —...
Edge AI: локальный инференс — новый драйвер эффективности бизнеса
Привет! Я — Миша Тринога, менеджер по продуктовому маркетингу в Selectel. По данным отчета Wevolver, с 2025 года компании начинают массово...
Как готовить Triton: рецепты вашей собственной Inference-платформы
Привет, Хабр! Меня зовут Антон, я DevOps-инженер в команде Data/ML-продуктов Selectel. Если вам нужно запустить небольшой инференс одной...
Разработка CLI с помощью пакета Cobra: как не наступить на змею при написании
Привет, Хабр. Меня зовут Иван Добряев, я разработчик программного обеспечения в Центре технологий VK. Сегодня хочу поделиться опытом по одной...
Эффективный пакетный инференс моделей. Опыт инженеров VK
Привет, Хабр! На связи Артём Петров, я занимаюсь разработкой ПО в центре технологий VK. Хочу рассказать о важной задаче обработки больших объёмов...