ИИ
«Золотая рыбка, хочу LLM без GPU»: как собрать Inference-сервер на CPU
Допустим, вам нужно протестировать LLM на сотни миллиардов или почти триллион...
Новости по тегу "инференс"
Подборка публикаций, содержащих тег "инференс". Актуальные темы и важные события.
ИИ
AMD приобрела ИИ-стартап MK1, созданный ветеранами Neuralink
Компания AMD объявила о покупке ИИ-стартапа MK1 для наращивания своих...
ИИ
Как приручить LLM: подбор инфраструктуры для инференса. Часть 1
Привет, Хабр! Меня зовут Антон, и сейчас я активно занимаюсь вопросами...
ИИ
Оптимизация инференса больших языковых моделей: комплексный анализ современных подходов и практических реализаций
В процессе разработки RAG-системы для обработки видеоконтента передо мной...
ИИ
Где живут LLM: разбираем инференс-кластер YADRO и тестируем его производительность
Привет, Хабр! В этой статье я расскажу про наш LLM инференс-кластер YADRO:...
ИИ
Сравнение двух СнК одного тех. процесса с точки зрения инференса нейронных сетей
Несколько лет назад у меня на прошлой работе состоялась интересная дискуссия с...
Технологии
[Перевод] Что же такое TPU
В последнее время я много работал с TPU и мне было интересно наблюдать такие...
ИИ
[Перевод] Видеокарты для нейросетей: две RTX 5060 Ti 16GB или одна RTX 3090 24GB? Тест LLM‑инференса
Мечтаете запустить нейросеть на компьютере и анализировать целые книги или...
ИИ
Edge AI: локальный инференс — новый драйвер эффективности бизнеса
Привет! Я — Миша Тринога, менеджер по продуктовому маркетингу в Selectel. По...
ИИ
Как готовить Triton: рецепты вашей собственной Inference-платформы
Привет, Хабр! Меня зовут Антон, я DevOps-инженер в команде Data/ML-продуктов...
ИИ
Разработка CLI с помощью пакета Cobra: как не наступить на змею при написании
Привет, Хабр. Меня зовут Иван Добряев, я разработчик программного обеспечения в...
Технологии
Эффективный пакетный инференс моделей. Опыт инженеров VK
Привет, Хабр! На связи Артём Петров, я занимаюсь разработкой ПО в центре...