ИИ
Запускаем самый маленький квант DeepSeek R1 671B на игровом ПК и смотрим вменяемая ли она на огромном контексте (160к)
Релиз DeepSeek R2 официально отложен и пока R1 не потерял актуальность,...
Новости по тегу "llama.cpp"
Подборка публикаций, содержащих тег "llama.cpp". Актуальные темы и важные события.
ИИ
[Перевод] Видеокарты для нейросетей: две RTX 5060 Ti 16GB или одна RTX 3090 24GB? Тест LLM‑инференса
Мечтаете запустить нейросеть на компьютере и анализировать целые книги или...
ИИ
Ускорение DeepSeek-R1 с подвохом: Когда токены в секунду врут о реальной скорости
Токены летят быстрее, а результат — медленнее: парадокс квантизации...
ИИ
Локальный DeepSeek-R1: Когда скорость улитки – не приговор, а точка старта
Локальный DeepSeek-R1-0528 на скромном железе? Реально. Со скоростью улитки?...
ИИ
Тестирование производительности видеокарт на примере больших языковых моделей с использованием Llama.cpp
В последнее время большие языковые модели (LLM) становятся все более...
ИИ
Как запустить локально LLM, если ее веса не помещаются в [видео]память
Некоторые люди предпочитают пользоваться не только облачными сервисами, но и...