Ускорение DeepSeek-R1 с подвохом: Когда токены в секунду врут о реальной скорости

#llm-модели #deepseek r1 #deepseek #llm #llama.cpp #ai #gguf #кодогенерация #local ai #deepseek r1-0528

Токены летят быстрее, а результат — медленнее: парадокс квантизации DeepSeek-R1. Замеры 4 версий модели доказали: уменьшение размера ускоряет генерацию отдельных токенов, но что происходит с общим временем ответа?

Читать далее
6
🔗 Первоисточник
Вернуться к ленте