Новости по тегу "бенчмарки"
Подборка публикаций, содержащих тег "бенчмарки". Актуальные темы и важные события.
Почём ИИ для народа: протестировали платформу YADRO G4208P с восемью H100 NVL и RTX 4090 на десятке ИИ-моделей
Привет, Хабр! Меня зовут Артём Маклаев, вместе с командой я занимаюсь оценкой производительности серверных платформ для задач искусственного...
Тестирование производительности видеокарт на примере больших языковых моделей с использованием Llama.cpp
В последнее время большие языковые модели (LLM) становятся все более популярными, но для их эффективного запуска требуется значительная...
Зимняя школа RISC-V: измеряем латентность и пропускную способность, оптимизируем приложения на C#
Зимняя школа RISC-V — совместный проект YADRO и ведущих технических вузов России и Беларуси. В этом году зимняя школа прошла во второй раз: 12...
Leaderboard Illusion: что не так с Chatbot Arena
Опубликованная 29 апреля научная работа Leaderboard Illusion подставила под сомнение прозрачность и объективность рейтинговых механизмов Chatbot...
AI-агенты в реальном мире: почему они не работают и как это исправить
AI-агенты часто не оправдывают ожиданий при внедрении в реальные продукты. Разбираемся, почему сложно оценивать их эффективность, какие...
Vending-Bench: бенчмарк, из-за которого языковые модели впадают в экзистенциальный ужас и пишут жалобы ФБР
Бенчмарк Vending-Bench шведского стартапа Andon Labs — это тест для больших языковых моделей, проверяющий их способность к долгосрочному...
BI в тестировании — сравнение результатов бенчмарков двух веток с помощью однофакторного ANOVA (критерий Кохрена-Кокса)
Business Intelligence (BI) находит применение в самых разных сферах, в том числе, например, при анализе результатов бенчмарков. Часто возникает...
Проверка отсутствия деградации бенчмарков для двух версий статистическими методами
Привет, Хабр! Часто при тестировании идет сравнение производительности двух версий, например, master ветки и feature ветки. Допустим, идет...