Новости по тегу "бенчмарки"
Подборка публикаций, содержащих тег "бенчмарки". Актуальные темы и важные события.
Зимняя школа RISC-V: измеряем латентность и пропускную способность, оптимизируем приложения на C#
Зимняя школа RISC-V — совместный проект YADRO и ведущих технических вузов России и Беларуси. В этом году зимняя школа прошла во второй раз: 12...
Leaderboard Illusion: что не так с Chatbot Arena
Опубликованная 29 апреля научная работа Leaderboard Illusion подставила под сомнение прозрачность и объективность рейтинговых механизмов Chatbot...
AI-агенты в реальном мире: почему они не работают и как это исправить
AI-агенты часто не оправдывают ожиданий при внедрении в реальные продукты. Разбираемся, почему сложно оценивать их эффективность, какие...
Vending-Bench: бенчмарк, из-за которого языковые модели впадают в экзистенциальный ужас и пишут жалобы ФБР
Бенчмарк Vending-Bench шведского стартапа Andon Labs — это тест для больших языковых моделей, проверяющий их способность к долгосрочному...
BI в тестировании — сравнение результатов бенчмарков двух веток с помощью однофакторного ANOVA (критерий Кохрена-Кокса)
Business Intelligence (BI) находит применение в самых разных сферах, в том числе, например, при анализе результатов бенчмарков. Часто возникает...
Проверка отсутствия деградации бенчмарков для двух версий статистическими методами
Привет, Хабр! Часто при тестировании идет сравнение производительности двух версий, например, master ветки и feature ветки. Допустим, идет...