Ученые «Сбера» создали бенчмарк для повышения качества медицинских консультаций

Специалисты центра практического искусственного интеллекта «Сбера» разработали новый медицинский бенчмарк 3MDBench. Эта система предназначена для повышения качества медицинских консультаций и оценки эффективности работы ИИ-моделей в сфере телемедицины. В системе 3MDBench взаимодействуют два виртуальных агента, управляемых ИИ: один выступает в роли врача, другой — пациента. Система позволяет оценить способность ИИ распознавать симптомы, ставить диагнозы и вести эффективный диалог с пациентом. Особое внимание уделяется анализу влияния темперамента пациента и выбранной стратегии общения на точность диагностики и качество взаимодействия. Исследование, результаты которого опубликованы в научной статье под названием «3MDBench: Medical Multimodal Multi-agent Dialogue Benchmark», актуально в связи с быстрым развитием телемедицины и растущей ролью языковых моделей в здравоохранении. Существующие медицинские бенчмарки часто ограничены тестами с выбором ответа или короткими текстовыми задачами и не учитывают полноценное общение между врачом и пациентом. Бенчмарк 3MDBench включает около 3 тысяч случаев с 34 диагнозами, основанных на реальных мультимодальных телемедицинских данных (текст и изображения). Исследование показало, что использование диалога и мультимодальной информации значительно повышает точность диагностики. Добавление диалогов увеличивает F1-меру на 6,5%, а включение информации от специально обученной свёрточной нейросети для классификации медицинских изображений — до 20%. Компании, разрабатывающие медицинские ИИ-системы и телемедицинские платформы, могут бесплатно использовать 3MDBench для оценки и улучшения диагностических возможностей своих нейросетей в реалистичных условиях. Это поможет повысить качество удалённых консультаций и улучшить взаимодействие между врачами и пациентами.