Исследование обвиняет Лабораторию искусственного интеллекта ЛМ Арена в помощи ведущим лабораториям в манипуляции её тестами

Исследование, проведенное лабораторией Cohere, а также учеными из Стэнфорда, MIT и Ai2, обвиняет организацию LM Arena, стоящую за популярным краудсорсинговым AI-бенчмарком Chatbot Arena, в содействии определенной группе компаний по искусственному интеллекту в получении лучших результатов на лидерборде за счет конкурентов. По словам авторов, LM Arena позволяла некоторым ведущим компаниям в области искусственного интеллекта, таким как Meta, OpenAI, Google и Amazon, секретно тестировать несколько вариантов моделей ИИ, а затем не публиковать результаты худших из них. Это облегчало этим компаниям улучшение своих позиций в рейтинге.

Такая практика вызвала обеспокоенность в сообществе разработчиков ИИ, поскольку она создает неравные условия соревнования и подрывает доверие к результатам оценки моделей. Ранее в этом году другие организации также начали пересматривать свои методы оценки, чтобы обеспечить большую открытость и прозрачность в процессе тестирования. Chatbot Arena давно пользуется популярностью в сообществе благодаря объективности своих оценок, однако теперь эта репутация может оказаться под угрозой.