Так, A-Vibe обошла такие модели, как GPT-4o mini, Gemma 3 27B, Claude 3.5 Haiku, Mistral Large и другие популярные небольшие нейросети. В рамках тестирования были задействованы разные методы — от базового понимания текста до продвинутых лингвистических задач, требующих глубокой работы с контекстом.
Некоторые результаты тестирования MERA:
– Генерация кода: на 25% лучше Gemini 1.5 с 8 миллиардами параметров
– Ведение диалога: на 32% точнее Llama 3.1 с 405 миллиардами параметров
– Способность анализировать смысл текста: на 23% точнее Claude 3.5 Haiku.
A-Vibe уже применяется в сервисах Авито, помогая продавцам создавать эффективные описания товаров и ускорять коммуникацию в мессенджере.
Мы рассматриваем возможность выпуска модели в открытый доступ, что станет нашим вкладом в развитие российского рынка ИИ. Это поможет малому бизнесу внедрять передовые технологии без значительных инвестиций, образовательным учреждениям создавать прикладные программы, а независимым разработчикам строить современные сервисы на базе отечественных технологий. Для нас это возможность получить ценную обратную связь от рынка и улучшить наши модели,
отметила Анастасия Рысьмятова, руководитель разработки больших языковых моделей «Авито»
