Accio-org /CommerceAgentBench

Бенчмарк от команды Accio (Alibaba), проверяющий, способен ли ИИ-агент вести длительные задачи интернет-магазина.

CommerceAgentBench — набор из 107 тестовых заданий, оценивающих, может ли ИИ-агент выполнять комплексные бизнес-процессы в интернет-торговле: работать в браузере, вызывать API, готовить документы и таблицы, анализировать поставщиков и публиковать товары. Каждое задание запускается в изолированном окружении и проверяется автоматически, что позволяет сравнивать разные модели по единой методике.

Описание автора: CommerceAgentBench: Benchmarking Long-Horizon Agents in High-Fidelity, Stateful, and Reproducible Replicas of Real Online Services

HTML★ 1 254создан 2 августа 2026форков 79Apache-2.0

Открыть на GitHub → Сайт проекта

Сколько звёзд прибавилось

Прирост по дням за 3 месяца

17 июня: ≈018 июня: ≈019 июня: ≈020 июня: ≈021 июня: ≈022 июня: ≈023 июня: ≈024 июня: ≈025 июня: ≈026 июня: ≈027 июня: ≈028 июня: ≈029 июня: ≈030 июня: ≈01 июля: ≈02 июля: ≈03 июля: ≈04 июля: ≈05 июля: ≈06 июля: ≈07 июля: ≈08 июля: ≈09 июля: ≈010 июля: ≈011 июля: ≈012 июля: ≈013 июля: ≈014 июля: ≈015 июля: ≈016 июля: ≈017 июля: ≈018 июля: ≈019 июля: ≈020 июля: ≈021 июля: ≈022 июля: ≈023 июля: ≈024 июля: ≈025 июля: ≈026 июля: ≈027 июля: ≈028 июля: ≈029 июля: ≈030 июля: ≈031 июля: ≈01 августа: ≈02 августа: ≈03 августа: ≈04 августа: ≈2825 августа: ≈1 0656 августа: ≈3537 августа: ≈08 августа: ≈09 августа: ≈010 августа: ≈011 августа: ≈012 августа: ≈013 августа: ≈014 августа: ≈015 августа: ≈016 августа: ≈017 августа: ≈018 августа: ≈019 августа: ≈020 августа: ≈021 августа: ≈022 августа: ≈023 августа: ≈024 августа: ≈025 августа: ≈026 августа: ≈027 августа: ≈13228 августа: ≈029 августа: ≈030 августа: ≈031 августа: ≈01 сентября: ≈02 сентября: ≈03 сентября: ≈04 сентября: ≈75 сентября: ≈06 сентября: ≈37 сентября: ≈08 сентября: ≈09 сентября: ≈010 сентября: ≈011 сентября: ≈312 сентября: ≈413 сентября: ≈614 сентября: ≈015 сентября: ≈617 июняиюльавгсент

Оценка по выборке GH Archive. Бледные столбцы — дни, история за которые ещё загружается.