SwingArena: Competitive Programming Arena for Long-context GitHub Issue Solving

We present SwingArena, a competitive evaluation framework for Large Language Models (LLMs) that closely mirrors real-world software development workflows. Unlike traditional static benchmarks, SwingArena models the collaborative process of software iteration by pairing LLMs as submitters, who genera...

Повний опис

Збережено в:

Бібліографічні деталі
Автори:	Xu, Wendong, Xiong, Jing, Zhao, Chenyang, Chen, Qiujiang, Wang, Haoran, Shen, Hui, Wan, Zhongwei, Dai, Jianbo, Wu, Taiqiang, Xiao, He, Tao, Chaofan, Mao, Z. Morley, Sheng, Ying, Guo, Zhijiang, Yang, Hongxia, Yu, Bei, Kong, Lingpeng, Gu, Quanquan, Wong, Ngai
Формат:	Стаття
Опубліковано:	2025
Предмети:	Computation and Language
Онлайн доступ:	https://arxiv.org/abs/2505.23932 http://arxiv.org/abs/2505.23932
Теги:	Додати тег Немає тегів, Будьте першим, хто поставить тег для цього запису!

Будьте першим, хто залишить коментар!

SwingArena: Competitive Programming Arena for Long-context GitHub Issue Solving

Схожі ресурси