🌸APRES: An Agentic Paper Revision and Evaluation System🌸#nlp #nlp_papers Может ли процедура рецензирования быть автоматизирована? И как к этому вопросу вообще подойти, чтобы адекватно оценивать идеи и их реализацию?Применяем агенты на стыке LLM-агентов и наукометрии.🌸TL;DRРецензенты оценивают статьи относительно стандартов науки, устоявшихся годами, но год от года меняющихся.Можем ли мы, посмотрев на исторические данные, построить систему, которая предсказывает эти стандартны, и непосредственно оценивает по ним, насколько статья будет импактной, важной для сообщества?В качестве прокси-метрики можно взять количество цитирований другими импактными статьями спустя год после публикации. Оценивая статью по предсказанным рубрикам, скоррелированным с будущими цитированиями, мы можем итеративно улучшать уже готовую статью, чтобы в конце концов максимально оптимально донести свою мысль, чтобы статья была полезна.🌸Общий пайплайнберем AIDE или другой Tree Search скаффолд, даем ему набор рубрик для старта — у нас это критерии оценки NeurIPS.Другие компоненты агента: o1 или Gemini 2.5, а также парсер статей 1. Предсказываем рубрикиГенерация рубрик: LLM-агент генерирует или уточняет набор из k элементов рубрики для рецензирования (например, «техническая обоснованность» или «ясность изложения»).Оценка: Агент-рецензент оценивает статьи в датасете по этим элементам рубрики, присваивая баллы.Анализ: Модель отрицательной биномиальной регрессии прогнозирует количество цитирований на основе баллов, с измерением качества прогноза через MAE.Выбор и уточнение: Система выбирает наиболее эффективную рубрику и возвращает её для дальнейшего уточнения.Этот процесс замкнутой оптимизации продолжается до сходимости, обычно в пределах 25 итераций. По итогу имеет более детальные рубрики, куда более конкретные, чем изначальные от конференции/журнала.2. Оптимизирует текст статьиПосле того как оптимальная рубрика R* найдена, она используется для автоматизированной ревизии статьи:— Система сначала оценивает исходную статью по найденной рубрике, генерируя как количественные баллы, так и конструктивную обратную связь.— LLM-агент-редактор предлагает изменения, направленные на повышение баллов статьи по рубрике R*.Переработанная версия статьи повторно оценивается, и процесс итеративно продолжается до сходимости, при этом все версии отслеживаются, а лучшая версия выбирается для дальнейшего уточнения.🌸Результаты:— Mean Averaged Error предсказания цитирований у такого метода примерно на 20% лучше альтернатив, а общий прирост предсказанных цитирований больше, причем основные идеи и результаты статьи не редактируются.— Метод также снижает разброс оценок статьи среди рецензентов, а сами рубрики легко валидировать.— Рубрики, полученные методом оптимизации, дают более серьезное улучшение качества статьи, чем использование реальных гайдлайнов рецензирования -- они, как правило, не достаточно подробные, и могут по-разному трактоваться. Сгенерированные подробные рубрики оценки статей задают гораздо более детальные и интересные критерии (см аппендикс статьи)— В эксперименте с двойным слепым рецензированием с PhD ML рецензенты предпочитали улучшенные версии статей в 79% случаев.Улучшение в среднем достаточно существенное: может вывести статью из Clear reject в Borderline, из Borderline в Accept -- при условии, что сама идея изначально полезная, и сам текст статьи плохо написан. — Оценка результатов рецензирования и будущих цитирований -- очень спекулятивная тема. Мы прекрасно знаем, что большая доля статей на NeurIPS годами получает случайные решения. Теперь, когда объем статей на историческом максимуме и стресс-тестирует все сообщество, автоматические инструменты просто необходимы. В целом, если все авторы будут использовать что-то подобное, суммарная проблема неконсистентности ревью может частично решиться.🟣Arxiv https://arxiv.org/abs/2603.03142🟣AlphArxiv https://www.alphaxiv.org/overview/2603.03142
