Рефлексируем: один баг, Java-проект, AI-агент и много семантических анализаторов. Что может пойти не так?

Сегодня бо́льшая часть разработчиков уже проектирует архитектуру, реализует фичи и формулирует требования с помощью AI-агентов и персональных ассистентов, с разной степенью вовлеченности.

Я решил проверить: а что изменится в моей работе, если дать AI-агенту те же инструменты, которыми пользуется сам разработчик: IDE, LSP и базу знаний проекта? Заодно хотел посмотреть, что сломается, а также сравнить результат со стандартными и популярными решениями для AI-агентов.

Я взял один реальный, типичный баг в Apache Calcite и написал бенчмарк, чтобы проверить работу агента с разными инструментами: от простого чтения файлов и grep-утилит до IntelliJ IDEA, Serena с фрагментом Eclipse внутри, Graphify и Understand-Anything.

Что могло пойти не так? Всё!