Скил для поиска тест-кейсов в Jira через Claude Code

Делал скил для поиска в Jira готовых тест-кейсов, которые сделали тестировщики, чтобы в своих задачах было от чего отталкиваться, собирая валидный контекст для ИИ, для спеков и BDD тестов в проекте, если скоуп совпадает

По умолчанию Claude не умел ходить в Jira, потом не умел ходить смотреть тест-кейсы т.к. они в особом месте, MCP такое место не поддерживает, не умел искать, обманывал в поисках

После успешного пинания, сказав что я в Firefox залогинен и нужно вытащить токен оттуда, Claude повиновался хакерским действиями и молча стырил токен, т.к. мне было лень как-то самому его получать через UI Jira

Всё-таки я получил что хотел и решил создать скил, чтобы не тратить в будущем столько времени снова

▸ github.com/anthropics/skills должны быть установлены

▸ Вызывал /skill-creator → создай скил со скриптами jira-test-cases, на основе диалога выше, чтобы экономить время и сохранить воркфлоу. Скил создался, попросил ИИ его прогнать чтобы полирнуть баги

▸ Потом дал промпт: /skill-creator jira-test-cases делай бенч евал проверяй скил и отчет

Claude ответил → запустил 6 subagents (3 with-skill + 3 without-skill). Потом выдал таблицу как на первом скрине и сразу нашёл баг, что в одном из прогонов скил вообще пошёл не в Jira смотреть, а локальные тесты

Евалы и бенчи это не быстро — десятки минут

Можно попросить проверить скил на бумаге, без реального выполнения, но конечно это не даст таких же результатов как прогон на лайве

По итогу бенчей можно понять реально ли нужен скил → показывает скорость и затрату токенов на нескольких прогонах со скилом и без, показывает дельту по времени и токенам, сколько тулов юзал агент

Комментарий от Claude: «Baseline агенты без скила тратят десятки subtasks на то, что скил делает одной командой» → скил крайне нужен и будет эффективен

Нужно чтобы скил ещё из контекста вовремя тригерил, т.к. часто замечал что при наличии скила агент не вызывает его, а делает что-то сам

Правильный или неправильный у вас тригер/description в скиле → можно тоже заевалить скилом от Anthropic

Второй скрин → таблица результатов. Третий скрин → агрегат о том как влияет скил на задачу. Мой агрегат показывает что скил ещё далёк от совершенства. Если бы не евалы → я бы слепо верил что скил полная имба, но по факту нет

Ещё можно попросить показать полный HTML репорт → он генерится после евалов и бенчей, содержит очень подробные данные. Четвёртый скрин → финал с анализом, рекомендациями и инсайдами

Пост из Telegram-канала Аи Помогатор