Егор Куликов, Илья Муравьёв - «Невыносимая легкость» автоматической генерации тестов

Ближайшая конференция - Heisenbug 2025 Spring, 5-6 апреля (Москва + онлайн-трансляция).
Подробности и билеты: jrg.su/Tq0vcu
- -
Скачать презентацию с сайта Heisenbug - jrg.su/MUty5M
Автоматическая генерация тестов стала популярна в связи с появлением больших языковых моделей. Возникла иллюзия, что создать подобный инструмент не так уж и сложно. Так ли это?
Если отправить в языковую модель слишком мало информации, тесты будут плохими, а если слишком много, то дорогими. А еще нужно не только задать LLM правильный вопрос, но и качественно обработать полученный ответ.
Поговорили о подводных камнях и перспективах, которые открывает автоматическая генерация тестов. Спикеры рассказали, как три года назад начали искать решение на базе формальных методов (символьного исполнения и фаззинга) и создали UnitTestBot. Инструмент выигрывал международные соревнования и получил признание в академической среде, но с тем, чтобы добиться высокого качества тестов на больших проектах, справлялся не всегда. Сейчас они уверены, что будущее технологии - за синтезом формальных методов и AI.