Регрессионные тесты
TDF LibreOffice Document Liberation Project Блоги сообщества Weblate Nextcloud Redmine Ask LibreOffice Пожертвования
Разработчики просто люди. Их модификации иногда вызывают неожиданные побочные эффекты, которые вносят новые ошибки или необоснованное понижение производительности. Регрессивные тесты помогают найти такие проблемы. При помощи них проверяют правильность работы специфической функциональности.
Естественно, регрессионный тест выполнятся в каждой новой сборке. С другой стороны, на практике в каждой новой версии невозможно дотянуться до каждого укромного уголка столько масштабного программного пакета, как LibreOffice. Поэтому, у нас есть тест на регрессию для выборочного тестирования часто используемых сценариев или функций, и проводим их, используя для испытаний бета-версии и кандидатов на выпуск.
Существующие тесты
LibreOffice имеет строго определенные цикл и критерии выпуска. Существуют главная версия X.Y.0 с их дневными, бета и сборками кандидата на выпуск. Также существуют корректирующие выпуски X.Y.Z с их сборками кандидатов на выпуск. Во всех них необходимы следующие тесты:
- тест "на дым"
- тестs на общую работоспособность должны быть выполнены до того, как бета и кандидат на выпуск объявлены; - полный тест на регрессию - должен быть выполнен в каждой главной очередной версии;
- базовый тест на регрессию - должен выполняться перед каждым корректирующим выпуском.
Тест на дым
Все сборки доступны за 1-2 дня до официального объявления. Мы должны убедиться насколько это возможно, что они работоспособны на всех платформах. Пожалуйста, помогите нам провести тестирование:
- следите за предварительным извещением в почтовой рассылке libreoffice@lists.freedesktop.org;
- загрузите сборку для своей платформы с сайта dev-builds;
- установите её и проделайте основные операции, такие как открыть/сохранить документ в Writer, Calc, Impress и Draw;
- если вы нашли ошибку которая делает сборку практически не пригодной, ответьте на письмо в почте, сообщив информацию о ней. Пожалуйста, следите за тем что бы все люди и список рассылки были в копии получателей в письме;
- сообщите об ошибке в Bugzilla.
Существуют некоторые попытки автоматизировать эту задачу.
Полный тест на регрессию
Автоматические тесты в настоящее время работают в процессе сборки:
- Пожалуйста, присоединяйтесь к разработчикам и помогите им реализовать больше поверок;
- ВАЖНО: Есть задачи не для разработчиков.
Базовый тест на регрессию
Версии с исправлениями ошибок выпускаются каждый месяц после каждого основного выпуска. Обычно в них не хватает времени для испытания полной регрессии. Разработчики стараются избегать регрессии в версиях с исправлениями ошибок путем анализа изменений. Но они только люди, так что имеет смысл запускать наиболее важные тестовые сценарии для поиска возможной регрессии. Обычно на этом этапе проводят P1 test и P2 test.