Tests de régression
TDF LibreOffice Document Liberation Project Blogs communautaires Weblate Nextcloud Redmine Ask LibreOffice Donner
Les développeurs sont seulement des humains. Leurs modifications peuvent parfois provoquer des effets collatéraux non attendus, qui amènent des bugs ou des réductions de performances. Les tests de régression aident à trouver ces problèmes. Ils vérifient qu'une fonctionnalité particulière fonctionne telle qu'elle le doit et que les utilisateurs peuvent tranquillement l'utiliser dans leurs travaux quotidiens.
Naturellement, les tests de régressions seront exécutés dans chaque version testable. D'un autre côté, en pratique, c'est une utopie de croire que nous pouvons tester tous les recoins d'un gros logiciel comme LibreOffice à chaque version. Nous avons donc des tests de régression de scénarii ou de fonctionnalités régulièrement utilisés et nous les testons sur les betas et les rc.
Tests existants
LibreOffice a un cycle de release et des critères de release bien définis. Il y a des versions majeures X.Y.0 avec leurs versions daily, beta et release candidate. Il y a également des versions bugfix X.Y.Z avec leurs versions release candidate. Les tests suivants sont nécessaires :
- smoketest doivent être faits avant que toute version beta ou rc soit annoncée.
- full regression test doivent être faits avant toute version majeure
- basic regression test doivent être faits également avant toute version bugfix.
Smoketest
Toutes les versions sont disponible 1 à 2 jours avant l'annonce officielle. Nous devons nous assurer qu'elles sont utilisable sur le plus de plateformes possible. N'hésitez pas à nous aider en suivant les étapes ci-dessous :
- guettez le mail de pré-annonce sur la liste libreoffice@lists.freedesktop.org
- téléchargez la version pour votre plateforme à partir du site dev-builds pre-releases
- installez-la et essayez des opérations basiques comme ouvrir/enregistrer des documents dans Writer, Calc, Impress, et Draw
- si vous trouvez un bug qui rend la version pratiquement inutilisable, veuillez nous le faire savoir en répondant au mail d'annonce. Veuillez garder tout le monde et la mailing en CC
- rapportez les bugs dans bugzilla
FIXME: Il y a des tentatives pour automatiser cette tâche.
Test de régression complet
Les tests automatiques sont actuellement exécutés pendant la compilation :
- n'hésitez pas à rejoindre les développeurs et les aider à implémenter plus de vérifications ; cela permet d'exécuter des tests plus fréquemment.
- FIXME: est-ce que cela a du sens d'extraire des tests subséquents de la compilation pour les exécuter sur le système des utilisateurs ?
- IMPORTANT: Il y a même des tâches pour non développeurs
Test de régression basique
Les versions de bugfix pures apparaissent chaque mois après une version majeure. Il n'y a pas assez de temps pour faire des tests de régression complets. Les développeurs essaient d'éviter les régressions dans les versions de bugfix pures en vérifiant les modifications. Mais ils sont seulement humains, cela a donc du sens d'exécuter les tests de régression les plus importants. Habituellement les cas ayant la priorité 1 et priorité 2 seront testés à cette phase.