Tests de régression

From The Document Foundation Wiki
Jump to: navigation, search


Introduction

Les développeurs sont seulement des humains. Leurs modifications peuvent parfois provoquer des effets collatéraux non attendus, qui amènent des bugs ou des réductions de performances. Les tests de régression aident à trouver ces problèmes. Ils vérifient qu'une fonctionnalité particulière fonctionne telle qu'elle le doit et que les utilisateurs peuvent tranquillement l'utiliser dans leurs travaux quotidiens.

Naturellement, les tests de régressions seront exécutés dans chaque version testable. D'un autre côté, en pratique, c'est une utopie de croire que nous pouvons tester tous les recoins d'un gros logiciel comme LibreOffice à chaque version. Nous avons donc des tests de régression de scénarii ou de fonctionnalités régulièrement utilisés et nous les testons sur les betas et les rc.

Tests existants

LibreOffice a un cycle de release et des critères de release bien définis. Il y a des versions majeures X.Y.0 avec leurs versions daily, beta et release candidate. Il y a également des versions bugfix X.Y.Z avec leurs versions release candidate. Les tests suivants sont nécessaires :

Smoketest

Toutes les versions sont disponible 1 à 2 jours avant l'annonce officielle. Nous devons nous assurer qu'elles sont utilisable sur le plus de plateformes possible. N'hésitez pas à nous aider en suivant les étapes ci-dessous :

  • guettez le mail de pré-annonce sur la liste libreoffice@lists.freedesktop.org
  • téléchargez la version pour votre plateforme à partir du site dev-builds pre-releases
  • installez-la et essayez des opérations basiques comme ouvrir/enregistrer des documents dans Writer, Calc, Impress, et Draw
  • si vous trouvez un bug qui rend la version pratiquement inutilisable, veuillez nous le faire savoir en répondant au mail d'annonce. Veuillez garder tout le monde et la mailing en CC
  • rapportez les bugs dans bugzilla

FIXME: Il y a des tentatives pour automatiser cette tâche.

Full Regression Test

Le Manual test joue un rôle critique pour garantir la qualité générale de LibreOffice. Des tests efficaces doivent être faits une fois pendant chaque phase Beta et RC (ie. au moins exécuter complètement chaque cas test de la Beta1 à la Betax, puis nous faisons une itération de la RC1 à la RCx).

Les tests manuels sont scindés en cas test. Ils sont exécutés de la façon suivante dans Moztrap :

  • Lorsqu'une nouvelle version de test est prête, il y a un mail d'annonce sur la liste libreoffice-qa
  • Connectez-vous à Moztrap et voyez s'il y a une session de test active pour la version
  • Téléchargez et installez la dernière version Beta/RC build à partir du site official pre-release, ou à partir du lien fournit dans le mail d'annonce
  • Choisissez un cas test non terminé pour votre plateforme et exécutez-le (HOWTO)
    • Il est préférable de sélectionner au hasard le cas test que vous souhaitez exécuter, cela réduira la duplication des efforts
    • Lorsque vous trouvez un bug et le rapportez dans bugzilla, n'oubliez pas d'ajouter le numéro dans le champ "Associated Bug #s" de Moztrap
  • Prenez un autre cas test et exécutez-le comme décrit ci-dessus
    • S'il y a une nouvelle Beta/RC disponible, téléchargez-là en arrière-plan et installez-la lorsque vous passez à un autre cas test ; il n'y a pas besoin d'interrompre ou de redémarrer le test à cause de versions incrémentales Beta/RC pour la même version majeure ou mineure

Les tests automatiques sont actuellement exécutés pendant la compilation :

Basic Regression Test

Les versions de bugfix pures apparaissent chaque mois après une version majeure. Il n'y a pas assez de temps pour faire des tests de régression complets. Les développeurs essaient d'éviter les régressions dans les versions de bugfix pures en vérifiant les modifications. Mais ils sont seulement humains, cela a donc du sens d'exécuter les tests de régression les plus importants. Habituellement les cas ayant la priorité 1 et priorité 2 seront testés à cette phase.