QA/Afprøvning/Regressionstests
TDF LibreOffice Document Liberation Project Community Blogs Weblate Nextcloud Redmine Ask LibreOffice Donate
Udviklere er kun mennesker. Deres ændringer afstedkommer undertiden sideeffekter, som skaber nye fejl eller eller urimelige hastighedstab. Regressionstests hjælper med til at finde disse problemer. De tjekker, at en bestemt funktionalitet virker som designet, så slutbrugere gladeligt kan bruge det på deres daglige arbejde.
Naturligvis bliver regressionstesten udført i hver enkelt testbare, nye build. På den anden side er det i praksis uopnåeligt, at vi kan afprøve hvert enkelt hjørne af et så stort program som LibreOffice i hver enkel udgivelse. Så vi opsætter regressionstests selektivt ud fra ofte forekommende scenarier og få den afprøvet i beta- og RC-(udgivelseskandidat)faserne.
Eksisterende tests
LibreOffice har en veldefineret udgivelsescyklus og veldefinerede udgivelseskriterier. Der er større udgivelser X.Y.0 med deres daglige, beta- og udgivelseskandidats-builds. Der er også fejlretnings-udgaver X.Y.Z med deres udgivelseskandidat-builds. Følgende tests er nødvendige:
- smoketest skal udføres før nogen beta- eller RC-build annonceres
- komplet regressionstest skal udføres før hver hovedversion
- basal regressionstest bør også udføres før hver fejlretningsudgivelse
Smoketest
Alle builds et tilgængelige 1-2 dge før den officielle annoncering. Vi har brug for, at de på en eller måde er brugelige på så mange platforme som mulige. Hjælp os venligst ved at gøre følgende:
- hold øje med forud-annoncerings-mails på libreoffice@lists.freedesktop.org-postlisten
- download build-en til din platform fra dev-builds pre-releases site
- installer den og prøv nogle basale handlinger, dvs. åbn/gem dokumenter i Writer, Calc, Impress, and Draw
- hvis du finder en fejl, som gør build-en næsten ubrugelig, giv os venligst besked i et svar på annoncerings-mailen. Hold venligst alle folk og postlister i CC (kopi til)
- Fejlrapport til Bugzilla
FIXME: der er nogle forsøg på at automatisere denne opgave.
Komplet regressionstest
De automatiske tests køres for tiden under build-en:
- meld dig venligst til udviklerne og hjælp dem med at køre flere tests; det lader os køre testene hyppigere
- FIXME: giver det mening at at trække efterfølgende tests fra build-processen og køre dem på brugersystemet?
- VIGTIGT: Der er endda opgaver for ikke-udviklere
Basal regressionstest
Rene fejlretningsudgivelser kommer hver måned efter en hovedversion. Der er ikke tid nok til en komplet regessionstest. Udviklere prøver at undgå regressioner i rene fejlretningsudgivelser ved at revidere ændringerne. Men de er kun mennesker, så der giver stadig mening at køre de vigtigste regressionstests. Sædvanligvis afprøves Prioritet 1- og Prioritet 2-tilfælde i denne fase.