QA/Bibisect/da

TDF LibreOffice Document Liberation Project Community Blogs Weblate Nextcloud Redmine Ask LibreOffice Donate

• Wiki Home
• Development
• Design
• QA
• Events
• Documentation
• Website
• Localization
• Accessibility
• Marketing
• Diversity
• Wiki Help

• Bug Report
• Bug Triage
• Projects
• Regression Test
• Automated Tests
• Bibisect
• QA Meetings
• QA FAQs

Introduktion

Bibisect står for ”binær bisektion“ Det er en procedure, der hjælper med at identificere tilsagn, der har forårsaget regressioner. Regressioner er den mest irriterende menneskelige efterladenskab, som uheldigvis dukker op med softwareudvikling og QA (kvalitetssikring). Vi vil behandle regressioner hurtigt og før tiden er gået og de bliver sværere og sværere at vurdere og ordne.

Hvordan fungerer Bibisection?

Hver Bibisect-pakke er et git-lager befolket med hundreder eller tusinder prototyper af LibreOffice. Tilføjet til lageret in kronologisk orden giver prototyperne en hurtig og enkel måde for os at teste en fejl mod imod mange forskellige versioner uden at skulle kompilere LibreOffice hver gang, vi skifter til en anden version.

Vi kan geare værktøjerne, der er indbygget i git til binære søgninger gennem tilsagnene (”fx git bisect“) såvel som drage fordel af kompressionen og de-duplikeringsfunktioner, der inkluderet i git. Fx i en serie af prototyper, som hver kunne optage 500 MB diskplads, skal vi gennem de-duplikation potentielt kun bruge kun 25 MB til hver ekstra prototype.

Se Effective Bisection and Bibisection (Matthew Francis' tale på LibOCon 2015 på YouTube) for både en introduktion og praktiske detaljer.

Detaljer

En succesfuld bibisection vil overlade udviklerne kun nogle få tilsagn at gennemsøge for at finde det 'skyldige' tilsagn, som vi tror indførte en regression. Afhængigt af det bestemte bibisect-lager, kan samlingen være på 60, 100 eller bare 2 tilsagn. (Vi har også nogle meget 'grove' bibisect-lagre, som bruger frigivne versioner + beta + RC-prototyper, og disse har måske samlinger der spænder over flere hundreder tilsagn)

QA kan tage det ekstra skridt, der består i en fuldstændig bibisection (der bestemmer det nøjagtige tilsagn) eller kan overlade det til udviklerne. Det er ofte let at at finde det tilsagn, som har forårsaget problemet, efter at fejlen er blevet bibisectet. Med omkring 10 GB vil du have hundreder af prototyper at arbejde med. En bibisect kan tage så lidt som 15 minutter.

Aktuelt kan bibisect udføres på:

• GNU/Linux (64 bit)
• macOS
• Windows

Som det kan ses fra Commits i rækkevidde og antal builds, afhængigt af det specifikke bibisect-lager, kan dette interval være i gennemsnit 80 commits for gammelt "43max"-lager (når hundredvis af af kildebekræftelser i nogle builds) til kun 1 eller 2 commits for nyere repositories. (Vi har også nogle meget 'grove' bibisect-repositories, der bruger frigivne versioner + beta + RC-builds, og disse kan have intervaller, der spænder over flere hundrede af commits).

Hvis build commit eller range findes, er fejl markeret med nøgleordet "bibisected", og hvis source commit er fundet, er bug desuden markeret som "bisected".

Generelle Instruktioner

Det kan være en god idé for begyndere at starte med at spore trinene i en bibisect, der allerede var gennemført med succes. Til dette formål har vi en bibisecting tutorial.

Bemærk: Hvert operativsystem er forskelligt, så læs venligst den side, der svarer til dit specifikke operativsystem (GNU/Linux, macOS eller Windows) for mere specifikke instruktioner, tips og fejlfinding.

Før du bibiserer for første gang, skal du:

1. Konfigurer dit miljø (evt. med ekstra software)
2. # Download det relevante bibisect-depot

Når den er konfigureret, for hver fejl:

1. Bibisect fejlen
2. Kommenter i fejlrapporten med resultaterne
3. Erstat søgeordet 'bibisectRequest' med 'bibisected'
4. Hvis den præcise commit, der forårsager regression, er blevet identificeret, skal du også tilføje nøgleordet 'bisected', tilføje udvikleren som CC og kommentere 'Adding Cc: to <developer's name>'

Bemærk, at du kun bør tilføje den originale forfatter til CC ("forfatter" på git.libreoffice.org eller "ejer" på gerrit), ikke nogen anmeldere. Hvis en udvikler har trukket sig tilbage fra projektet (tjek datoen for deres sidste commits), er der ingen mening i at tilføje nogen til CC'en. I stedet for i dette tilfælde bør du støde fejlrapportens prioritet.

Commit intervaller

Nogle bibisect-depoter har rækker af kildeforpligtelser foldet sammen i en enkelt del. Hvis du efter at have fuldført en bibisect kun bliver præsenteret for en enkelt af disse chunk commits, kan du få intervallet ved først at kopiere hashen (bemærk: ikke kildehashen) og bruge den i en git log kommando som sådan:

git log c3f9dc54188b316a61dd871b63734d49b05f5d7f

Nu kan du kopiere kildehasherne for den første og tidligere viste commit og adskille dem med .. for at konstruere en intervalforespørgsel som sådan:

https://git.libreoffice.org/core/log/7c4d3ea6ba4d42b4dda5148a00c8c411b5d7703d..5b195fbcf7a441aeb193f6abd08b877e580938e0

Dette giver dig mulighed for at skimme commit-beskeder på udkig efter relaterede emner. For en dybere undersøgelse, se afsnittet om detektivarbejde.

At finde den tidligste berørte version

Hvis du har en lokal kopi af kernelageret, kan du opdatere feltet Version i fejlrapporten takket være nogle git-kommandoer:

1. Sørg først for, at du har alle tags:

git fetch --tag

2. Brug derefter 'name-rev' til at finde konteksten (mere præcist, efter hvor mange revisioner den gik forud for det tidligste tag, der indeholder commit):

git name-rev <commit>

3. Hvis det ikke gav et nyttigt tag, der matcher en LibreOffice-version, kan du liste alle tags, der indeholder commit og har "libreoffice" i navnet med:

git tag --contains <commit> | grep libreoffice

Begrænsninger

Udførelse af en 'bibisect' er kun muligt, hvis vi har et tilgængeligt lager til det korrekte operativsystem, der dækker den korrekte samling af LibreOffice-tilsagn. Vi har meget god dækning af GNU/Linux og forbedrer vores dækning af Windowa og macOS.

Nogle regressioner er vanskelige at genskabe og kræver måske flere testkørsler, før fejlen viser sig. Som du måske kan forestille dig, er det ”meget“ svært at bibisecte sådanne regressioner, og kræver at du foretager mange testkørsler efter hver udgivelse af en ny version af LibreOffice for at give nogen sikkerhed / statistik for, at fejlen faktisk findes eller ikke findes i den givne version.

Vi har aktuelt ikke bibisect-understøttelse af

• LibreOffice for Android
• BSDs (selv om GNU/Linux bibisect -pakker måske kører, med mindre justeringer)
• LibreOffice Online
• LibreOffice Vanilla for Mac (i Mac App Store)

Versioner

Versioner er oplistet på hver OS-side. Se #Detaljer ovenfor.

Ikke Bibisectable

Nogle fejl er ikke bibisect-bare. De omfatter

• Fejl, der ikke viser sig på en understøttet platform (se #Begrænsninger)
• Fejl, der er ældre en vores bibisect-prototyper ”(Vi arbejder på at udvide dækningsområdet)“
• Fejl, der er afhængige af prototypeindstillinger, der ikke er aktiveret i TDF-prototyper ”(fx ”'-kde“')“

Hvis du finder, at en fejl med nøgleordet bibisectRequest ikke er bibisectbar, skriv en kommentar om, hvorfor vi ikke kan bruge bibisect til at opspore begyndelsen af dette problem, og erstat nøgleordet bibisectRequest med notBibisectable. Hvis en fejl går forud for bibisect builds, skal du erstatte søgeord bibisectRequest med preBibisect.

Fejlfinding

Find fejl, der behøver bibisect

Følgende fejl med søgeordet bibisectRequest venter på en bibisect:

Derudover kan alle uafklarede regressioner i LibreOffice have gavn af at bibisere.

Find fejl, der allerede er bibisectet

Se venligst links til bugzilla-forespørgsler i here.

Når informationen ovenfor er tilføjet fejlen, ved en udvikler , at regressionen blev introduceret mellem tilsagnene fb754a0df859e30255c25af8fa19bfaa75f257e7 (good) og 2d19e9bb07ccff3134f855812dddfda5c07b1fe4 (bad) på master.

git log fb754a0df859e30255c25af8fa19bfaa75f257e7..2d19e9bb07ccff3134f855812dddfda5c07b1fe4

Ovenstående kommando, der blev kørt i kildelageret, vil vise de 128 commits, inklusive den, der introducerede fejlen, hvilket gør det meget nemmere for udvikleren at lukke ind for den skyldige. For flere detaljer, se:

• halver i git-fællesskabsbogen
• diskussion om udviklerlisten

Specielle situationer

Bibisecting sprogspecifikke fejl

De leverede TDF bibisect-lagre inkluderer ikke nogen lang-packs.

For at bibisectere fejl, som fungerer godt med engelsk UI, men dårligt med ikke-engelsk UI (som CJK'er): man skal kopiere og indsætte følgende filer, fra en udgivelsesbuild, som har dit sprog, til den samme placering af bibisect-repoen:

1. program/ressource/<dit_lang_tag>
2. share/registry/Langpack-<dit_lang_tag>.xcd
3. share/registry/res/fcfg_langpack_<dit_lang_tag>.xcd
4. share/registry/res/registry_<dit_lang_tag>.xcd

De foreslåede sprogressourcer, du bør kopiere, er dem for den samme hovedgren. For eksempel, for bibisect-linux-64-6.0 repo, kan du kopiere fra 6.0.1.1 udgivelse.

Kørsel med en separat brugerprofil

For at oprette en mappe til separate profiler på /tmp/ (som vil blive fjernet automatisk under den næste maskinopstart):

./opt/program/soffice -env:UserInstallation=file:///tmp/soffice-bisect

Hvis du vil begynde forfra på hver bisect-gentagelse, kan du tilføje nummeret på git-tilsagnet til mappens navn. For eksempel

./opt/program/soffice \
-env:UserInstallation=file:///tmp/soffice-bisect-$(git rev-parse HEAD)

Find en løsning

Nogle gange er en fejl en sideskade af en anden (muligvis mindre) fejl, på en ikke indlysende måde. I sådanne tilfælde kan den anden fejl være rettet på master, men den blev ikke backporteret til udgivelsesgrenen. For at identificere en problem-fixing commit kan du bruge:

git bisect start --term-new=fixed --term-old=unfixed
git bisect fixed master
git bisect unfixed <some-old-sha> # you can use "git log --reverse" to detect the first revision in the bibisected package

Mens du tester, skal du sige

git bisect fixed

eller

git bisect unfixed

alt efter hvad der er relevant.

Hvis rettelsen er lille og vigtig nok, kan den sandsynligvis nemt tilbageporteres til udgivelsesgrenen.

Tjek en specifik commit ud baseret på kildehash

Nogle gange ved du allerede, at en specifik kilde-commit har/ikke har den fejl, du jager.

Kopier kildehashen fra LibreOffice git-historikken og brug den til at grep i bibisect-repo-loggen sådan:

git log --all --grep='29a9f433c268414747d8ec7343fc2b5987971738'

Kopiér commit-hashen for bibisect-reposen, og tjek den for at bekræfte din antagelse:

git checkout 38758b70f5278d4d8292a2e857e80a9a1130f38e

Du kan bruge repo-commit-hashen, når du bestemmer det dårlige-gode-interval, der skal opdeles:

git bisect start 38758b70f5278d4d8292a2e857e80a9a1130f38e oldest

At udføre detektivarbejde inden for et commit-område

Hvis dit bibisect-resultat er række af forpligtelser, og du har problemer med at finde den krænkende forpligtelser, kan du måske gøre dit liv lettere ved at søge med et søgeord.

Et eksempel på en sag, hvor vi kender problemet, er i Calcs Navigator-visning:

git log --stat --pretty=short --graph 169bd7718264b0e312052757f9bbd2321e1399c2...ff8b873936aa72b17309da4bfc2775573a5b1f55 | grep -B 10 -A 10 --color=always "sc/source/ui/navipi" | less -R

Juster -B og -A grep-parametrene for at kontrollere, hvor mange linjer før og efter det hit, du vil vise. Når piping til mindre, -R bevarer farven af ​​søgeresultater.

Bisect over helvede

Nogle gange sidder vi fast i en elendig situation, hvor vi er nødt til at bruge git bisect skip igen og igen på grund af forskellige årsager. Der er måder at komme ud af disse irriterende rod, og her vil vi vise en af ​​dem.

Eksempel på fejl: tdf#123095

Bug dukkede op i 4.0-4.1-området.

Der er masser af commits, hvor autofilteret slet ikke vises, så dem skal du springe over.

Vi kan bruge git bisect til at visualisere til at vise os resterende formodede commits:

git bisect visualize --oneline > /some/path/bisect-viz-123095.txt

De tidligste dårlige resultater er øverst, mens de, du har sprunget over, er nederst. Forpligtelsen under bunden er den sidst kendte gode.

De bedste resultater inkluderet

  b842ac1 source-hash-7b4d76772ef76a8de852ed647ed0cad368f70189
  40ef04e source-hash-dc173b7f2a550185404aacbc6da744cb6d1880fc
  8e697de source-hash-eb96e4325278f31b9e6fbc1d5c6a01543204ded6

Ved at lave git checkout b842ac1, teste, fortsætte med den næste osv. viser det sig, at den tredje fra toppen allerede var en commit, der kunne springes over.

En intervalforespørgsel med kildehasherne i stilen bottomcommit..firstbadcommit kan laves.

Søgning efter "filter" i de viste resultater fører til en mistænkelig forpligtelse til at sortere autofilter popup-elementer.

Hvis soffice fejler med en udgangskode, der ikke er nul - det betyder sandsynligvis et nedbrud - tilbyder en løsning under QA/Bibisect/Automation#Godbidder til effektivitet et script, der letter smerten ved gentagne gange at springe over fejlede prober.

Især i de ældre depoter kan du nogle gange ende med en liste over snesevis af potentielle dårlige indsendinger. Indsendinger er muligvis ikke i orden, så det er ikke nemt at konstruere en intervalforespørgsel. Du kan gemme listen over indsendinger til en tekstfil og køre git show for dem alle og dirigere outputtet til en fil:

while IFS="" read -r p || [ -n "$p" ]
do
  git show --no-patch "$p" >> /path/to/bisectlog.txt
done < /path/to/bisect_range.txt

De ældre depoter inkluderer den originale indsendinger-meddelelse, så denne resulterende logfil vil være umiddelbart nyttig. Hvis det binære depot ikke indeholder de originale meddelelser, skal du først lave et pass med git show --oneline --no-patch, rydde op i listen over kildehash og derefter gøre det sidste looping mod LibreOffice kernelager.

At finde kilden-commits fra bibisect

Hvis bibisect blev udført, men sandsynligvis ikke er korrekt eller i et depot, der vides at have et stort udvalg af kilde-commits, kan vi kontrollere området ved at finde en tidligere build-commit fra den fundne og derefter finde kildeområdet.

$ git log -1 1f14665c5624bc7a502738aa8f4f2bd70a211e72^
$ git log --oneline b6c016da23d309b4ac7d154bc33a22397974ed73..d85fd8a85501547d5bb87822d2589a07aed7f2d6

Problemløsning

Beskriv venligst dine problemer og hvordan du løste dem. Dette afsnit dækker spørgsmål, som dækker mere end et OS. Om OS-specifikke spørgsmål se venligst de individuelle OS wikisider.

Umuligt at udtrække filer

Hvis du ikke kan udtrække filer (du skulle få en fejlmeddelelse). Prøv at omdøbe filen fra *.tar.lzma til *.tar.xz.

Installeret LibreOffice blev uventet ændret

Problem / Beskeder:

   error: Your local changes to the following files would be overwritten by checkout:
     opt/program/pythonloader.pyc
     opt/program/uno.pyc
     opt/program/unohelper.pyc
   Please, commit your changes or stash them before you can switch branches.
   Aborting

'Løsninger'::

git checkout .

Ovenstående kommando vil reparere problemet. Derefter kan du starte den næste testkørsel som sædvanligt med

git bisect good # or git bisect bad

Hvis det ikke løser problemet, kan du prøve følgende kommandoer:

git clean -fd
git reset --hard

Den ultimative reparation er at slette alt undtagen én skjult .git/-mappe, og gør

git checkout oldest

Umuligt at start soffice

Problem 1: Efter forsøg på at køre soffice inde i bibisect får du fejlmeldingen "unexpected operator terminate called after throwing an instance of 'com::sun::star::uno::DeploymentException'“

Løsning: Nulstil din LibreOffice-profil, der er placeret i ~/.config/libreoffice. Sørg for at tage sikkerhedskopi af mappen, hvis du har nogen som helst indstillinger, du vil bevare til brug med din stabile LibreOffice-udgave. Når du er færdig med bibisect kan du prøve at genskabe din sikkerhedskopi på dens oprindelige plads (dvs. slette den den nye profilmappe og erstatte den med den sikkerhedskopierede).