QA/Testing/Regression Tests/id

Pengembang hanyalah manusia. Modifikasi mereka terkadang menyebabkan efek samping yang tidak terduga, yang membawa kutu baru atau penurunan kinerja yang tidak wajar. Pengujian regresi membantu menemukan masalah seperti itu, yaitu memeriksa bahwa fungsi tertentu berfungsi seperti yang dirancang dan pengguna akhir dapat dengan senang hati menggunakannya dalam pekerjaan sehari-hari mereka.

Biasanya, uji regresi akan dijalankan di setiap build baru yang dapat diuji. Di sisi lain, dalam praktiknya hal tersebut tidaklah dapat diperoleh, bahwa kita dapat mencoba setiap sudut dari perangkat lunak besar seperti LibreOffice di setiap rilis. Jadi kami memiliki uji regresi yang ditetapkan secara selektif dari skenario atau fungsi yang sering digunakan dan mengujinya dalam fase beta dan RC.

Pengujian Yang Ada
LibreOffice memiliki siklus rilis dan Kriteria Rilis. Ada rilis utama X.Y.0 dengan build harian, beta, dan rilis kandidatnya. Ada juga rilis perbaikan kutu X.Y.Z dengan build rilis kandidatnya. Pengujian berikut diperlukan:


 * smoketest harus dilakukan sebelum versi beta atau RC diumumkan
 * uji regresi penuh harus dilakukan sebelum setiap rilis utama
 * uji regresi dasar harus dilakukan juga sebelum setiap rilis perbaikan kutu

Smoketest
All builds are available 1-2 days before the official announce. We need to make sure that they are somehow usable on as many platforms as possible. Please, help us to do the following:


 * monitor the pre-announcement mails on the [mailto:libreoffice@lists.freedesktop.org libreoffice@lists.freedesktop.org] mailing list
 * download the build for your platform from the dev-builds pre-releases site
 * install it and try some basic operations, e.g. open/save documents in Writer, Calc, Impress, and Draw
 * if you find a bug that makes the build almost unusable, please let us know in a reply to the announcement mail. Please keep all people and mailing lists in CC
 * report bugs into bugzilla

FIXME: There are some attempts to automatize this task.

Full Regression Test
The automatic tests are currently run during the build:


 * please join developers and help them to implement more checks; it allows to run the tests more frequently
 * FIXME: does it make sense to extract subsequent tests from the build process and run them on the user systems?
 * IMPORTANT: There are even tasks for non-developers

Basic Regression Test
Pure bugfix releases happen every month after each major release. There is not enough time for a full regression test. Developers try to avoid regressions in pure bugfix releases by reviewing changes. But they are only humans, so it still makes sense to run the most important regression tests. Usually the priority 1 and priority 2 cases will be tested in this phase