Руководство пользователя MozTrap
TDF LibreOffice Document Liberation Project Блоги сообщества Weblate Nextcloud Redmine Ask LibreOffice Пожертвования
Это пошаговое руководство описывает, как члены команды QA могут сделать некоторые основные задачи в MozTrap.
Регистрация и авторизация пользователя
Для того, чтобы начать работу с тестами при помощи MozTrap, вам необходимо иметь свой пользовательский аккаунт. MozTrap поддерживает две возможности для входа: через Mozilla Persona и самостоятельную учетную запись. При этом, только ваш электронный почтовый адрес является определяющим. Поэтому, вы можете использовать любой из них в разное время.
Авторизация при помощи OpenID
После того как вы выбрали этот вариант на странице авторизации:
Авторизация с учётной записи Wordpress
Чтобы использовать эту возможность, вы должны до этого авторизоваться в Wordpress. После этого вставьте ваш wordpress-id (например, http://MyName.wordpress.com) в поле OpenID и нажмите ok
Авторизация при помощи Mozilla Persona
Mozilla Persona является общим способом входа в систему, не только как доступ для MozTrap, но и для других веб-приложений. Предположим, вы уже знаете, что такое Persona и хотите войти при помощи его в MozTrap: просто нажмите кнопку Sign in (Изображение 1) и следуйте инструкциям в всплывающем окне.
Регистрация в MozTrap
Для нативной авторизации необходимо зарегистрироваться в MozTrap. После регистрации, на ваш адрес электронной почты будет отправлено письмо для подтверждения. Вам будет необходимо нажмите ссылку в письме, для активации учетной записи.
Полномочия по умолчанию
Не важно, какой метод авторизации вы выберите для использовать, вашей учетной записи автоматически будет присвоен статус Tester. Вы можете авторизоваться и начать выполнение тестов без специального запроса для этого.
Запуск тестов
В этом разделе приведены подробные пошаговые инструкции для запуска тестов в MozTrap.
Выбор тестовых прогонов и окружающей среды
- На вкладке Run Tests выберите нужные:
- Product - обычно можно выбрать только Libreoffice is the only choice.
- Versions - как правило, это должна быть последняя версия, именно она требует срочного тестирования.
- Runs - выберите, либо регрессивный тест или тест на свойства, в которых вы заинтересованы.
- В секции SET YOUR ENVIRONMENT (Установка вашего окружения), выберите соответствующие элементы окружения, соответствующие вашей среде, в которой вы намерены делать тесты.
- Arch - архитектура вашей операционной системы (32-бит, 64-бит).
- Locale - язык вашей операционной системы.
- Platform - ваша операционная система (Linux, Windows, ...).
- Нажмите кнопку Run tests in ..., чтобы начать.
Выбор тестового сценария
Как видно из Изображения 3, MozTrap имеет интегрированный пользовательский интерфейс просмотра и выполнения тестов в выбранном тестовом блоке.
В интерфейсе легко увидеть, что все тестовые сценарии представлены в виде строк. При нажатии на любую строку, она раскрывается, показывая детальное описание и исполнение конкретного тестового сценария того, который был выбран.
Как упоминалось выше, дизайн MozTrap показывает все тестовые сценарии в разбитом на строки виде. Поэтому важно, чтобы MozTrap позволял людям занимающимся тестированием использовать методы фильтрации среди тестовых сценариев конкретного тестового режима. Обычным способом фильтрации тестов является использование тегов, добавленных к имени тестового сценария. Например, при нажатии на тег p1 будут показаны все тестовые сценарии с тегом p1, а при нажатии тега writer будут показаны все тестовые сценарии с тегом writer. Более сложная фильтрация может быть сделана, либо введением дополнительных тегов в поле RUN TESTS или после нажатия на кнопку Advanced Filtering>>, расположенных прямо над верхней частью списка тестовых сценариев.
Кроме того, вы можете заметить, что некоторые из тестов уже отмечены как PASSED (пройденные) или FAILED (потерпели неудачу) в их поле результатах, хотя вы никогда не запускали их раньше. На самом деле это означает, что тестовые сценарии были отработаны другими людьми, имеющих такую же окружающую среду как и вы. Вероятно, не имеет смысла повторять ту же самую работу. Поэтому, лучше выбрать те тесты, которые имеют статус PENDING (Ожидание) в поле Results (Результат).
И наконец, тестовые сценарии имеющие тег p1 (наивысший приоритет) позволяют протестировать более общие и важные функции представленной версии LibreOffice. Людям тестирующим программы рекомендуется в первую очередь выполнить тестовые сценарии с тегом p1.
Выполнение тестов и сообщение о результатах
После выбора тестового сценария, путём расширения, вы увидите инструкцию к нему, как следует выполнять тест. Просто следуйте шагам в инструкции и записывайте результаты, которые вы наблюдаете. Это всё что вам нужно сделать здесь. Для записи различных результатов вам нужно будет нажимать различные кнопки и писать короткие комментарии:
- кнопка PASS TEST - нажмите её, когда все действия предложенные в сценарии проходят удачно.
- кнопка FAIL STEP - нажмите её, когда конкретный шаг описанный в тестовом сценарии потерпел неудачу. Это также сделает весь тестовый сценарий неудавшимся. Вам нужно будет сделать в текстовом поле комментарий о том, почему вы считаете что выполнение шага в сценарии не удалось. По желанию, вы можете также дать URL на Bugzilla, где было сообщено об этой ошибке.
- кнопка Invalid - она находиться рядом с кнопкой PASS TEST и выглядит как восклицательный знак на жёлтом фоне. Нажмите ее, когда тест несет неясные шаги, недопустимое содержание или непонятен. Администраторам тестов потребуется обновить эти тестовые сценарии в соответствии с вашим докладом. Краткое объяснение является обязательным для заполнения, когда вы отмечаете тест как Invalid.
Создание нового тестового сценария
Права на создание тестового сценария
В рамках MozTrap, чтобы создавать новые тесты непосредственно в нем, вам потребуется по крайней мере, быть Test Creator. Кроме того, у нас есть другие способы, чтобы принять новые тестовые сценарии, но они все в этой теме.
Добавление нового тестового сценария
Как показано на Изображении 4, перейдя Manage->Cases (Управление -> Сценарии), вы увидите интерфейс для обработки тестовых сценариев.
Для добавления одного тестового сценария, нажмите кнопку + create a test case справа вверху страницы. После этого, вы попадёте на страницу (Изображение 5), где можно будет ввести необходимую информацию. Ниже описаны некоторые основные идеи, лежащие в полях для заполнения:
- Product - продукт, для которого предназначен тестовый сценарий (обычно это только LibreOffice).
- Version - версия продукта, для которой предназначен тестовый сценарий.
- And Later Versions - создание версии теста для указанной версии продукта, а также для всех последующих версий. (например: если версии продукта 3, 4 и 5 уже имееются для этого продукта, и вы указали версию продукта 4 в поле Version, то в этом случае будет создан тест для версий 4 и 5).
- Suite - существующий модуль, к которому вы хотите добавить тестовый сценарий. Добавить тест в нужный модуль можно позже.
- Name - краткое название теста.
- Description - любые описания, предварительные условия, ссылки или заметки, которые необходимы для теста. Это поле отображается во время выполнения теста. Для него поддерживается синтаксис Markdown.
- Add Tags - Введите теги применяемые к этому тесту. Нажимайте Enter на клавиатуре после каждого тега, чтобы теги отобразились в цепочке. Работает автозавершение для существующих тегов.
- Add Attachment - поле для прикрепления файла (например, изображение или документ) к тесту, который может помочь прохождению тестового сценария.
- Instruction / Expected - инструкция испытания и соответствующие ожидаемые результаты. Вы можете разместить все инструкции и ожидания в одном шаге, или разбить их на отдельные шаги. Если сценарий разбит на отдельные шаги, каждый шаг будет иметь кнопку FAILED, чтобы сообщить об ошибке конкретно на нём. Возможно, это является лучшим подходом. синтаксис Markdown поддерживается.
После заполнения всех необходимых полей, нажмите кнопку Save. По умолчанию тестовый сценарий становиться активным и доступен для непосредственного использования. Качестве альтернативы можно отметить тестовый сценарий как документ disabled (деактивировать) или draft (проект), если в дальнейшем будут необходимы дополнения.
Массовое добавление тестовых сценариев
Как показано на Изображении 4, перейдя Manage->Cases (Управление -> Сценарии), вы увидите интерфейс для обработки тестовых сценариев.
Массовое создание тестовых сценариев за раз не имеет большого концептуального отличия от добавления одного тестового сценария. Когда у вас есть десятки тестов, вместо нажатия кнопки + create a test case мышью снова и снова, для добавления их один за другим, массовое создание тестов позволяет вам создать множество тестовых сценариев на одной странице и представить их удобно .
Рассматривая Изображении 4, мы видим в правом верхнем углу страницы слева от кнопки + create a test case кнопку для массового добавления тестов, она выглядит как ++... Нажмите на неё. Вы увидите страницу для массового создания тестовых сценариев, как на Изображении 6. Наибольшее отличие полей в том, что вам необходимо будет соблюдать некоторые синтаксические правила для организации этих сценариев, чтобы MozTrap смог понять, как делить их на отдельные тестовые сценарии и шаги этих сценариев. В настоящее время поддерживается только синтаксис Gherkin-esque.
Сопровождение тестовых сценариев
Права на сопровождение тестовых сценариев
В рамках MozTrap, чтобы редактировать, копировать и удалять тестовые сценарии непосредственно в нем, вам потребуется по крайней мере, быть Test Manager. Кроме того, у нас есть другие способы, чтобы принять обновления тестовых сценариев, но они все в этой теме.
Редактирование, выбор окружения, копирование и удаление тестов
После получения прав как Test Manager, вы увидите иконки для управления тестами, которые расположены на левой стороне описания тестовых сценариев, как показано на Изображении 4. Слева направо: edit (править), select environment (выбор среды), clone (копирование) и delete (удаление).
- Edit - позволяет обновлять существующие тесты.
- Environment - позволяет сузить список окружающих сред для данного тестового сценария. С помощью этой функции, вы можете добавить или удалить свойства окружающей среды, необходимые для теста. Просто установите или снимите флажок с пункта для добавления или удаления их. Окружающая среда является интересной темой, стоит прочесть официальное руководство MozTrap, чтобы понимать её.
- Clone - позволяет вам сделать копию существующего теста.
- Delete - позволяет удалить тестовый сценарий во всех версиях к которому он относиться.
Обзор результатов тестирования
Test Result сохраняет результаты отдельного испытания по одному тестовому сценарию из серии в определённой среде, выполненым конкретным человеком занимающимся тестированием.
Просмотреть результаты тестирования очень просто.
Для того, чтобы получить обзор результатов работы в тестовой серии, как видно из Изображение 7 :
- Перейдите на вкладку View Results.
- Нажмите Test Runs в подменю.
Иконки Pass(пройден), Fail(не пройден) и Unclear(не понятен), а также статистика буду показаны в последнем столбце окна. Посмотреть дополнительную информацию тестовой серии можно, нажав на треугольник в начале её строки. Это приведёт к расширению строки, где кроме показа дополнительной информации по серии, будет кнопка See related test cases (Смотреть связанные тестовые сценарии), показывающая все тестовые сценарии в этой тестовой серии.(Изображение 8).
В качестве альтернативы, чтобы иметь обзор результатов всех тестовых сценариев, как показано на Изображении 8:
- Перейдите на вкладку View Results.
- Нажмите в подменю Test Cases.
Так же как и при просмотре сценариев, иконки Pass(пройден), Fail(не пройден) и Unclear(не понятен), а также статистика буду показаны в последнем столбце окна. (Изображение 9). Нажав на треугольник в первом столбце, можно расширить строку для показа дополнительной информации. Кнопка See related test results (Показать связанные результаты тестов) позволяет показать все связанные результаты тестов с этим сценарием.