MozTrap ユーザーガイド

TDF LibreOffice Document Liberation Project Community Blogs Weblate Nextcloud Redmine Ask LibreOffice Donate

• Wikiホーム
• 開発
• デザイン
• 品質保証
• イベント
• ドキュメント
• ウェブサイト
• ローカライズ
• アクセシビリティ
• マーケティング
• Diversity
• Wikiヘルプ

• バグ報告
• バグの確認
• プロジェクト
• リグレッションテスト
• 自動テスト
• Bibisect
• QAメトリクス
• QAのFAQ

• EN
• AN
• AR
• AST
• BE
• BG
• BN
• BRX
• CA
• CS
• DA
• DE
• EL
• EO
• ES
• FA
• FI
• FR
• GD
• GL
• GUG
• HE
• HI
• HR
• HU
• ID
• IS
• IT
• JA
• JV
• KO
• KU
• LO-LA
• LT
• MN
• MR
• NE
• NL
• NO
• OC
• OM
• PA
• PL
• PT
• PT-BR
• RO
• RU
• SAH
• SK
• SL
• SQ
• SV
• TA
• TE
• ไทย (TH)
• TR
• UK
• UZ
• VI
• 正體 (ZH-TW)
• 简体 (ZH-CN)
• Article Title: MozTrap/User Guide/ja

概要

このガイドは、QAの人がMozTrap/jaで基本的な作業を行うことができるよう、順を追って説明します。

登録とログイン

Figure 1: Login MozTrap

テストを開始するには、ユーザーアカウントが必要です。MozTrap は Mozilla Persona ログインとネイティブログインをサポートしています。あなたはいつでも、いずれかを自由に利用できます。アカウントの識別子としてはEメールが使われます。

OpenID によるログイン

ログインページにてこの選択肢を選ぶと：

Wordpress アカウントによるログイン

これを使うにはWordpress.comサイトに予めログインしておく必要があります。 それからOpenIDペインに http://MyName.wordpress.com のようなwordpress-idを入力して ok をクリックしてください。

Mozilla Persona によるログイン

Mozilla Personaは、MozTrapに限ったものではなく、他のWebアプリケーションでも利用できる一般的なログイン手段です。Personaはすでにご存知で、それをつかってMozTrapにログインしたいとして話を進めると、単に Sign inボタン(figure 1)をクリックして、現れるポップアップウィンドウの指示に従ってください。

MozTrap に直接ログイン

直接ログインする方法では、MozTrapに登録する必要があります。登録すると、確認メールが登録したEメールアドレスへ送信されますので、（訳注：送られてきたメール本文にある）リンクをクリックしてアカウントを有効にします。

デフォルトの権限

上記のいずれかのログイン方法でLibreOfficeコミュニティが自動的にアカウントをテスター として割り当てます。 作成したアカウントでMozTrap にログインでき、特別な許可なしにテストを開始できます。

テストの実行(Run Tests)

このセクションでは、MozTrap でのテスト実行方法を順を追って説明します。

「テスト実行」(test run)の選択と環境設定

Figure 2: 「テスト実行」を選択して環境を設定

1. [Run Tests]タブで、適切な選択をします:
   • Product - 通常は LibreOffice しか選択肢がありません
   • Versions - 通常、今テストが必要な最新のバージョンを選びます
   • Runs - 実施したいと思うリグレッションテストか機能テストのいずれかを選択します
2. "SET YOUR ENVIRONMENT" セクションでは, 実際にテストした環境を反映した要素を設定します
   • Arch (訳注：x86など)
   • Locale (訳注：日本語は"JA")
   • Platform (訳注：Linux,Windowsなど)
3. "Run tests in ..." ボタンをクリックして実行します

テストケースの選択

Figure 3: テストケースの選択と実行

Figure 3のように、MozTrapは選択された「テスト実行」にあるテストケースを見たり実行したりするための統合UIを提供します。

このインターフェースでは、すべてのテストケースが行としてわかりやすく表示されます。任意の行をクリックすると、指定されたテストケースについて詳細な説明が展開され、UIが実行可能になります。つまり選択された状態になります。

上記のように、MozTrap のデザインでは、すべてのテストケースがページ区切りされて表示されます。そこで、MozTrapが、特定の「テスト実行」内の大量のテストケースの集合に対してテストケースをフィルターする機能を提供しているという大事なことをお伝えします。テストケースをフィルターするための一般的な方法は、テストケースの名前に追加されたタグをクリックすることです。たとえば、p1タグをクリックすると、すべてのp1のテストケースを表示し、"writer" タグをクリックするとwriterについてのテストケースがすべてフィルターされます。より複雑なフィルタリングは、テストケースリストの一番上にある、"RUN TESTS" フィルターボックスに入力するか、'Advanced Filtering>> ボタンをクリックします。

さらに、自分自身が実行していないにも関わらず、テストケースのいくつかがすでに、Results フィールドに PASSED または FAILED とマークされていることに気づくことがあるかもしれません。これは、そのテストケースは同じ環境で他の人によって実行されていることを意味します。多分、皆さんはまったく同じテストを再度行いたくはないでしょう。なので、Results フィールドが Pending となっているテストケースは、通常、テストする意義があるということです。

最後に p1 (優先度・高)テストケースは、最も重要であり、LibreOfficeのバージョンが提供できる基本的な機能です。テスターはテストフェースとシナリオの大部分の p1 テストケースを終了することをお勧めします。

テストの実行と結果の報告

テストケースの行を展開してテストケースを選択したら、どのようにテストを実行するべきかという説明が表示されているはずです。ここで必要なのは、単に、説明にある手順に沿って操作し、観察した結果を記録することだけです。結果の違った種類を記録するために、対応するボタンをクリックするか、短いコメントを書きたくなるでしょう：

• PASS TEST ボタン - テストケースの説明手順のすべてが成功したときにクリック
• FAIL STEP ボタン - テストケースに記載された特定の手順が失敗したときにクリック。テストケース全体が失敗となります。後続しているテキスト領域に失敗した方法の説明をしなければなりません。必要に応じて、バグが報告されているBugzillaへのURLを与えることができます。
• Invalid ボタン - PASS TEST ボタンの右隣で、黄色い背景の感嘆符として表示されています。テストケースの手順が曖昧なとき、無効なコンテンツだったり間違いと考えられるときにクリックしてください。テストケースマネージャーはこの報告により、これらのテストケースを更新する必要があります。テストケースを Invalid にするときは、要約説明フィールドに必ず記入しなければなりません。

新しいテストケースを作成する

(訳注：4.4.0.0向けのバグハンティングセッションでは、テストケースの作成についてはさしあたり緊急な情報ではないので見直しはしていません。--Naruoga (talk) 2014-11-15T12:53:22 (UTC))

認証を取得する(Get authentication)

In the context of MozTrap, to create new test cases directly in it, you will need at least to be a Test Creator. Besides we have other ways to accept your new test cases, but they are so far out of this topic.

MozTrap のコンテキストでは、新しいテストケースをその中に直接作成するには、少なくともTest Creator になる必要があります。 それに加えて、私たちはあなたの新しいテストケースを受け入れるために他の方法 を持っていますが、それはトピック外とされています。

新しいテストケースを追加する(Add a new test case)

Figure 4: Interface for test case management

Figure 5: Interface for creating a single test case

As figure 4 indicates, navigating to Manage->Cases tab will show you the layout to handle test cases.

図4のように、 Manage->Cases とタブを移動して、テストケースを扱うためのレイアウトを示しています。

To add a single test case, click the + create a test case button near the top right of the page. Then a creating test case page(figure 5) will allow you to input required information. The following describes some basic ideas behind fields to be filled:

単一のテストケースを追加するには、ページ右上にある + create a test case ボタンをクリックします。次に、テストケース作成ページ（図5）で必要な情報を入力することができます。以下はフィールドの背後にある基本的な考え方を説明します。

• Product - The product that owns this test case.
• Version - The product version of this test case.
• And Later Versions - Create a test case version for the specified Product Version as well as a case version for each later Product Version. (e.g.: if Product Versions 3, 4 and 5 exist for this Product, and you have specified Product Version 4, this case will be created for versions 4 and 5)
• Suite - The existing suite to which you want this case to belong. You can also add cases to suites later.
• Name - The summary name for the case.
• Description - Any description, pre-conditions, links or notes to associate with the case. This field is displayed while running the test. Markdown syntax is supported.
• Add Tags - Enter tags to apply to this case. Hit enter after each tag to see the tag chicklet displayed. Auto-completes for existing tags.
• Add Attachment - You can attach files to cases that may help running the test. (e.g: images, audio, video, etc.)
• Instruction / Expected - The test instruction and corresponding expected result. You can choose to put all instructions / expectations in one step, or break them down to individual steps. When running the test, you will have the option to fail on specific steps, so you may find this a better approach. Markdown syntax is supported.

After filling up all the required fields, click save test case button to save it. By default the test case is activated to direct use. Alternatively you could mark the test case as a 'disabled' or 'draft' document if further complementary will be needed.

大量のテストケースを追加する(Add bulk test cases)

Figure 6: Interface for creating bulk test cases

As figure 4 indicates, navigating to Manage->Cases tab will show you the layout to handle test cases.

Bulk test cases creating time have no big conceptually difference from adding a single test case. Say when you have dozens of test cases, instead of clicking + create a test case button again and again to add them one by one, bulk test cases creating provides a way to allow you create many test cases in a single page and submit them conveniently.

Reviewing figrure 3, to add a bulk test cases, click the ++.. button on the left side of + create a test case. Then a bulk test case creation page will be shown like that appears in figure 6. The most distinct field is you need to follow some syntactical rules to organize those cases so that MozTrap is able to understand how to split them into single test cases and their steps. Currently Gherkin-esque format is the only syntax got supported.

テストケースのメンテナンス(Maintain Test Cases)

認証を取得する(Get authentication)

In the context of MozTrap, to edit, clone and delete test cases directly in it, you will need at least to be a Test Manager. Besides we have other ways to accept your test case update suggestions, but they are so far out of this topic.

テストケースの編集、環境の選択、複製、削除(Edit, select environment, clone, and delete test cases)

After authenticated as a test manager, you will be able to see the test case management icons, which are located on the left side of test cases summary, in the view shown in the figure 4. From left to right, they are edit, select environment, clone and delete.

• Edit - allows you to update existing test cases.

• Environment - allows you to narrow down the list of environments for a given test case. With this function, you can uncheck any environments that you do not want to apply the test case. You can also add environments back in that may have been previously removed. Just check or uncheck items to include or exclude them. Environment is an interesting topic, official MozTrap manual is helpful to thoroughly understand it.

• Clone - allow you to make a hard copy of existing test cases.

• Delete - allow you to remove a test cases thoroughly in all the versions it belongs to.

テスト結果をレビューする(Review testing results)

Figure 7: View results for all test runs

Figure 8: View all results for a specific test run

Figure 9: View results for all test cases

A Test Result stores the results of a single execution of one test case from a test run, in a particular environment, by a particular tester.

テスト結果は、特定のテスターごとに、特定の環境で、テスト実行において１つのテストケースの単独の実行結果が格納されます。

Reviewing testing results is straightforward.

テスト結果を確認することは簡単です。

To have an overview results of a test runs, as seen from the figure 7:

図 7から分かるように、テスト実行結果の概要を持っています:

• Navigate to View Results tab
• Click Test Runs in the submenu

• View Results タブへ移動します
• サブメニューの Test Runs をクリックします

The Pass/Fail/Unclear icons as well as statistics will be shown in the last column of the view. You can click the triangle icon at the beginning of each test run to expand more detailed information, in which clicking See related test cases button is supposed to bring you to all testing results of particular test cases in that test run (figure 8).

Alternatively, to have an overview reults of all test cases, as seen from the figure 8:

もうひとつは、図 8から分かるように、全テストケース結果の概要を持っています:

• Navigate to View Results tab
• Click Test Cases in the submenu

• View Results　タブへ移動します
• サブメニューの Test Cases をクリックします

The Pass/Fail/Unclear icons as well as statistics will be shown in the last column of the view (figure 9). You can click the triangle icon at the beginning of each test run to expand more detailed information, in which clicking See related test results button is supposed to bring you to all testing results of the particular test case. Also, when the case has been executed, you can click the Pass/Fail/Unclear icons navigating to the exactly same page.