こんにちわ！こんばんは！ファンズの中の人・SHIOです。
さて、今日は世の中に数あるテスト管理ツールについて調べる機会があったので、その知見？やら思ったことなどをポツポツと書いて行こうかなと思っています。そして大したことは書いてない(=すごく詳しいことを書くつもりはないけど、URLは置いておきます)ので、期待値低めでご覧ください。みなさんが自身で調べたり試用したときに予めざっと概念を理解しておくと自分が知りたいポイント等理解しやすいだろう、ということを期待して書いていきます。(実際私も概念を理解するのがとても大変でした。。)比較対象としたテスト管理ツールの数がちょっと多いので、前編後編に分けています。

では早速本編にいってみましょう～！

簡単に経緯とか流れとか・・

ことの発端としては、今あるテスト管理ツールちょっと不安t…、使いづらいよね、というお話がQAチーム内で出まして、じゃあ他のテスト管理ツール見てみようか、という話になったわけです。(簡易説明)

当時のQAチームは正社員1名(私)とフルタイムの業務委託２名の計3名のチーム。
基本的には業務委託メンバーにゴリゴリテスト設計やテスト実施をしていただき、私は業務委託メンバーが最高のパフォーマンスを出せるようにスケジュールやワークフロー、タスク量などを調整して動いています。(関わっているプロジェクトのQAの場合は私も設計等では動きますが、日々の運用のQAはお任せしているのです。)

そんなチーム構成なこともあり、全員が少しずつタスクを持って一斉にツール選定していくというより、私が推進していくスタイルが基本となります。そのため以下のような順序でテスト管理ツールの選定まで持っていくこととしました。

選定までの流れ

1. チームで必要な要件/方針を洗い出す
   何が不満で何を解決したいのか、どんな機能がマストなのか、機能単位の優先度付をおこなう

2. テスト管理ツールリプレイスに伴う課題出し
   リプレイスするときの障壁にどんな物があるのか、また障壁を解決する手段があるのか無いのか、どのくらいかかるのかを検討

3. そしてピックアップしたテスト管理ツールを試用する
   試用アカウントを発行して片っ端から機能を触る

4. テスト管理ツールの機能比較表を作成する
   1で出した機能に対して、○×△で比較表の作成

5. 4の中で良さそうなもの数点ピックアップし、チームで協議
   1と2を比較しつつ、現状・未来に合うものをピックアップ
   もちろんチームメンバーにも使い方を説明の上、試用してもらいました

6. それで良ければ確定とし、リプレイスプランを練る…
   

みんな楽しみピックアップしたテスト管理ツールはこちら

自分でもなんでこんなにピックアップしちゃったんだ…とちょっとした後悔はありましたが、見なかったことで後悔したくなかったので、徹底的にやることにしました。
またテスト管理ツールの知見がそこまで多い訳ではないので、各社がどんな思想で作っているのか、どんなUIで提供しているのかなども一度見てみよう、と思っていたので結果的にこんなにいっぱい・・。

そして基本的にクラウドで利用できるもののみをピックアップしていることも補足しておきます。

※注意※※※※※※※※※※※※※※※※※※※※※※※※※※※※
本記事では、各テスト管理ツールの優劣を評価するものではなく、あくまでもフラットに見た時にこういうツールなんだなぁ、というものを一個人として、主観的に見たものとなります。また熟練の人と比べ習熟度やプラン等により意見の差異があるかと思いますので、そういった点につきましては予めご了承くださいませ。(間違ってたらやさしく指摘いただければ幸いです) ※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※

脱落した(評価できなかった)ツールたち

SQUASHtest

実施当時(2021年11月)はなぜかトライアルアカウントが発行できず断念

Kualitee

トライアル発行後、「全角文字」に対応していないことが判明。流石に日本語を第一言語とした会社なこともあり選定から外れることに。

ZephyrSquad (JIRAアドオン)

JIRAの単一プロジェクト専用小規模アドオンでしたので、こちらは要件に合わないと判断して、もう一つの複数プロジェクトに対応しているアドオンを検討することにしました。

Test Management for Jira (JIRAアドオン)

これ調べてて知ったのですが、分裂する前のZephyrだった模様です。

優先度が高い機能/ポイント

今回は、「作成のしやすさ」「管理のしやすさ(主にケースのグルーピングなど)」「現行の運用に載せられるか」が大きなポイントとなりました。
テスト結果の管理やメトリクスといった機能はある程度は大事ですが管理者に寄せるよりまずは現場の人間に負担がかからないことを前提として検討しています。
また現行使っているツールの機能に不満があるからリプレイスしようというスタートではないため、現行の運用を大きく変えるコストは取りたくはなく、基本的には同じような運用ができるもの、もしくは少しの変更で運用ができること、そして、ちょっぴり便利になったらいいなぁくらいの気持ちで選定を進めていました。

TestRail　-テストレイル-

https://www.gurock.com/testrail/

言わずとしれた、QA Engineer数年やってる人は一度は耳にしたことがあるかもしれない有名テスト管理ツールの一つですね。

TESTCASE 　単体のテストケースを指します。1つのテストケースの中に多段階のテストステップがありそれをシナリオに合わせて入力して行くことができます。画像やテーブルの挿入も可能です。

TESTCASEのグルーピング

　単体のテストケースを複数持つタスクもあるでしょう。そういうときには、「セクション」というグルーピングする概念がありまとめられます。他との違う点はセクションは結構階層深く掘れるということです。無数にあるチケットを状態やチケット単位別に纏めて管理したいユーザーには良さそうでした。

TESTRUNの作成
　テスト実行時には、「TESTRUN」というものを作成します。TESTCASEはあくまでケースだけを書いたただけの紙のようなもので、TESTRUNとして使用することで、「複数のテストケースを塊としてもたせてケースを実行するための紙」に変化します。(つまり実行結果等を残せる様になります)

TESTRUNをグルーピングしたい
　例えばA修正用TESTRUN、B修正用TESTRUN、C修正用TESTRUNがあったとして、AとCは明日リリース、B修正は明後日リリースのとき、「くっ・・AとCをグルーピングできないのか・・！？」と思うはずです。(多分) 
そんなときは「Milestone」でTESTRUNをグルーピングできます。

その他感想

さすが有名テスト管理ツールと言うだけある・・というテスト管理ツール多数見てきた中ではシンプルな方で必要と思しき機能は大体揃っているな思いました。ただ慣れていない人には、やや分かりづらい概念ややや古めかしいUIもあるなぁという印象です。あとスタートとして「とりあえずこれ選んでおくか」となるのはわかるような気がしました。そしてこの夏$1程度の値上げをする予定ですが、もっと機能的にもリッチになっていくようですね。

Qangaroo　-カンガルー-

国産のテスト管理ツール。
エクセルやスプレッドシートベースでテスト設計/実行をしている人には移行しやすいシステムだと思います。
Freeプランがあるので、1アカウント作ってみて試すことができます。

テストシート

カンガルーではExcelライクなUIを用意しており、そこにテスト内容を書き込むことでテストシートを作成をします。カラム(項目)の内容も任意に変更ができエクスポートも容易です。期日のカラムや結果のカラムも容易されているため、作成後すぐテスト実施に入れるようになっています。

テストシートのグルーピング

テストシートをグルーピングする概念として「フォルダ」があります。複数のテストシートをこのフォルダ直下に格納が可能です。ただし、これ以降深い階層構造はできないようでした。

その他

カンガルーのUIは個人的にとても好きで見やすいパキッとしたカラーと
比較的わかりやすい設計がされていると感じましたし、Wiki機能は個人的にチームの情報共有に有用なためときめきポイントですね。一方でプランがやや特徴的でケース数の上限がプラン毎にあり金額についても、1つのプラン(月額固定)で契約した人数に合わせてアカウント費用を上乗せしていくような形でした。現行のチームとの兼ね合いや会社での稟議との兼ね合いもあると思うのでご確認ポイントの一つかなと感じました。

Zephyr Scale (JIRAアドオン)

ゼファースケールの大きな特徴は「JIRAのアドオン」である点です、そのため組織的JIRAを使っていないとなかなか活用し辛いかもしれません。

前提として

Zephyr Scaleは、JIRA上のissueとして扱われ、1つのチケットに対して1つのテストケースを格納する形をとります。

いつも使ってるJIRAのチケットの概要部分以下がTEST CASE入力専用になっているようなUIで、テスト工程/テストデータ/期待値を書く場所が容易されstep形式で入力できます。前後の入れ替えもD&Dでできるので気持ちがいい。またカラムの追加等もできますので、期待の他、社内での管理番号やメモ等を項目として追加することも可能でした。

テストケースのグルーピング

testcycleという概念があるので、それでテストケース(チケット)をグルーピングすることが可能です。回帰テストのような繰り返しテストをまとめたり、リリース単位などまとめ方は様々利用できると思います。

その他

単一プロジェクト用と複数プロジェクト用に分かれるアドオンですが、現行の運用方法に合わせてアドオンを選択してみてください。

JIRAの機能と併用して使える点もJIRAユーザーにはありがたく、またテスト管理者には嬉しい機能が多い印象です。様々な進捗状況等を可視化する機能が豊富でした。自動化も一部追加のアドオンが必要な模様ですが管理できるようになるのも大きいのでは無いでしょうか。

ただテストステップレベルでの添付ができないため表現の幅はやや少なそうです。(ここはすぐ改善されそうなきがしています)

XRAY (JIRAアドオン)

大きな特徴は「JIRAのアドオン」である点です、そのため組織的JIRAを使っていないとなかなか活用し辛いかもしれません。

前提として

XRAYは、すべてのタスクを「チケット」単位で管理していきます。アドオンをインストールした時点でissueTypeが自動追加され利用できるようになります。そのため各工程はすべてissueType別の1チケットとして管理されます。JIRAのカンバン等を工夫して使いステータス管理していくイメージとなると思います。

チケットのグルーピング

「test Repository」という概念があり、プロジェクトレベルのツリー状の構成をすることができる仕組みがあります。(プロジェクトは横断できないです)
また、もう一つはJIRAのEpic等と似たように仕組みで「test set」というグルーピングをするためのissue Typeが用意されていますので、そちらを発行して紐づけも可能です。またEpicとは異なり1テストチケットを複数のtest setに紐づけることが可能です。考えられている・・！

試用してわかったこと

多機能ですし、テストケースの作成等には何の問題もなく(ステップ単位の画像貼り付けもできました)大変良さそうに感じました。

ただ一方でJIRAのプロジェクトを使った運用設計がどうしても必要になり現行からの移行コストが高そうだな～という印象でした。

特に、1タスクに対して複数のテストケースを管理したい場合、複数のチケットを作成して、testset等で括ったり、設計、実行、Milestone、testplan等のタスク単位のチケット種別も追加されるため運用に追加して考慮が必要になったりするのでそこまでの作り込みと運用後はチケット管理が必要だと感じました。大人数でチケットをそれぞれ管理するのであればコストは高くならないと思いますが、私の場合は現行のチームの人数だとチケット管理自体に工数が取られすぎてストレスがかかりそうだな・・と判断しました。
逆に言うと作りきってしまえれば、JIRA上にテスト管理システムを構築できることになるので強い。

逆に適しているケースとしては、各担当が付けられる程の規模の大きなチームで運用するか、初めてテスト管理ツールを導入しよう！という場合についてはワークフロー、運用方法等もこれから整備すると思いますので導入しやすいのでは無いかと思っています。

その他

アドオンのため他のテスト管理ツールに比べて比較的安価でこれで多機能なものを使えるとなるとかなり魅力的だと思います。結構ユーザー(世界規模ですが)も多いはずですので、アドオンのフリートライアルを利用して是非一度試して見てください。

参考

qTest　-キューテスト-

こちらに書くよりはるかにわかりやすい(実際の画面を用いた)動画がYoutubeに上がっているので、引用しておきます。
概念から、実際の画面まで見れるので、結構有り難い動画でした。(選定時お世話になりました)

その他

UIや機能は結構個人的には好みで良いなと思ったのですが、1点だけ譲れない点が。。。弊社の運用として、1ケース単位のURLを例示的に使うことがあるのですが、qTestでは1ケース単位でのURLは取得できませんでした。惜しい。

また金額が不明だったので見積もりを依頼したのですが長らくスルーされておりまして、気に入ったプロダクトだったものの選定から外れた経緯があります。。(リマインドもしてみたのですがレスがなく。。)

後編に続く

書く書く詐欺をしていたので、前編をようやくざっくりでも書けて良かったです。。後編は今からまた書くのでちょっと時間かかるかもですが、必ずかきあげたいと思いますmm

また数あるテスト管理ツールなので私が紹介した以上のものもきっとあると思います。ぜひお気に入りのテスト管理ツールが見つかりますように。

SHIO@Fundsの中の人

追記：後編出ました！