UXリサーチャーのMisatoです。（ほぼ）専任チームとして、ユーザービリティテストを約2年半回していました。最近はより上流のUX工程のPJに入っており、ここら辺で一回、ユーザービリティテストで大事だと思ったことをメモしていきたいと思います。

テスト設計

• インタビュー後のアクションと目的を明確化して、アウトプットを考える

次のアクションは何かを明らかにしておき、次に活かすにはどんなアウトプ ットをしたらいいのか？は重要で、必ず確認するように意識しています。

例えば、インタビュー後のアクションが、”デザイナーのインプットとして、デザイン改善を進める”の であれば、インタビュー結果を整理してデザイナーに共有し改善案を検討すればインタビューの目的を果たせます。しかし、次のアクションが「社内のキーパーソンを説得し、その機能の開発を始めるかどうかの判断をするために使われる」場合には、定量結果をより多く入れた結果をレポート形式で共有することが必要になるかもしれません。

• リサーチクエスチョンはチームで共有して、いつでも立ち返る

当たり前のことではあるのですが、リサーチクエスチョンをみんながいつでも立ち返りやすいようにしておくのは大事です。テスト設計、分析・アウトプット検討、レポート作成、、全ての工程で迷ったらとりあえずリサーチクエスチョンや次のアクションを見るようにすると良いです。

• ABテストでの指標を考える際には、事前に結果をシュミレーションして「結果として何が言えるのか？」を想定しておくことがマスト

インタビュー指標を考える際には、その指標でテストした場合のあらゆるテスト結果のパターンを想定してみて、各パターンで何が言えるかを予想しておくことが大事。テスト設計段階で、この指標でテストしたらどんな結果が出てくるのか？テスト結果のパターンを洗い出してみます。テスト結果から何が言えるかを想定し、検証したい内容に対して正しく評価できているのかを考えておくことがおすすめです。

モデレーション

• 被験者に遠慮せず発言してもらうため、自分は製作に関わっていないことを早めに伝える

被験者が変に遠慮してしまわないように、率直な意見を言いやすい空気を作ることが大事です。
例：「私が作ったものではございませんので、忌憚ないご意見をお聞かせください」

• イントロで今日のインタビューの概要をざっくり伝えて、被験者に安心してもらう

どんなことを確認したいかを明らかにしておくことで、なにをするんだろう？と心配している被験者の心理的負荷を軽減することができます。

• ユーザーが道に迷って遅刻したときはリラックスさせてあげる

ユーザーがリラックスした快適な状況でインタビューに臨めるように配慮することが大切です。遅刻してしまった人は、走ったり焦って疲れてしまっていることがあるので、最初に水を飲んですこしリラックスする時間を取るなど、落ち着かせてあげるとよいそうです。
↑ユーザービリティテストの書籍も出している大先輩が、こんな素敵な気遣いをしていて衝撃を受けました。

• 実査後の本音トークに注目

被験者はユーザビリティテスト終了後に緊張の糸が切れるので、会場から受付までの帰り道などでは本音の話をしてもらえやすいことがあります☺️

• 見栄を張る被験者に注意

被験者の中には、タスクに失敗したときに「初見だからできないけど、慣れたらできると思う。」という言葉を発する方がいるが、実際にできるとは限らないため注意が必要です。ちなみに私は、こちらの発言をした方が、発言の約15分後に同じ操作ができなかった、という実経験があります。
ユーザービリティテストの書籍も出している大先輩によると、特に年配の方に多い傾向にあるとのことで、「ユーザーの声を鵜呑みにしない」と関連して、そういった発言があることを念頭においたうえでリサーチを行うことが大事です。

• 正解を探ろうとする被験者に注意

被験者はお金をもらってインタビューに応じているので、期待されている答えは何なのかや、自分が答えたものが合っているのかを気にする方がいます。特に女性に多い傾向にあります。

そんなときには、正解などないことを事前に伝えるなど、バイアスを軽減する工夫をするとよいです。
例：「まだ開発途中のものですので、何かうまくできないことがあれば製品の方が悪いんだというスタンスに立っていただいて、忌憚ないご意見をお聞かせください」と声掛けしたり、被験者が「これですかね？」と聞いてきたとしても答えは伝えないようにします。

実査メモ

• 事実（発話や行動）と主観（気づき）を区別できるように書く

事実（発話や行動）と主観（気づき）を区別できるように書くべし。見学者がいる場合、その人たちにも事実と主観を分けてもらうように依頼すると良いです。私たちのチームでは、Miroでメモをとるときには付箋の色を分けたり、スプレッドシートのときには記載欄を分けていました。
事実と主観を分かりやすく区別する工夫をして、優先すべき「事実を漏れなく拾うこと」に集中しましょう。

• 「どんなコメントをメモしたらいいの？」重要なコメントの選び方Tips

事前に持っている仮説に対して、
「仮説の裏付けとなる言動があるとき」「仮説に反する言動で驚きがあったとき」は重要なコメントとなります。

リクルーティング

• リクルーティング人数は、1セグメントにつき6人

何人の被験者に聞くか問題はユーザーテストを実施するときのあるある問題なのですが、1セグメントにつき6人で実施していました。一般的に『5人のユーザーでテストすれば十分な理由』の内容を根拠に5人で十分と考えることもあるとは思うのですが、「被験者が突然来られなくなってしまった」とか、「リクルーティングアンケートに適当に答えた被験者が紛れ込んでいた」などのリスクを考え、1人多めの6人にしていました。

その他

• ユーザーの声を鵜呑みにしない

ユーザーは自身のことを理解しているとは限らない。発言を鵜呑みにせず、ユーザーの行動や表情から判断する必要がある。

※分析レポートでユーザーの声を引用するときには、「ユーザーの声を鵜呑みにしないで」との旨を一言記載する。UXについて知らない人に向けて分析レポートや発話録を共有する場合、誤解が生まれないように、「ユーザーの発話を鵜呑みにしないで」という一言をどこかに明記しておくとよい。

• 実査はできるだけデザイナーや関係者にも見てもらう

インタビュー結果に対する共通認識を持つために、関係者に実査を見学してもらうことはとても大事です。コメントだけではなく、被験者のリアクションから「そのユーザビリティ課題のヤバさ度合い」を肌で感じてもらうことができます。

【おまけ】おすすめ書籍 ｜ユーザビリティテストの実践Tips

1400ユーザーとの対話の経験を持つ筆者によるユーザーインタビューのTipsがまとめられている本。超具体的なユーザーインタビューのTipsが簡潔にまとめられていておすすめです。