ユーザーテストを実施して学んだこと

2018年12月6日 18:20

はじめに

今年新卒でガイアックスに入社してエンジニアをやっている@daijiro_maです。今はTechpit Marketというサービスの運営に携わっています。

そのTechpit Marketをよりいいサービスにするためにユーザーテストを実施しました。ユーザーテストを実際に行ってみて、学んだことをここに書きたいと思います。

●目次
・Techpit Marketとは？
・ユーザーテストを行う理由
・実施方法
・テスト実施当日
・分析
・学んだこと / 感想

「Techpit Market」は、サービスを作りながらプログラミングが学べる、プログラミング学習教材のマーケットプレイスです。エンジニアがプログラミング学習者向けに教材を販売し、プログラミング学習者はその教材を購入してプログラミングを学ぶことができます。

Progateなどのサービスで一通り文法や基礎を学んだ後に、エンジニアが作った教材を元にサービスを作りながら、エンジニアの実際のサービスを開発する手順や考え方を学んでいく、そんなコンセプトのサービスです。

テキストベースの教材で学習を進めていき、分からないところは質問することもできます。

Techpit Marketをリリースして以下の課題がありました。

満足度の高い人と低い人の違いが何なのか分からない

そこでプログラミングの学習方法が違うと満足度も変わるのではないかという仮説を立てました。

ユーザーテストは定性的な検証アプローチでアイデアの大局的な反応を見るのに適しています。仮説を検証するためにはもってこいです。またそれ以外にも改善すべき点が浮かび上がるのではという考えもあり実施しました。

まずユーザーテストを行うことによってどういったことが知りたいのかはっきりさせます。今回のユーザーテストのゴールとしては以下の2つを設定しました。

・学習方法が満足度に影響するのかを検証する
・サービスの改善点を一つでも見つける

ユーザーテストで呼びたいユーザー層を2つを設定しました。

・Techpit Marketの教材を購入して学習をしている人
・これから購入して学習をはじめる人

これらのユーザーを集めるためにTechpit Marketを使ってもくもくプログラミングを学習する勉強会を開催しました。

勉強会の実施中にユーザーがどのようにプログラミングを学習するのか観察します。

実施方法は以下2つの記事を参考にさせていただきました。

ユーザーテストの当日のフローとしては大きく3つのことを行いました。

1. イントロ・概要説明
2. 勉強会（タスク）実施
3. 事後インタビュー

なぜこういった場を設けたのか勉強会を実施する理由を説明し、どのようにプログラミングを学習しているのか観察することを勉強会を実施する前に伝えます。

何も伝えずに観察をしてしまうとユーザーは学習に集中できなくなる恐れがあるので、事前に伝える必要があると考えました。

ユーザーにタスク（作業課題）をやってもらいます。タスクは、「教材を見ながら、学習を進めていき分からない箇所があれば質問をする」という内容です。

タスク実施中は、こちらから話しかけずに観察に徹します。観察ポイントは以下の3つを事前にチームメンバーに共有しました。

・学習中にコードをコピぺしているかどうか
・エラーが起きた際にどのようなプロセスで解決しているのか
・Googleで検索している用語はどういったものがあるか

メンバーがよく観察したユーザーにタスク（学習）をやってみた感想を聞いたり質問をしてユーザーの考えを深掘りしていきました。

最後に各自、事後インタビューした内容を共有し、検証の分析や何が課題なのか洗い出します。

今回のユーザーテストでは以下のような分析結果がでました。

●分析結果
・コードが完全に理解できなくても最初はとにかく動くものが作れることが良い
・何度も繰り返して学習する方法の方が満足度が高い
・自分でもできるんだという成功体験を得ることがキーポイント

つまり学習方法によって満足度が変わることが分かりました。この結果を踏まえてどう最適な学習にしていくのか設計していきたいと思います。

またその他にも問題が浮かび上がり、その問題を改善する施策を決めることができより充実したユーザーテストとなりました。

実際にユーザーテストをすると、目の前にユーザーがいる前で使ってもらうので、なぜそこでよくなかったか、よかったのかが肌感で分かるので非常に学びが多かったです。

反省点としては、課題の粒度が大きいため検証したい仮説がフワッとしたものになり、タスク実施中にチーム1人1人が何を見ればいいのか意思疎通が少しできていなかったので、課題をもう少し分解し、仮説をしっかりと立て、設計をより十分にすることが重要だなと思いました。

また今回のユーザーテストでは、プログラミング学習者同士で繋がることができ、「また参加したい」というお声を頂いたので非常に嬉しかったです。サービスの改善だけではなく、ユーザーにも満足してもらう、そんなユーザーテストを実施できれば最高だなと思いました。

読んでくださってありがとうございました！

この記事が気に入ったらサポートをしてみませんか？