Beatrust エイプリルフール企画 2023 : ”Do you know me ?"の結果報告 & データから振り返る

こんにちは、Beatrust で Product Manager を担当している、Akito Kashio です。Beatrust では毎年、ユーザー様に楽しんでいただきながらプロダクトのコアフィーチャーを体験して頂く特別感ある催しものを、エイプリルフールに合わせて企画・実装してきました。今年は “身近な同僚を再発見する” をテーマに、「Do you know me？」という期間限定プロジェクトを 2023.04.01 ~ 04.09 で実施したので、そのホヤホヤの実績をご報告いたします。

この記事では、当該プロジェクトの実績報告にあわせて、Beatrust の PdM が普段行っているユーザー分析やペルソナ作成のアプローチを共有したいと思います。 爆速で開発したこのゲーム。分析も爆速でいきたいと思いますよ！！

予備知識として、企画内容や開発の舞台裏を確認されたい方はこちら

note.com

プロジェクト概要

期間中に Beatrust にアクセスすると、期間限定のゲーム「Do you know me？」にチャレンジするか尋ねる主旨のポップアップが表示されます
ゲームを始めると、同僚が実際に持っている/いないタグ*を当てる 3 択クイズが 3 問出題されます
3 問すべて終了すると、正解が発表されると同時に、設問に挙がったタグに対し、正解のタグには「いいね！（+1）」、不正解の場合はそのタグを同僚に送付する（=「ピアタグ」*を行う）ことが出来ます

※タグとは？：Beatrust は、従業員 1人ひとりが「People」と呼ばれるプロフィールページを持ち、職歴・特技・パーソナリティなどを載せて組織の同僚に “見える化する” ことが出来る SaaS プロダクトです。自由記述されるパート以外に、「タグ」と呼ばれるキーワードによってスキル類を抽出・ラベリングすることが出来るのが特徴的です。
※2:ピアタグとは？：上述したタグを、周りの同僚から個人にプレゼントすることが出来る仕組みであり、そのタグを「ピアタグ」と呼んでいます。その人が周りからどう認められているかの “お墨付き” の仕組みであると共に、さりげない相互承認・コミュニケーションのきっかけになっています。

同僚からタグに「いいね（＋１）」をもらうと、そのタグ右上の数字が増えていきます。

同僚が送付した「ピアタグ」を受取ると、黄色のタグが登録されます。（自分が登録したタグは青色です。）

結果発表

結果は、以下のようになりました！！

ゲームは期間を通して1,000回以上プレイされ、約 3 人に 1 人がプレイ後にいいね！（Sent tag good）を同僚に送ったことになります。プレイしてくれたみなさまありがとうございます！

フィードバックの声

今回のプロジェクトには、たくさんのユーザーの皆さんから応援とご支援のお声をいただきました！いくつかご紹介させていただきます。

コメント1
今週から始まっているエイプリルフール企画もちょこちょこお声をいただきながら私も試しています。＋１、ピアタグによる共感を生み出す企画としていろいろなアイデアには恐れ入ります。
コメント2
知っていそうで意外と知らない同僚の側面をみれるとても楽しい企画です。なかなか他の人のプロフィールみるきっかけがなく、ぜひこういったものを継続してください。

あわせて、開発をメインで担当したドイツ出身の SWE Andy からも結果に対するコメントをもらいました。

コメント3
From the data, we can see that the game was easy and fun to play as once users selected a peer to play with, the game finish rate was about 95%. A bit of a surprise was that for the users who started the game, only about 66% selected a peer to play with. We thought that by providing different peers to play with and also the option to suggest different persons, everybody will be encouraged to play. However this might have led some users to only play with peers that they already know well and if they did not get one of these peers, they just stopped the game. In the future when we might try a similar game, we will think about directly starting the game with a suggested peer instead of giving the user a choice to select a peer. This might make more interesting and new connections on Beatrust and within the company.

結果を詳しくみていきましょう

ここからは、PdM の立場から普段行っている分析の手順を、読者のみなさまにも “擬似体験” して頂きながら結果を振り返っていきたいと思います。

0.前提となる仕様の確認

本ゲームでは、ユーザーにお伝えしていない仕様として、以下のようなものがありました。

対象者：（対象者は3名表示され1名選択）
- プレイヤー本人が、Beatrust 上で自身のレポートライン（上長-部下の一連の関係性）を設定している場合： Question で表示される同僚は、プレイヤー本人とレポートラインを同一にする対象が選ランダムに最低 1 名表示される。残り 2 名のメンバーは共通のタグを持っている or ランダムに表示される。
- レポートラインを設定していない場合：Question で表示される同僚は、共通のタグを持っている or もしくはランダムに表示される。
質問のタグ：
- 対象となった同僚が実際につけているタグ 1 つが「アタリ選択肢」として選ばれ、残り 2 つの「ハズレ選択肢」は、同じ同僚のプロフィール情報やタグから AI が類推・抽出したもの（つまり、“それっぽいもの”）が表示される

1.どうやって分析するのか

Beatrust では、ユーザーのみなさんのプロダクト上のログデータとユーザーインタビューの両方を通して、組織やユーザーのペルソナを作り、新機能開発やユーザビリティ向上に活用しています。

どんなものか詳しく知りたいかたは、こちらもどうぞ！

・ユーザーインタビュー tech.beatrust.com

・データ分析 tech.beatrust.com

今回は爆速分析ということで、”Do you know me？” を使ったユーザーのみなさまの匿名化されたログデータをもちいて、ユーザー行動のインサイトをペルソナごとに見てきたいと思います。以下のような観点での発見を、皆様へ共有できればと思います。

プロダクトの利用促進・体験価値向上の視点で、思い描いていた成果は得られたか？
想定外の ”外れ値” は無いか？
ユーザーの多くに共通する行動 or ユニークな行動は何か？
特徴的なインサイトやペルソナは見つかったか？

2.先ずは、行動ファネルのマクロな統計分析から

まずはオーソドックスに、ゲーム開始から終了までのファネルを分析します。ファネル分析は DWH のデータを BigQuery を用いて取得しています。こちらはメンバーが見やすいように事前に Looker Studio でリアルタイム・ダッシュボードにしていました。ここでは一部改変してお見せします。

たくさんのピアタグ送付が行われることを期待していたのですが、ピアタグ送付率は思いのほか低いですね。平均正答率が 2.5 /3 問ということで、実質的に 1 割しか送付のチャンスが無かったのも一因ですが、それ以外にも、やはり（同僚に何かを送る、という）行為自体に対する心理的なハードルもあったのだろうと想像します。

「同僚が持っていないタグを判別しましょう」と言うだけでなく、「ハズレ選択肢も実は本人のプロフィールから類推で抽出したタグである」という説明を付け加えるだけでも、もう少しピアタグを送付しやすかったかもしれません。データからユーザー心理を読み取り、よりプロダクトを使って頂きやすいコミュニケーションを考えることも PdM の重要な仕事です。

一方で、いいね！は 34 ％、プロフィール閲覧は 16 ％と非常に良好な数値ですから、企画として意図した「身近な同僚の意外な側面に気づいてほしい」という狙いは果たせたものと思います。

もう少し深ぼりしましょう。クイズの対象ユーザーをリロードする機能（「別の人を選ぶ」ボタン）が, ゲームプレイ回数の 3.4 倍使われています！

これは想定よりもとても高い数字です。というのも、選べるメンバーの 1 名はレポートラインが同じ同僚のため、ある程度プレイヤーがご存知な方から選択できるはずだからです。

さらに深ぼってレポートラインの有無でメンバー再選択率を確認すると、以下のような結果でした。

レポートラインが無い場合、あまり馴染みのない同僚が出てくる可能性が高く、そのことが影響していることは想定通りです。しかし、レポートラインが有りの場合も、再選択率 2.2 倍と高いのは想定外でした。

高い正答率と再選択率とあわせて考察するに、みなさん正解する可能性の高い同僚（おそらくとても身近な同僚）を選んでプレイしたんだろうなと想定できます。ちなみに Beatrust 社内でのドッグフィーディングでの正答率は 1.9 /3 問でした。（低いのは、テストを兼ねて “敢えて” 間違った選択肢を選んだ人もいるからでしょう。データ以外の背景を読み取るのも重要なポイントです。）

また、ゲームの完了率は実績ベースで 95 %でした（つまり、ゲームを始めたユーザーのほとんどが最後までプレイしてくれたことを意味します）。こちらもとても高い数字です。ユーザーを没頭させる UX をこの短時間で作ったデザイナーチームの努力の賜物でしょう。

3.組織ペルソナの違い（組織の個性）が、この数字に影響しているのか確認してみる

次は組織分析です。みなさんもご存知の通り、組織もまた人と同じように様々な個性を持ちます。Beatrust は現在十数社の企業様にご利用いただいており、それぞれのアクティビティログの分析を通して組織ペルソナとしての特徴を明らかにしようと日々取り組んでいます。

ここからの分析は、BigQuery を離れて Python を使って実行します。Beatrust では Google Colab 上で Ptyhon を利用することが多いです。DWH と連携することでスムーズに分析できる環境が整っています。

まずは、組織のデータと今回のゲームデータを、 Pandas を用いて結合します。組織ペルソナとしては、全体のアクティビティ量の偏差を取得しクラスタリングしたものと、今回の組織ごとの結果について相関を分析してみます。相関はおなじみ Seaborn を利用して確認すると、、、

全体的に活動量とは相関がなく、唯一正答率だけ、負の相関がありますね。ゲーム結果のデータを見ていたときになんとなくそうかな。と思っていたのですが、当初想定からは意外な結果です。全体的な活動量が多い組織のほうがこのようなゲームも積極的に使ってくれる可能性も高いと想定していましたが、結果的に、有意な相関性はみとめられませんでした。

この傾向を別の角度から再現性をとるために、Beatrust の各モジュールごとにもどうように相関も見てみました。

結果として、いずれの機能においてもほとんど相関がなく、唯一正答率だけ負の相関があることがわかりました。Beatrust にはいくつかの機能がありますが、特定の機能をたくさん利用している組織がゲームの利用率に優位に働くことはありませんでした。

4.ユーザーペルソナ（つまり、組織ではなく個人）の違いによる使用率の違いも確認してみる

視点を変えて、ユーザーペルソナでも同様の相関分析をしてみました。先程の組織の分析と同様に、Beatrust ではユーザー個々のアクティビティを分析し、いくつかのペルソナを作成しています。

全体のアクティビティ量の偏差を取得し、クラスタリングしたペルソナと、ゲーム結果について相関を分析していきます。

結果は、組織ペルソナの場合とは大きく異なり、相関がとても高い！！そのなかで 1 点、正答率だけは相関が低いことがわかりました。これはいずれも想定通りです。

それでは個々のアクティビティとの相関を調べてみましょう。

結果として、People, Ask, Share いずれの機能においても同じ傾向が見られました。こちらは想定どおりです。

また、ゲームのプレー回数は他と比較すると相関が低いことがわかりました。今回は活動量をペルソナとしたので、たくさん利用しているユーザーの値が低くなるのは想定通りです。

組織、個人の結果からゲームの傾向は組織の特性ではなく、個々のユーザーの特性が大きく影響していることがわかりました。今回のゲームは 1 週間の短期プロジェクト、かつ特に事前アナウンスも無しにゲリラ的にリリースしました。そのような突発性なイベントに対する個人としての寛容度や敏捷性が結果に反映されていると想定できますが、当初は組織的な特徴もでるかなと思っていたのでその点は想定外でした。

次ゲームプレイとその後アクションについても見てみましょう。

こちらの結果からは、ゲーム回数と suggest_others（=クイズ対象者となるメンバーをリロードして選び直す）の相関が他と比較すると低いことがわかります。アクティブなユーザーは、誰がクイズ対象者でも迷うことなくクイズに取り組んでいますが、一方。あまりアクティブでないユーザーは、ファネル分析でも想定したとおり、確実に当てにいったことがここからも想定できました。また、親しい同僚なので「いいね！」や「ピアタグ」が送りやすかったことも想定できます。

5.いいね！が新たな人的ネットワーク形成に貢献していたのか、さらに分析してみた

もうひとつ、ユーザー観点で分析してみます。提供サイドの人間として今回のゲームに期待していたのは、ゲームを楽しみながら同僚のことを再認識してもらい、その延長として「いいね！」や「ピアタグ」を送るといった具体的な行動を体験してもらうことでした。単純な積み上げの数値や相関ではわからないこの期待値とのギャップをネットワーク分析を使って確認してみます。ファネル分析とユーザーの相関分析の結果からは、かなり親しい同僚を選んでゲームしていることが分かっていたため、「あまりネットワーク自体の広がりは生じていないかもしれないな」と消極的な結果を想定をしていました。ところが・・

node ：同僚のタグに「いいね！」を送った or 同僚から「いいね！」を貰った社員の合計数

edge ：「いいね！」を送った・貰った結果として生じた新たな ”つながりの数”

エイプリルフールの直前 3 ヶ月の平均値と比べると、nodeとedgeの両方とも約 2.2 倍と増えてますね！！！

これまで「ピアタグ」や「いいね！」をしていない同僚同士での新たな（純増な）やりとりが、今回の企画をきっかけに実は多く発生していたことがわかります！ここから先は実データが必要になり、ヒアリングしないとわかりませんが、これはまさに当初企画の中で期待していた成果であり、約 3 ％の Beatrust 上での新たな繋がりが生まれたことになります！！

全体まとめ

今回は、エイプリルフールの特別プロジェクトの実績データという “ファクト”をもとに、4 つの方法（ファネル分析、組織＆ユーザーペルソナとアクティビティログの相関分析、ネットワーク分析）で結果を分析し、当初想定とのギャップとユーザー行動の仮説を共有させてもらいました。ユーザーヒアリングしていかないとわからないこともありますが、まずはデータであたりをつけて、仮設をもってヒアリングすることが重要です。そのあと更にデータでその仮説にトドメを刺せると PdM としてはさいこーです（笑）

Beatrust をご利用中の企業様の多くが、社員同士のつながりの強化のために、ツール内外で様々な施策に取り組んでおられます。そういった取り組みを通して徐々に培われた組織風土が、まさにこういったユーザーの行動につながっているのかなと改めて思っています。

一方で、ピアタグ送付率が低い点などは我々にとっての課題だと思っており、Beatrust の内部、さらには組織全体におけるユーザーのみなさんの心理的安全性を上げていく手助けをしていくことは我々にとって重要な KPI だと改めて思いました。

Beatrust は「誰もが最高の自分を実現できる世界を作ること」というビジョンを掲げています。一般的にはウェルビーイングな状態（面白い、積極的な関わり、他社との良好な関係、生きがい、達成感といったキーワードの状態）に近いと思います。今回のゲームを通して、いくつかのキーワードに触れられた方がいたら幸いです！！

これからも、企業様そしてその先の社員のみなさんが「最高の自分を実現できる」「いつもの出会いが特別なものになる」。Beatrust を通してそういった体験ができるように、メンバー一丸となって頑張っていきます！