多変量テストと改善信頼度で正しいテスト結果を判断できる【ITreview】IT製品のレビュー・比較サイト

良いポイント

2年半利用しています。毎月主導線ページの4箇所でテストを行い、結果の出たものを本番に反映しています。１つ１つの結果の反映の結果はそこまで大きくありませんが、長期間実施することで積み重ねが、かなり大きな成果を産んでいると実感しています。

ABテストの出し分けについては、かんたんなものはもちろんですが、非常に細かく設定することもでき、テスト対象もテスト箇所ごとに任意の％で可変設定できるのは良いです。テスト途中でも変更できるのも良いです。

また、細かく指定したCVポイントの設定や出し分けなども高い技術力でスピード感を持ってサポートしていただけるので助かっています。テスト中も途中経過のレポートをほぼリアルタイムで確認できるのも良いです。

改善率とは別に、改善信頼度という数値で、テスト結果が有効であるかどうかの信憑性を確認できるのがとても良いです。
特にたくさんのパターンを使った多変量テストでは、結果の判断がしやすいのが良いです。

改善してほしいポイント

テスト中も見ることができるレポート画面ですが、設定してもらったものを見るだけなら見やすくて非常に良いのですが、利用者側でも設定を自由に変更できるので、下手にいじると何か不都合がでるのではないかと触れていません。
どこまで触って良いのかがわかりにくいので、そのあたりが直感的に操作できると良いかなと思います。

どのような課題解決に貢献しましたか？どのようなメリットが得られましたか？

2022年2月のテストで、コミックカテゴリーのトップページのレイアウトABテストを行いました。上流ページで母数を増やして最終的な購入CVを上げたいという課題です。

ファーストビューに近いコンテンツで何をどういう形で露出するかの最適化テストを行いました。レコメンドやジャンルリンクなどのテストパターンを9パターン用意しABテストを行いました。

最終的に採用したパターンでは購入で改善率+26.09%、改善信頼度92.4%と大きな成果を上げるテストパターンを見つけることができました。

検討者へお勧めするポイント

導入前は独自の方法でABテストを行っていましたが、設定できるテストパターンも少なく、運用も大変でした。多変量テストは実施できても結果の分析が難しいです。

DLPOを利用するようになって、そのあたりが無理なく行えるようになったので、たくさんのテストパターンから正確に正解を導きたい場合には、かなりおすすめできます。

続きを開く