白金鉱業 Meetup Vol.15@六本木（効果検証） https://brainpad-meetup.connpass.com/event/324913/ の登壇資料です。
こんにちは、メルカリのレコメンデーションチームで Software Engineer をしている @yaginuuun です。主に推薦を通じたホーム画面における体験改善に取り組んでいます。 元々はデータアナリストとしてデータ分析関連の業務を担う傍らA/Bテストのワークフロー改善にも取り組んできました。 Mercari Advent Calendar 2022 の12日目では、去年から今年にかけて取り組んできたA/Bテスト分析の自動化について、課題感や実際の実装などについて触れていきます。 背景 A/Bテストは世界中の企業で導入されている効果検証のゴールドスタンダードとも呼べる手法であり、メルカリでも毎日のようにA/Bテストを用いた改善活動が行われています。 A/Bテストは一見とてもシンプルな効果検証手法ですが、それを適切に使用するためにはさまざまな統計的事項やアンチパターンを考慮する必要が
Google アナリティクス ウェブテストの基盤を成す統計手法について説明します。Google アナリティクスでは、ウェブテストの手法として多腕バンディット方式を採用しています。多腕バンディット テストには、次のような特徴があります。 最も利益の大きい選択肢の特定を目標とする ランダム分布がテストの進行とともに更新される 「多腕バンディット（multi-armed bandit）」という名前は、それぞれに異なる見込み配当率が設定された、「One-armed bandit（片腕の盗賊）」というスロット マシンが複数並んでいる状況を模した仮説テストという意味を持っています。スロット マシンのプレイヤーは、最も見込み配当率が高いスロット マシンを見つけ出す必要がある一方で、利益を最大化する必要もあります。この状況では、これまでの配当率が最も優れているマシンのみをプレイするか、それともさらに配当率
A/B testing (or “split testing”) are experiments you can run to compare the performance of different alternatives. A classical example is using an A/B test to compare two versions of a landing page, to find out which alternative leads to more registrations. You can use A/B tests to gauge interest in a new feature, response to a feature change, improve the site’s design and copy, and so forth. In s
今回はweb業界でよく行われているA/Bテストについて記事にします。 参考書はこれです。参考にはしましたが、A/Bテストについては1ページくらいしか書いてありませんのであしからず。 PROFESSIONAL アクセス解析 作者: 衣袋宏美出版社/メーカー: 技術評論社発売日: 2011/04/13メディア: 大型本購入: 4人 クリック: 418回この商品を含むブログ (5件) を見る ※今回はサイトのレイアウトと言う意味の「デザイン」とランダム化比較試験の「デザイン」の両方が出てきますが、混乱されないようお気を付け下さい。。。 Google Website Optimizerで、サイトの最適デザインを調べることができます。A/BテストはデザインAまたはBのサイトをランダムに表示し、どちらのサイトデザインが「統計的に有意」であるかを検定するサービスのようです。多変量テストの場合はサイトデザ
Written by lckidwell• April 9, 2012• 11:47 am• How To Build Great Landing Pages Introduction to A/B Testing for Landing Pages Everyone loves the story about how a scrappy upstart changed the color of a button on its landing page and suddenly increased its conversion rate by 200%. Stories like that make for a great headlines. They also often spawn copycats naïvely trying to replicate that anomaly i
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
