导读 双边市场是一个连接两个群体的平台,在经济学中,我们称之为供给方和需求方。由于需求方和供给方的行为存在彼此影响(即双边网络效应),导致在 AB 测试中,实验组和对照组很难满足独立性的假设,因此如何设计实验是一个比较大的挑战。本次分享将从腾讯广告的实践出发,分享如何进行双边市场的实验设计。
全文目录:
1. 双边市场
2. 广告流量四表格实验
3. 解决方法
4. Counterfactual interleaving 实验
5. 列联表联合采样
6. 双边市场模拟系统
分享嘉宾|朱志华 腾讯 数据科学家
编辑整理|王鑫民 同济大学
出品社区|DataFun
01
广告投放的目标客户大部分不存在地域限制。现在的广告场景一般为广告通投,系统会自动选择最适合投放的用户,具有地域属性的广告,如 LBS ,占比非常小。 广告通投大盘所有用户,不存在所谓类目的概念可以把这种竞争进行隔离。 广告的效果存在很强的跨时间段影响。时间随机化需满足携带效应比较弱的重要前提,但在广告场景下,具有非常强的马太效应,如一个广告 10 点获得一定量的曝光,会极大地影响它在 11 点的曝光量,因此无法通过时间分片的方式获得有效的结论。
理想情况
只有抢夺没有外溢
工程挑战大:线上系统一般模块较多,策略和模型比较复杂,实际实现中较难做到分身广告和原始广告表现基本一致; 广告数量膨胀:给检索带来很大的性能压力,只能支持少数实验; 很难做到实验组和对照组独立:广告如果在实验组表现好,对照组不好,整体效果也不好的情况下,广告主会关停广告。因此很难真的做到实验组和对照组独立。
列联表联合采样
分享嘉宾
INTRODUCTION
朱志华
腾讯
数据科学家
2012年华东师范大学数理统计硕士毕业。毕业后分别在eBay上海和eBay Seattle分别工作一段时间。2015年回国加入腾讯,主要负责腾讯广告的实验系统建设以及策略分析优化工作。前者主要针对不同的业务场景和目标用户,设计不同的实验类型以及实验机制;后者主要针对广告策略层面发现问题,提出解法并协助工程师团队落地。
|直播推荐|
网友评论已有0条评论, 我也要评论