Google 是一个数据驱动型公司,这意味着所有对用户的改动的发布,都要决策者以相 应的经验数据作为依据。这些数据大部分是由在线流量上的实验产生的。在 web 的语境下, 一个实验是由一股流量(比如,用户的请求)和在这股流量上进行的修改组成的。用户可见 的修改(比如,修改顶部广告的背景色),以及不可见的修改,比如测试一个新的广告点击 率(CTR)预测算法,都可以通过实验的方式进行的。
要支持数据驱动方法论的挑战在于要跟上创新的速度。我们想支持进行尽可能多的实验, 如果实验平台要限制同时进行的实验的数量,那是绝不可被接受的。我们进行实验是为了测 试一些新的特性和挖掘一些已有特性的提升空间。对于已有特性,实验可以学习到用户的反 应并可以对特性进行优化。试想一下,如果在搜索结果页上的内容都是通过参数控制的,包 括展示方式和算法。通过对参数设置不同的参数值进行实验,我们可以用衡量指标(用户体 验,收入或其它指标)来决定是否要进行哪些修改以得到最好的结果。
2021-04-16 15:54:32
1.01MB
分层实验
1