| 2022-06-18
本文介绍的是关于 Netflix 如何使用 A/B 测试做出决策，来不断改进他们的产品，从而为其会员带来更多的快乐和满足感。这一系列文章将涵盖了 A/B 测试的基本统计概念、实验在 Netflix 中的作用，以及 Netflix 是如何投资基础设施，从而支撑和扩展实验，以及 Netflix 内部实验文化的重要性。
Netflix 的经营理念是：「消费者的选择与掌控权，是娱乐体验的中心」。作为一家公司，他们不断开发其产品，并不断追求这一价值主张。例如，Netflix UI 在过去十年中经历了彻底的转变。早在 2010 年，用户界面是静态的，导航选项有限，演示文稿的灵感来自视频租赁店的展示。现在，用户界面是沉浸式和可视频转发，导航选项更丰富，但不那么突兀，并且 「Box Art」的展现形式更充分地利用了数字体验。
图 1：2010 年和 2020 年的 Netflix TVUI。
从 2010 年的体验过渡到现在（2021年）的体验，需要 Netflix 做出无数决定。例如，单个标题的大显示区域与显示更多标题之间的正确平衡是什么？视频比静态图像好吗？如何在受限网络上提供无缝的视频转发体验？如何选择要显示的标题？导航菜单属于哪里，它们应该包含什么？这个问题列表还在继续增长。
**做决定是很容易的，—难的是做出正确的决定。**如何确信做出的决策是在为现有会员提供更好的产品体验，并帮助新会员开拓体验？Netflix 通过多种方式来决定如何改进产品，从而为其会员带来更多快乐：
- 领导：让领导做出决定。
- 内容专家：聘请一些设计、产品管理、用户体验、流媒体交付和其他学科方面的专家——然后用他们最好的想法去做。
- 内部组辩论，让最有魅力的同事的观点占据一席之地。
- 复刻竞争对手。
图 2：不同的决策方式。从左上起顺时针：领导、内部专家、复刻竞争对手、小组辩论。
这些决策方式中的每一个，都有一些观点和角度有助于做出决定。领导小组很小，小组辩论也不会太大，而在 Netflix ，在我们需要做出决策的每个领域，也就只有这么多专家了。然而，可能有几十种流媒体或相关服务可以作为我们的灵感来源。此外，这些方式并没有提供一种系统的方式来做出决策，或解决相互冲突的观点。
Netflix 相信，有更好的方式来决定如何改善其向会员提供的体验：他们使用 A/B 实验。实验可以规模化。实验不是让一小群高管或专家参与决策，而是让 Netflix 所有会员有机会用他们的行动投票，决定如何继续发展他们愉快的 Netflix 体验。
更广泛地说，A/B 测试以及其他因果推理方法（如准实验）是 Netflix 使用科学方法为决策提供信息的方式。首先要形成假说，再收集经验数据，包括来自实验的数据，为刚形成的假说提供支持或反对的证据，然后得出结论并产生新的假说。正如 Netflix 的 Nirmal Govind 所解释的那样，实验在支撑科学方法的演绎（从一般原理中得出具体结论）和归纳（从具体结果和观察中形成一般原理）的迭代循环中起着至关重要的作用。
原文作者： Netflix Technology Blog
原文链接：Decision Making at Netflix
发表时间： Sep 7, 2021