神譯局是36氪旗下編譯團隊，關注科技、商業、職場、生活等領域，重點介紹國外的新技術、新觀點、新風向。
編者按：決策是行動的指南。不管是個人還是企業，每天都要面臨著無數的決策。決策的好壞會對結果產生巨大影響，如何做好決策是每個人都要上的一門必修課。在Netflix這里，他們采用了一種以實驗為導向的決策流程，先小范圍地對不同方案進行測試，根據對比效果調整，從而摸索出普遍適用的決策。他們為此還在官方技術博客推出了關于Netflix如何用A/B測試做出決策的系列文章。本文來自編譯，是系列文章的第七篇，也是最后一篇，談的是學習文化的重要性。
劃重點：
Netflix強調了從數據中學習的重要性
學習與實驗滲透到了Netflix的各個地方
實驗對 Netflix 來說是一種雙贏的價值主張
相關閱讀：
Netflix 是如何做決策的？（一）：介紹
Netflix是如何做決策的？（二）：什么是 A/B 測試？
Netflix是如何做決策的？（三）：誤報與統計顯著性
Netflix是如何做決策的？（四）：漏報與功效
Netflix是如何做決策的？（五）：樹立對決策的信心
Netflix是如何做決策的？（六）：實驗是主要關注焦點
本系列的前幾篇文章介紹了A/B 測試的WHY、WHAT以及HOW，所有這些都是產品開發從實驗中獲益所必需的。但是如果不加上一點魔法的話，光有這些還是不夠的。
怎么把實驗的原材料轉化成渦輪增壓的產品創新？其中的秘訣在于文化。文化的發展壯大從來沒有捷徑可走，培養實驗文化也不例外。要想讓領導層支持聚焦 A/B 測試的學習方法、建立起對測試結果的信任，以及形成大規模實施實驗的技術能力，這些都需要時間——尤其是對這些想法不熟悉的組織要想做到的話更是需要時間。但是通過科學方法進行實驗所帶來的回報，以及讓產品開發形成良性循環是非常值得的。關于如何啟動實驗飛輪以及建立實驗文化，我們在微軟的同事分享了一些考慮周到的出版物，而他們的“從爬到走再到跑最后飛起來”（rawl, Walk, Run, Fly）的模型是評估實驗實踐成熟度的好工具。
在 Netflix這里，我們幾十年來一直都在利用實驗和科學方法，并且很幸運擁有成熟的實驗文化。實驗文化得到了包括高層在內的全公司的的廣泛支持，只要有可能，A/B 測試或其他因果推理方法的結果幾乎就是決策的必需。我們還對教育計劃進行投資，從而提高公司范圍內對我們怎么用 A/B 測試作為產品開發框架的理解。事實上，本系列的大部分材料都改編自我們內部的實驗 101 和 201 課程（面向Netflix全員開放）。
作為一家企業，Netflix有組織地強調了從數據中學習的重要性，這也包括了從 A/B 測試中的學習。我們的數據和洞察組織有團隊跟公司的各個部門合作，為了解全球各地的內容偏好，提供無縫的客戶支持體驗提供支持。我們采用了定性與定量結合的消費者研究、分析、實驗、預測建模等工具來深入了解會員。我們擁有數據管道，為從面向執行人員的儀表板到個性化系統提供支持，從而幫助將Netflix 會員與適當的內容建立關聯。這種數據驅動的思維方式已經是滲透到公司的各個層面，就連Netflix的最高領導層也是數據和洞察力組織的體現。
Netflix的企業文化是用數據說話
正如第 6 部分所討論的那樣，我們有部分專注于實驗與因果推理的數據科學家在跟Netflix 的產品創新團隊合作。這些數據科學家會設計和執行測試，從而為學習議程提供支持，并為決策做出貢獻。通過深入研究某個測試結果的細節、尋找不同測試之間的共同模式，以及探索其他的數據源，這些 Netflix 數據科學家積累了有關 Netflix 體驗各個方面的領域專業知識，并成為產品經理和工程領導者的重要合作伙伴。數據科學家通過評估機會大小以及確定適合創新的領域來幫助塑造 Netflix 產品的發展，并經常會提出隨后需經過測試的假設。
我們還投資了一個廣泛而靈活的實驗平臺，讓我們的實驗計劃能夠隨著公司對學習和了解的雄心壯大而擴展。就像 Netflix 產品本身這些年來一直在不斷發展一樣，我們支持大規模實驗的技術開發手段也在不斷發展。事實上，這20 多年來，我們一直致力于改進 Netflix 的實驗平臺解決方案——我們對支持 A/B 測試的工具的第一筆投資可以追溯到 2001 年。
Netflix 的 Stan Lanning在2001年開發的早期實驗工具。
Netflix 擁有獨特的內部文化，這種文化強化了實驗和科學方法的使用。作為一家公司，我們的目標是保持好奇心，真正地、誠實地去了解我們在世界各地的會員，并服務好他們。我們在思想上也保持開放，知道偉大的想法可能會來自不太可能的來源。對于學習和做出大決策來說，沒有一種辦法能優于運用嚴格測試的力量來確認或證偽想法。公開、坦誠地分享測試結果可以讓 Netflix 的每個人對會員形成直覺，并就我們如何為他們提供更好的體驗提出想法——于是就啟動了一個良性循環。
事實上，Netflix隨時要跑的測試太多了，以至于某位會員可能會同時被分配到多個測試之中。其實Netflix 作為產品并不是一個：在任何特定時間，我們都在測試大量的產品變體，始終致力于尋求進一步了解如何為現有會員帶來更多樂趣，同時吸引新的會員。有些測試，比方說十大排行榜，是用戶很容易就能注意到的，而其他一些測試，比方說個性化以及搜索系統的變更，或者流媒體視頻的編碼與提供，則不太明顯。
在 Netflix這里，我們不懼大膽的測試，不怕挑戰基本的或長期固有的假設。在這兩點上，十大排行榜都是一個很好的例子：對于在Netflix產品上面暴露一種新型證據來說，十大排行榜屬于巨大而顯著的改變。像這樣的大型測試可以開辟出全新的創新領域，在公司內部也會引起積極的辯論（見下文）。而在另一方面，我們也會展開更小規模的測試，以優化產品的方方面面。一個很好的例子是我們為尋找宣傳產品各方面的正確文案所做的測試。就數字而言，這些更小的，不那么不引人注目的測試要多得多，我們投資于端到端的基礎設施，目的是簡化實驗的執行，讓產品團隊能夠快速地從假設走到測試，最后推出成功的體驗。比方說，莎士比亞項目為快速的文案測試提供了一個端到端的解決方案，并且與 Netflix 集中式的實驗平臺集成到一起。說得更寬泛一點，我們一直在尋找可以從實驗中受益的新領域，或者其他的方法或工具可以帶來新的或更快的學習的領域。
數據科學家不是數據的看門人，而是數據的向導
Netflix 有一套成熟的運營機制來對產品決策的辯論制訂以及社會化進行管控。 Netflix 不會通過委員會或尋求共識來做出決定。取而代之的是，對于每一個重大決策，我們都有一位“見多識廣的隊長”，在消化相關數據以及同事的意見（包括不同的觀點）后，此人將最終負責做出判斷。在可能的情況下，A/B 測試結果或因果推理研究是該決策過程的預期輸入。
事實上，不僅產品決策需要測試結果，創新和測試的投資領域決策、重大創新的測試計劃、重大測試的結果等，這些都要總結進備忘錄，廣泛社會化，并積極討論。進行相關辯論的論壇大家都可以訪問，確保有人反饋關于測試設計和結果的不同觀點，并對決策做出權衡。進入這些論壇的邀請對任何有興趣的人開放，入場費只需要看備忘錄。盡管公司高管也經常光顧這些地方，但這里很顯然沒有等級之分，因為一切都要靠數據說話。
Netflix 數據科學家是這些論壇的積極參與者以及有價值的參與者。數據科學家應該為數據說話，說明從實驗結果中可以得出以及不可以得出什么結論，不同的實驗設計的優缺點等等。盡管數據科學家不是產品決策的知情隊長，但作為數據的解釋者，他們是關鍵產品決策的積極貢獻者。
通過實驗幫助產品進化可以是一種讓人心生謙卑的體驗。在 Netflix這里，我們擁有開發和演進 Netflix 服務所需的各個學科的專家（產品經理、UI/UX 設計師、數據科學家、各種類型的工程師、推薦系統與流視頻優化專家等等），他們會不斷提出關于如何改進 Netflix 的新假設。但在提出的想法當中，只有一小部分最終能成為 A/B 測試的贏家。沒錯：盡管我們擁有廣泛的專業知識，但會員通過自己在 A/B 測試中的行為讓我們知道，我們的大多數想法其實并沒有改善我們的服務。我們每年開發和測試數百種的產品變體，但只有一小部分最終投入到生產并推廣給全球 2 億多的 Netflix 會員。
實驗計劃的勝率很低既令人謙卑又令人振奮。當公司的任何人都可以看到相關數據，知道哪些重大想法和投資并未受到效果時，你很難再挺起高傲的頭顱。但是，當看到所有專家都看好的想法被 A/B 測試中的會員行為否決——并且看到對注冊流程的微小調整最終會帶來巨大收入時，還有比這更能證明通過實驗進行決策的價值嗎？
在Netflix這里，我們不會把未能帶來勝出體驗的測試看作是“失敗”。當我們的會員用他們的行為否決了新產品體驗時，我們仍然會了解很多關于他們的偏好、哪些對不同的會員群體有效（哪些無效！），以及哪些地方可能或者不可能存在創新機會的信息。將我們從特定跟創新領域（比方說移動 UI體驗）測試中獲得的經驗結合起來，可以幫助我們更全面地描繪讓會員產生共鳴和不產生共鳴的體驗類型，從而得出新的假設、新的測試，并最終，為我們的會員帶來更快樂的體驗。隨著我們的會員群體在全球范圍內不斷擴大，隨著消費者偏好與期望的不斷演進，我們也會重新審視當粗測試時不成功的那些想法。有時候，來自原始分析的信號表明現在是這個想法的更好時機，或者將會為我們的部分新會員群體提供價值。
因為 Netflix 會測試所有的創意，而且因為大多數的創意都不是贏家，所以我們的實驗文化鼓勵創意的民主化。產品經理總是渴望新想法，并樂于接受來自公司任何人的創新建議，無論對方資歷或專業知識如何都從善如流。畢竟，在推廣到會員群體之前，我們會測試任何東西，就算是專家，成功率也很低！我們在 Netflix 已經反復看到這一點，即我們的工程師、數據科學家甚至高管提出的大大小小的產品建議可能也會帶來意想不到的勝利。
（左）成為贏家的想法很少。 （右）實驗讓創意民主化。因為我們會測試所有的想法，并且因為大多數想法都不是勝利者，所以我們對來自公司各個角落的產品想法持開放態度：任何人都可以舉手提出建議。
實驗文化使得更多的聲音為創意做出貢獻，而更多的聲音則可以為決策提供信息。這是從每一位個從事產品工作的人獲取最佳想法，并確保推出的創新得到會員的審查和認可的手段。
為我們的會員提供更好的產品，以及謙遜、重視想法和證據的內部文化：實驗對 Netflix 來說是一種雙贏的價值主張。
盡管 Netflix 幾十年來一直在進行實驗，但相對于我們想要學習的東西以及支持這些學習上的抱負所需建立的能力，我們只觸及了一點皮毛。在 Netflix 這里，關于實驗與因果推理的挑戰和機遇是開放的：探索和實現新的方法，讓我們能夠更快更好地學習；開發支持研究的軟件解決方案；不斷建設我們的內部實驗平臺，從而更好地服務于不斷壯大的用戶社區以及不斷擴大的實驗規模與吞吐量。通過內部活動與教育計劃以及外部的貢獻，我們對發展壯大實驗文化的關注是持續的。以下是我們關注的一些主題：
本系列文章側重于固定時間范圍的測試：樣本量、分配給每個治療體驗的流量比例，還有測試的持續時間，這些都是預先確定的。原則上，數據只有在測試結束的時候才檢查一次。這確保了多次查看數據不會增加誤報率（參見第 3 部分）。在實踐上，我們希望能夠盡早安排測試，或者在我們逐漸了解哪些治療成功，哪些不成功時能夠調整入端流量的分配方式，以維系本系列前面分所描述的那些統計屬性。為了實現這些好處，Netflix 正在投資于可隨時做出有效決策的連續實驗，而不是等到固定時間的過去。這些方法已應用到確保安全部署 Netflix 客戶端應用上。我們還投資于實驗設計的支撐，實現在整個測試過程中流量自適應分配給有希望的治療手段。這兩項努力的目標是相同的：那就是更快速地識別出有益于會員的體驗。
Netflix 已經學到了很多東西，而且通過利用經典的在線 A/B 測試或隨機對照試驗（這也是本系列文章關注的重點），幾乎產品的每個方面都得到了顯著改善。但并不是每一個業務問題都適合用 A/B 測試，因為有些問題沒法在個人層面上隨機化，或者存在溢出效應等因素可能會打破有效因果推理的關鍵假設。在這些情況下，我們往往要靠對準實驗進行嚴格評估。所謂的準實驗，是指單元不是通過隨機過程分配到實驗組或控制組的。但“準實驗”這個詞本身涵蓋了廣泛的實驗設計與方法論，這些與以 Netflix 數據科學社區為代表的無數學術背景之間存在著差異。那怎么才能跨不同領域去綜合最佳實踐，同時擴展我們的方法，從而讓更多的同事能夠利用準實驗呢？
我們在這一領域的早期成功得益于對跨業務垂直領域的知識分享、教育以及支撐工具的投資。由于準實驗用例跨越了 Netflix 的眾多領域，識別出常見模式一直是建立共享庫的強大驅動力。通過這些共享的庫，科學家可以對準實驗做出評估。為了支撐規模的持續擴大，我們構建了內部工具，將數據檢索、設計評估、分析以及可重生成的報告結合起來，旨在為我們的科學家提供支持。
我們預計，對準實驗研究、工具與教育方面的投資會隨著時間的推移而增長。這件事情做好了，科學家及其跨職能的合作伙伴就能夠了解到更多的東西，從而為當前和未來的 Netflix 會員帶來更多快樂。
我們把 Netflix 實驗平臺看作是一個內部產品，還配備了自己的產品經理，并設計了創新的路線圖。我們的目標是為配置、分配、監控、報告、存儲和分析 A/B 測試提供一條鋪好的端到端的道路，把焦點放在為簡單性和測試速度而優化的實驗用例上面。我們的目標是讓實驗成為產品生命周期當中一個簡單的，不可分割的一部分，讓工程師、數據科學家或產品經理只需很少的努力即可創建、分析和執行測試，并且只要測試所有者需要，在任何地方都可以采用自動化。
但是，如果平臺的默認路徑對特定用例不適用，實驗者可以利用我們的大眾化貢獻模式，或人員重用平臺的各個部分來構建自己的解決方案。隨著實驗人員對測量方法、實驗設計以及自動化的前沿進行創新，在實驗平臺團隊的通力合作下，這些創新將會被商品化，并提供給更廣泛的組織。
我們的實驗平臺的產品開發有以下三個核心指導原則：
一般要把測試的復雜性以及微妙之處（比方說分配與方法論）從跑單個測試的過程中抽象出來，重點應該放在對一系列用例或測試領域有意義的默認值上。 測試執行過程中對特定步驟的人工干預一般應該是可選的，重點是測試所有者能夠把注意力集中在他們認為可增加價值的地方，同時把其他領域留給自動化處理。 設計、執行、報告、決策與學習都是實驗生命周期的不同階段，有著不同的需求與用戶，每個階段都受益于為每種用途而專門開發的工具。Netflix 擁有濃厚的實驗文化，我們通過A/B 測試，或科學方法的其他應用獲得的結果，往往會為如何改進產品以及給會員帶來更多樂趣的相關決策提供信息。為了支撐Netflix不斷增長的會員，以及日益復雜的業務，我們當前和未來的實驗規模也會不斷擴大，所以Netflix 在文化、人員、基礎設施以及內部教育方面都進行了投資，從而暴增 A/B 測試在全公司范圍內都能得到廣泛使用。
我們會繼續發展我們的學習與實驗文化，為全球的 Netflix 會員帶來更多樂趣。隨著我們的會員群和業務的不斷發展，實驗與控制體驗之間小一點的差異會變得非常重要。這對于會員子群體來說也是如此：隨著會員規模的增長，我們的服務可以變得更有針對性，希望能夠為按照地理區域、設備類型等定義的用戶群提供好的體驗。隨著我們業務的發展壯大，我們正在尋找可以從實驗受益的新領域，能進行更多實驗、學到更多東西，以及加快實驗計劃的同時讓更多同事可以進行實驗的方法。
但最大的機會是這個：通過實驗的良性循環，可以為我們的會員帶來更多的快樂。
譯者：boxi。
