你正在被人做實驗:他開一個無痕視窗,就把這件事變成看得見的#

這支是他研究所課程的報告,沒有業配。最好用的是他當場做的示範——一般視窗對無痕視窗開同一家訂房網站,同一間飯店的稀缺性文案不一樣,其中一邊還多出一行「過去十分鐘內還有一人搜尋此日期」,而他指出那一人就是他自己。後半段導讀了 A/B 測試的三個陷阱與一個真實踩線的倫理案例。

往下讀之前先問自己 你看到「僅剩三間」而急著下單的那一刻,你確定那句話是庫存播報,而不是被指派給你的那個版本?

(預設關閉:點連結跳回原片體驗較好,也把流量還給原作者)
01 ⭐⭐⭐ 他當場示範了一個你現在就能做的自測:一般視窗對無痕視窗,同一頁的文案不一樣 value
他在哪裡講的
「他的文字是不一樣的」
2020-05-19 你被人做實驗還不自知?!看看哈佛商業評論揭露了什麼!
▶ 跳到 596 秒聽本人講 →
機轉:為什麼會這樣
他打開兩個瀏覽器視窗——一個是平常在用的、一個是無痕模式,因為無痕會隔離既有的暫存與識別資訊,網站會把你當成另一個人。同一個訂房網站、同一間飯店,兩邊顯示的稀缺性文案不同:一邊寫「僅剩三間」加驚嘆號,另一邊換了句型;其中一邊還多出一行「過去十分鐘內還有一人搜尋了此日期」。他自己吐槽:那一人就是他本人。
實證查核

屬可重複的自測方法記錄,與本站 t11-u18 是同族——把「你被做實驗」這個抽象說法,變成任何人五分鐘內可以自己驗證的操作。這也順帶示範了稀缺性與社會證明類文案是可被切換的變項,不是固定的事實陳述。

查證來源

  • 無痕模式隔離既有暫存與識別資訊,網站將其視為不同使用者
  • 稀缺性與社會證明類文案為可切換的介面變項
要補一句
要注意兩個視窗的差異不必然來自實驗分組——地區、裝置、登入狀態、歷史紀錄都可能造成不同呈現。看到差異只能證明「呈現是動態的」,不能證明你被分到哪一組。想確認是分組,需要多次重複並觀察是否穩定落在固定的版本上。
可帶走的做法
下次看到「僅剩幾間」「幾人正在看」而心跳加速,先開一個無痕視窗對照。文案會變的,代表它是設計出來的說服元件,不是庫存播報。
02 那家公司的制度:任何員工都能發起實驗,主管不得阻止——但入職先上倫理課 value
他在哪裡講的
「都可以發起他想做的實驗」
2020-05-19 你被人做實驗還不自知?!看看哈佛商業評論揭露了什麼!
▶ 跳到 443 秒聽本人講 →
機轉:為什麼會這樣
他轉述研究案例的核心:該訂房網站的任何一位員工都可以發起自己想做的實驗,不需要主管簽核,也沒有任何主管可以阻止;公司只在員工入職時做兩件事——倫理訓練,以及測試工具的使用訓練,之後由技術團隊負責支援。因此該公司同時進行的實驗數量非常龐大,彼此還會互相組合。
實證查核

屬組織設計記錄。值得記的是它的結構:把管制點從「事前審批」移到「事前訓練+工具限制」,用降低發起成本換取實驗數量,而用倫理課守住下限。這與多數公司的層層簽核是相反的設計選擇。

查證來源

  • 該案例公司以事前訓練與工具支援取代事前審批
要補一句
⚠️ 本片為語音轉錄稿,公司名與數量級的細節可能有誤,本站不引用具體數字。另外這個制度的前提是實驗對象是自家平台的使用者——把它直接類比到醫療、教育等場域並不成立,那些領域的事前審查有其存在理由。
可帶走的做法
要在自己團隊推動這種做法,先問管制點搬到哪裡去了。拿掉簽核卻沒有補上訓練與紅線,那不是敏捷,是沒人負責。
03 A/B 測試的三個陷阱:只看平均值、忘了使用者互相影響、只看短期 strong
他在哪裡講的
「第一個只關注平均值」
2020-05-19 你被人做實驗還不自知?!看看哈佛商業評論揭露了什麼!
▶ 跳到 875 秒聽本人講 →
機轉:為什麼會這樣
他導讀的第二篇文章列出三個陷阱。第一個是只關注平均值:某影音平台增加熱門內容的曝光,重度使用者看得更多、平均觀看時間確實上升,但看冷門內容的那群人被忽略而退訂——訂閱制下這是虧的。第二個是假設樣本彼此獨立:在社群產品裡使用者會互相加好友、按讚、傳送邀請,兩組人會互相污染。第三個是只看短期:介面改動的初期反應(新鮮或煩躁)常與長期行為相反。
實證查核

三者都是實驗設計的標準陷阱:平均值掩蓋分群差異、單位間干擾破壞隨機化的獨立性假設、新奇效應與學習效應使短期指標與長期指標背離。他也給了對應的處理方向——拉長觀測期、加大樣本、或讓同一使用者在不同時段接受不同版本。

查證來源

  • 平均值會掩蓋分群間的相反效果
  • 社群產品中的單位間干擾破壞隨機化的獨立性假設
  • 新奇效應使短期指標與長期行為背離
要補一句
他提到的補救「同一人前後接受不同版本」本身也有代價:順序效應與學習效應會混進來,這在他的轉述裡沒有提。要點是每種補救都換一組新的偏誤,沒有免費的解法。
可帶走的做法
看到「平均提升了」,先問哪一群人變多、哪一群人不見了。整體平均是最容易被少數重度使用者拉動的數字。
04 ⭐ 倫理紅線的實例:某社群平台真的做過操控使用者情緒的實驗 strong
他在哪裡講的
「來操控使用者的情緒」
2020-05-19 你被人做實驗還不自知?!看看哈佛商業評論揭露了什麼!
▶ 跳到 1459 秒聽本人講 →
機轉:為什麼會這樣
他舉出踩線的案例:某大型社群平台調整使用者動態牆上正面與負面貼文的比例,觀察使用者後續發文的情緒是否跟著改變。他的評論是——你是一個全世界都在用的平台,怎麼可以用這種方式操控使用者情緒;如果有人本來就有憂鬱症,因為連續一週看到負面內容而發生憾事,那怎麼辦。
實證查核

該實驗確實存在並公開發表於二〇一四年:研究者直接調整動態牆上正負面貼文的呈現量,觀察使用者後續貼文的情緒。爭議核心正是知情同意——平台未告知使用者研究進行中、未說明目的,使用者也不知道可以拒絕參與或退出;期刊主編事後公開表達對同意程序的疑慮。學術界另指出的制度缺口是:合作大學的審查委員會認定其研究者「未直接接觸受試者」因而不需審查。

查證來源

  • 該平台於二〇一四年公開發表調整動態牆正負面貼文比例的實驗
  • 爭議核心為未告知使用者、未說明目的、未提供退出選項
  • 合作大學審查委員會以研究者未直接接觸受試者為由認定無須審查
要補一句
他把重點放在情緒操控本身,本站補上更關鍵的一層——這件事被批評的核心不只是內容偏移的幅度(統計上其實很小),而是在未告知的情況下把使用者當成受試者,以及企業內部研究不受人體研究審查規範拘束的制度缺口。這個缺口今天仍然存在。
可帶走的做法
你在任何平台上看到的排序與呈現,都可能是某個進行中的實驗。這不必然有惡意,但它意味著你的情緒反應也可能是被安排的變項之一。
05 他自己的兩個實驗:文案排版的轉單率,以及為什麼大家都不填「區」 value
他在哪裡講的
「你要知道這些數字的背景是人性」
2020-05-19 你被人做實驗還不自知?!看看哈佛商業評論揭露了什麼!
▶ 跳到 1013 秒聽本人講 →
機轉:為什麼會這樣
他把方法套用在自己的商城上。一個是商品頁的圖文排版——文字與圖片位置的搭配會影響提問量與跳出率,他改成上下都有文字、自家選品另加標章之後,點擊與轉單都變好。另一個更有意思:訂單地址欄位大量缺漏,很多人不填「區」,也有人填了區卻不填縣市。他去逐一詢問原因,發現有人是忘記、有人是習慣、有人根本沒找到欄位,於是把縣市拉出來、在欄位裡標明要填什麼,缺漏就大幅減少。他的結論是:看數據不能只看顯著與否,要去想數字背後的原因,因為那個背景是人性。
實證查核

屬方法實踐記錄。第二個例子特別有價值——它示範了量化數據看不出原因時,用少量訪談補上因果假設再去改設計,比直接對著數字調參數有效。

查證來源

  • 以少量質性訪談補足量化數據無法呈現的因果假設,為常見的混合方法設計
要補一句
這也是 n 很小的訪談,結論容易受他自己的解讀影響;他改完之後也沒有做前後對照的量化驗證(只說缺漏變少)。當成「先問人再改設計」的流程示範,不要當成效果量的證據。
可帶走的做法
表單填寫率低的時候,先去問三個沒填完的人為什麼。這比再多加一行提示文字有用得多。
06 來源與立場:這是他研究所課程的作業,不是業配內容 value
他在哪裡講的
「其中的一個報告」
2020-05-19 你被人做實驗還不自知?!看看哈佛商業評論揭露了什麼!
▶ 跳到 9 秒聽本人講 →
機轉:為什麼會這樣
他在片頭說明這支影片的由來——這是他研究所的一份報告,因為疫情期間要減少教室停留時間,老師請他錄成影片讓同學課前先看,他就順便當成當天的日更影片發布。
實證查核

屬來源揭露。本片沒有商品推薦、沒有導購結構,內容為兩篇公開文章的導讀加上他自己的應用案例,是他的影片中少見的非商業性內容。

查證來源

  • 本片為課程報告內容,無商品推薦或導購結構
要補一句
⚠️ 但本片為語音轉錄稿(該片無官方字幕),依本站轉錄稿政策,引句一律不含人名、品牌與型號;片中提及的公司名、教授姓名與具體數字請以原片為準,本站不引用。另外本片為二〇二〇年,所引用的兩篇文章與案例狀況可能已有變化。
可帶走的做法
想找一個創作者的「非商業樣本」,去看他做課程作業、讀書導讀那類影片。那裡的推理習慣比業配片誠實。

⚠️ 本單元來源為 Whisper 語音轉錄稿(DkiJKJ04ijw,2020-05-19,該片無官方字幕)。依本站轉錄稿政策,引句一律不含人名、品牌與型號,片中提及的公司名、教授姓名與具體數字本站不引用,請以原片為準;所有事實主張另行查證外部資料。本片為課程報告,無商品推薦或導購結構(見 kp-06)。與 t11-u18(可重複的自測流程)互指。