小樣本為什麼常製造大故事

假設你丟一枚正常的硬幣六次。

結果是：

正、正、正、反、反、正。

你可能覺得沒什麼奇怪。

但如果結果是：

正、正、正、正、正、正。

很多人會立刻產生一個感覺：

「這枚硬幣是不是有問題？」

可是只看六次，其實還不能下太強的結論。

正常的硬幣，也可能偶爾連續六次都是正面。

問題就在這裡。

人腦很不喜歡「只是剛好」。

只要看到一小段看起來有規律的結果，我們就很容易開始找故事。

為什麼這家店最近突然很多負評？

為什麼這檔股票連漲五天？

為什麼這個班級今年成績特別好？

為什麼這個業務員這個月突然成交很多？

我們很自然會開始解釋：

一定有什麼原因。

而《快思慢想》提醒我們：

有時候最大的原因，只是樣本還太小。

五次和五百次，是完全不同的世界

假設有兩個人都在丟硬幣。

第一個人丟 10 次。

第二個人丟 10,000 次。

哪一個人比較可能得到接近：

50% 正面、50% 反面？

通常是第二個。

並不是第二枚硬幣比較公平。

而是當樣本變大時，短期的隨機波動比較容易彼此抵消。

10 次裡出現 7 次正面，一點也不奇怪。

但如果丟 10,000 次，最後有 7,000 次正面，就會非常值得注意。

所以當我們看到一個比例時，不能只看比例。

還要問：

這個比例是從多少次裡算出來的？

這個問題非常重要。

「80%的人喜歡」可能代表完全不同的事情

假設兩間餐廳都寫：

80% 顧客推薦。

看起來一樣。

但第一家只有 5 個人評價。

其中 4 個人推薦。

所以是 80%。

第二家有 5,000 個人評價。

其中 4,000 個人推薦。

也是 80%。

數字一樣。

可信程度卻完全不同。

第一家只要下一個人給負評：

4 / 6。

推薦比例立刻變成大約 67%。

第二家多一個負評：

4000 / 5001。

幾乎沒有變化。

這就是小樣本最容易讓人誤判的地方。

它看起來也能產生一個很精確的百分比。

80%。

67%。

100%。

但百分比後面如果只有三、五、十個人，結果其實可能非常不穩定。

我們很容易把「小故事」當成「整體規律」

假設朋友跟你說：

「我認識三個人買這台車，三個都修過變速箱。」

你的第一反應可能是：

「這台車變速箱是不是很容易壞？」

這是一個合理的警訊。

但還不能直接得到結論。

因為你還不知道：

總共有多少人買？

真正故障率多少？

這三個人是不是剛好買同一批車？

是不是因為朋友之間會互相推薦同樣的車款？

如果全台灣有十萬台，只有你的三個朋友剛好遇到問題，那和：

總共只賣了十台，其中三台有問題，

是完全不同的事情。

可是人腦很容易跳過這一步。

三個人。

三個都壞。

故事已經形成了。

「我身邊的人都這樣」是很危險的一句話

我們每天都在用很小的樣本認識世界。

你身邊可能只有十幾個比較熟的人。

同事也許二三十個。

常看的 YouTube 頻道十幾個。

常逛的社群也是演算法幫你挑過的。

可是只要某個現象在這個小圈子裡重複幾次，大腦就很容易得到：

「現在大家都這樣。」

例如：

「現在年輕人都不買房了。」

「大家都在買 ETF。」

「現在沒有人看電視了。」

「身邊的人都不用現金。」

「大家都開始用 AI。」

這些事情可能真的有趨勢。

但「我的生活圈裡很多人這樣」和「整個社會大部分人都這樣」之間，還差很遠。

這其實和上一課談的基準率有關。

我們常常用眼前少數幾個鮮明案例，代替更大的整體資料。

小學校為什麼特別容易出現「最好」和「最差」

Kahneman 在討論小樣本時，很喜歡用這類統計問題提醒我們。

假設你整理全國學校的考試成績。

你可能發現：

某些小學校特別容易出現在「平均成績最高」的名單裡。

看到這個結果，很容易開始想：

是不是小學校比較好？

老師比較能照顧每個學生？

班級氣氛比較好？

資源分配更集中？

這些都有可能。

可是如果再看另一端，你可能又會發現：

平均成績最低的學校裡，也有很多小學校。

怎麼會這樣？

如果小學校真的比較好，怎麼又會比較差？

答案可能很簡單：

因為人少。

假設一所學校只有 20 個學生。

今年剛好多了幾個非常優秀的學生，平均分數就可能被拉高很多。

如果剛好多了幾個成績較差的學生，平均又會掉很多。

另一所學校有 2,000 個學生。

少數幾個特別高或特別低的成績，很難大幅改變整體平均。

所以小樣本更容易出現極端結果。

不一定是因為它真的比較特別，而是因為它更容易被隨機波動推到兩端。

這件事在投資裡非常常見

假設有兩個投資人。

A 投資了 20 年。

B 才開始投資 6 個月。

B 這半年報酬率 40%。

A 長期平均每年 8%。

如果只看眼前數字：

40% 比 8% 厲害很多。

但這兩個數字不能這樣直接比較。

6 個月是一個非常小的樣本。

B 可能真的很厲害。

也可能只是：

剛好遇到大多頭。

剛好集中持有一個熱門產業。

剛好幾筆交易全部做對。

你需要更多資料，才能分辨：

這是能力，還是運氣？

這也是為什麼「去年績效第一名」不一定代表明年還會第一名。

短期績效裡面，運氣的比例可能很大。

連續成功很容易讓人高估自己的能力

假設你第一次買股票。

買了 A。

漲 20%。

第二次買 B。

又漲 15%。

第三次買 C。

再賺 30%。

很難不產生一個感覺：

「我好像很會選股票。」

而且這個感覺不是裝出來的。

三次都成功，是非常真實的經驗。

問題只在於：

三次夠不夠？

如果一個策略真的有效，它應該經得起更多次、更長時間、不同市場環境。

牛市。

熊市。

盤整。

高利率。

低利率。

不同產業。

如果只在三次交易裡成功，我們還不知道真正看到的是什麼。

可是系統一不喜歡這種答案：

「資料不足，暫時不知道。」

它更喜歡：

「我找到方法了。」

虧三次也不代表你的方法一定錯

反過來也是一樣。

假設你有一個長期合理的策略。

結果第一次買就跌。

第二次又跌。

第三次還是跌。

人會非常容易放棄：

「這策略沒用。」

可是如果策略本來就是建立在長期數十次甚至數百次決策上，那三次結果可能根本說明不了多少。

這就是小樣本很容易製造的心理壓力。

短期結果太鮮明。

我們很難真的把它當作：

「只是三筆資料。」

賺三次，覺得自己找到聖杯。

賠三次，覺得方法完全失敗。

結果還沒累積到足以判斷，我們就已經寫好故事。

新店開幕第一週的評價也一樣

假設一間新餐廳剛開。

第一天得到：

★★★★★
★★★★★
★★★★★
★★★★★

四個五星。

網站顯示：

5.0 分。

看起來完美。

隔天突然來兩個一星。

平均立刻掉下來。

你可能開始想：

「品質是不是突然變差？」

其實什麼都不一定發生。

只是六個人的樣本，本來就很容易劇烈波動。

如果這家店已經有 20,000 則評價，新增兩個一星，幾乎不會改變平均。

所以看到評分時，除了分數本身，另一個很值得看的數字就是：

有多少人評過？

4.9 分，32 個評價。

和

4.8 分，18,000 個評價。

不能只因為 4.9 比 4.8 高，就認為第一家一定比較好。

醫院、老師、業務員都可能遇到同樣問題

假設公司有一個業務員。

一個月只接五個客戶。

剛好五個全部成交。

成交率：

100%。

另一個業務員接 100 個客戶。

成交 70 個。

成交率：

70%。

如果只看比例，第一個人完勝。

但你真的能因此判斷第一個業務員比較厲害嗎？

還不能。

因為五個客戶的結果非常容易受到運氣影響。

也許剛好全部都是意願很高的客戶。

如果再給他 100 個客戶，結果可能完全不同。

所以好的分析不能只問：

「誰的比例最高？」

還要問：

這個結果建立在多少觀察上？

為什麼我們這麼容易相信小樣本？

因為人腦很擅長找模式。

這是一個非常有用的能力。

如果遠古時代的人連續兩次看到某種動物後都遇到危險，最好趕快學會避開。

沒有必要等到做完 10,000 次統計研究。

快速學習能讓人活下來。

所以只要幾個事件連在一起，大腦就會開始問：

「是不是有規律？」

問題是現代世界很多問題涉及：

投資。

醫療。

教育。

企業管理。

市場研究。

網路數據。

這些領域裡，隨機波動本身就可能製造出看似有意義的模式。

於是我們那個非常擅長找故事的大腦，反而容易太快下結論。

三次發生，不代表「每次都這樣」

生活裡很常出現這種說法：

「我每次去那間店都要排隊。」

仔細問：

去過幾次？

「三次。」

三次都排隊是真的。

但從這裡跳到：

「那間店永遠很多人。」

就是另一個結論。

你可能剛好都在星期六晚上去。

也可能只是碰巧三次都遇到高峰。

再例如：

「這航空公司老是延誤。」

搭過幾次？

兩次。

兩次都延誤的經驗很差。

但如果要判斷這家航空公司的準點率，兩次還是不夠。

個人經驗值得參考。

只是要清楚知道它有多大。

網路上的小型調查也要小心

你可能常看到：

「網友票選 80% 支持……」

「我們調查發現 70% 使用者喜歡……」

「社群投票顯示大多數人認為……」

看到百分比以前，可以先問兩件事：

多少人？

以及：

這些人是怎麼來的？

100 個追蹤某個理財頻道的人，不一定代表所有投資人。

500 個某品牌社團成員，也不一定代表一般消費者。

除了樣本大小，樣本來源也很重要。

如果選到的人本身就偏向某一類，樣本再大也可能偏掉。

所以「人數多」只是判斷品質的一部分。

大樣本也不是一定正確

這裡要特別避免另一個誤解。

並不是樣本越大，所有問題就自動消失。

如果調查方式本身有偏差：

只問某一群人。

問題設計有誘導。

資料品質很差。

選樣方式有問題。

就算有十萬份回答，也可能得到錯誤結論。

所以真正完整的問題應該是：

樣本有多大？

樣本怎麼選？

資料怎麼取得？

結果波動可能有多大？

只是《快思慢想》特別提醒我們：

人類通常對第一個問題——樣本大小——都已經不夠敏感。

「可能只是運氣」是一個很難接受的答案

如果公司今年業績突然成長 40%，大家很自然想找原因。

新的主管。

新的策略。

新的廣告。

新的產品。

一定是哪個決策做對了。

這些原因可能真的存在。

但有時候也包含：

市場剛好變好。

競爭對手剛好缺貨。

某個大客戶突然下單。

其他一次性因素。

也就是運氣。

人不喜歡把成功歸因於運氣。

因為運氣沒有故事。

「我們推出新策略，所以成功。」

聽起來完整。

「其中一部分可能只是隨機波動。」

聽起來很不滿足。

但統計世界裡，後面這句常常不能省略。

看到極端結果時，先看看它有多大

這一課最實用的一個習慣是：

當你看到一個非常漂亮或非常糟糕的結果時，先不要急著找故事。

先找：

樣本數。

例如：

「這個投資策略勝率 90%。」

做過幾次？

「這家店滿意度 100%。」

多少人？

「這個方法讓業績提高 50%。」

觀察多久？

「這所學校今年排名第一。」

有多少學生？

「這個人選股超準。」

做了幾筆？

樣本越小，越應該容許：

結果只是暫時的波動。

我們的大腦喜歡故事，隨機世界卻沒有義務提供故事

小樣本最麻煩的地方，就是它特別容易產生極端結果。

而極端結果又特別吸引注意力。

所以：

一個人連贏五次。

一家公司突然高速成長。

一所學校成績突然第一。

一個策略短期報酬驚人。

我們馬上就想知道：

他們做對了什麼？

有時候真的有答案。

但在問「為什麼」以前，還可以先問：

資料夠多了嗎？

因為只要樣本夠小，隨機本身就能產生看起來非常不像隨機的結果。

這也是《快思慢想》一直在拆解的一個直覺：

我們看到模式，就覺得背後一定有原因。

但世界裡有些規律是真的。

有些只是暫時看起來很像規律。

而分辨兩者的第一步，不是更會講故事。

而是先看看：

這個故事，到底建立在多少資料上。