統計上的顯著性和實際上的顯著性的有什麼區別？

謝邀。

統計上的顯著性和實際上的顯著性是兩個完全不同的東西，可以是完全相反的。統計上的顯著性通常用p來衡量，而實際上的顯著性含義不是很清楚，統計上的效應量（effect size）可以在一定程度上衡量實際上的顯著性。

p的含義是

在零假設H0成立的條件下

，得到比實際測量所得的資料更加極端的資料（D）的機率，也就是p（D | H0）。上面加粗的這句話決不可漏掉，

p值是在零假設成立的前提假設下的條件機率，不是在得到實驗資料後零假設成立的機率p（H0 | D）

。p值是條件機率這一點經常被人忽略，從而導致很多對統計的誤用和誤解，即使是專業的研究者（也就是上課教我們統計的那些老師）也有很多沒有意識到p的本質，國內外皆然（有研究者做過調查，不是我隨口瞎說的）。當p達到一定的閾限的時候，比如常見的p < 0。05，我們就會說實驗結果是顯著的。這就是統計上的顯著性。

舉例而言，如果我們要檢驗假設“北京的霧霾比上海的霧霾嚴重”，那麼我們會收集北京和上海在同一個時間段內的有對比意義的區域的霧霾嚴重程度。簡便起見，就以PM2。5的量為衡量霧霾的指標，那麼我們收集的就是北京和上海的空氣中PM2。5的含量，假設結果顯示北京和上海的PM2。5相差200微克每立方米。用獨立t檢驗可以得到一個p，就假設是p = 0。04吧。通常一個小於0。05的p就會讓我們認為：北京和上海空氣中PM2。5的含量是有顯著差異的。這個顯著差異的意思是：

如果北京和上海的PM2.5含量是相同的

，那麼測出來北京和上海的PM2。5的差異大於200微克每立方米的機率是0。04。0。04看上去不像是個可能發生的事，所以北京和上海的PM2。5含量應該是不同的吧。要注意的是，p = 0。04不意味著看到收集的資料的結果後，北京和上海的PM2。5含量相同的機率（p（H0 | D））是0。04，p（H0 | D）要透過貝葉斯公式計算才知道是多少。

事實上，我們最想知道的答案（其實也是我們以為透過p我們知道了的答案）是零假設正確與否的機率，也就是p（H0 | D），而p給我們的確實另一個完全不同的東西p（D | H0），然後我們透過這個p用世上最偉大的人工智慧（拍腦袋）猜出來p（H0 | D）大概是多少，或者想當然地就以為p就是p（H0 | D），最後決定備擇假設是不是對的。可以看出來，傳統的統計檢驗是一種非常不直觀的方法，它提供的答案不是我們想要的答案，但很多人就想當然的以為這個答案是我們想要的。統計書上還煞有介事地把這種方法稱為機率反證法，搞得好像它有多精妙，多偉大似的。結果就是很多教統計的人自己也不理解p是什麼玩意兒，教出來的學生自然也對p的條件機率本質要麼一知半解，要麼壓根就不理解，隨便瞎寫“p = 0。04，所以犯錯機率是0。04”這種胡說八道的東西。

現在來說說效應量。效應量的定義其實不是很清楚（因為有很多不同的指標，所以定義也不嚴格統一），大概指的是自變數和因變數相關的程度。在t檢驗中，最常用的是Jacob Cohen提出來的d。d的計算公式是：d = （M1 - M0 ）/ s，其中M1、M0代表兩個實驗組的均值，s指的是聯合標準差。這樣計算d的內在邏輯是用兩個實驗組的分佈的均值的差值（M1 - M0）表示兩個分佈的距離，但是這樣的距離隨著因變數含義的變化會有很大的不同，所以用標準差標準化一下。

可以從這個公式中看出來，d 和 t之間的差異就是t受到樣本量的影響，但是d的公式中是沒有樣本量n的，而p是由t和自由度決定的，所以d和p之間的差異也就在樣本量n上。理論上，只要錢多隨便花，可以得到足夠大的樣本，那麼p肯定可以做到小於0。05，不管d有多麼小。也就是說，實際上的顯著性可以無限接近於0，比如說d = 0。000000000000000000000000000000000000001，只要樣本量夠大（不過照前面的這個d的量級，估計用人類被試的話，全人類都用上也不夠囧……），統計上照樣顯著給你看，p要多小就給你多小。你要p < 0。001，錢夠多，樣本量夠大，別說p < 0。001，p < 0。00000000000000000000000000000000000000001也照樣能做到。

當然，除了d意外，還有很多其它衡量效應量的指標，比如方差分析中的

，相關分析中的 r 等等。但這些指標不一定符合“實際上的顯著性”，因為它們說到底也就是一些統計量而已，不能完全刻畫現實生活中人們認為的顯著，不過至少比p是高到不知道哪裡去了。

其實由於“顯著”這個詞的日常意義的干擾，統計上的顯著性不是一個好術語，應該換種表達方式，避免公眾甚至研究人員的誤解，比如採用“有統計上的意義”這種比較中性的表達方式。