初學統計顯著考驗的人們 往往直接被教導 p<0.05就拒絕虛無假設的概念 於是這個方法被不經思索地烙印在學習者的心中 這導致一知半解的結果

首先 我們必須知道推論統計是從樣本統計值著手推論 研究者蒐集資料然後計算統計值 這些量化數據都是"從樣本得到的東西" 那麼我們要有所根據才能從樣本推論至母體 這個時候 抽樣分配機率(sampling distribution probability)就是從樣本推論至母體的中介根據 缺少了抽樣分配 我們沒有任何線索提供給我們知道這樣本和母體之間的關係 因為我們必須把樣本統計值比對這個中介根據才能推論至母體情況

所以 許多的統計檢定(例如 t-test, F-test....)都會有一個抽樣分配機率函數計算公式 依據此一公式而發展出抽樣分配機率圖示以及統計表(statistical table) 有了這些東西 就能夠讓我們尋找線索進而從樣本推論至母體

舉例而言 如果我投擲硬幣 然後我想要知道投擲二十次出現十五次以上大頭的機率為何 我就要去尋找關於正反面出現機率的抽樣分配機率圖示以及計算公式 這個時候就會要用到二項式(binomial)抽樣分配機率圖示及相關公式  那麼我找到了出現十五次以上大頭的機率為0.02  

這樣的機率很小所以我們就說以隨機而言 發生如此情況的機率很小 如果我們人為設定可容忍水準為0.05那麼顯然0.02已經超出了我們所設定的水準 因此不接受(所謂的虛無假設) 這個不接受邏輯一部分是人為的 並不代表完全沒有發生的機率

所以事實上 我們之所以拒絕虛無假設是因為我們人為設定了容忍水準 虛無假設不能說是不存在的 只是存在的機率很小 小到我們無法大聲向全世界所有人宣告虛無假設存在的事實 這也就是為何有的研究者堅稱虛無假設不可能"被拒絕" 它只能夠不被我們所"接受"

那麼拒絕虛無假設又代表了什麼意思呢? 之前我們說過抽樣分配的概念 這是隨機的概念 那麼既然隨機發生的機率很小(小到超出了人為設定的容忍水準) 我們就能夠比較大聲地說很可能有著"系統性非隨機"作用參與了其中而這種效果超越了隨機性 於是虛無假設被拒絕(或說不接受)