數理統計(4)-假設檢驗的方法

作者：由 isle 發表于攝影時間：2020-05-15

本次習題課主要介紹檢驗的方法，跟上一次的習題課的關聯非常密切，在這次的總結中會詳細的對比兩節課所學內容的相同和差異。下面是這次習題課的主要內容：

Fisher顯著性檢驗的幾個基本概念

單樣本正態總體引數的顯著性檢驗

雙樣本正態總體引數的顯著性檢驗

假設檢驗和區間估計的關係

單引數指數分佈族的顯著性檢驗

Bernoulli分佈的假設檢驗

似然比檢驗

p-值

例題

Fisher顯著性檢驗的幾個基本概念

原假設和對立假設

設有樣本

知道樣本來自某一個引數分佈族

$\{F(x,\theta):\theta\in\Theta\}$

其中

$\Theta$

為引數空間，設

$\Theta_0\subset\Theta,\Theta_0\ne \oslash ,\Theta_1=\Theta-\Theta_0$

命題

$H_0:\theta\in\Theta_0$

稱為

原假設或者零假設（null hypothesis）

命題

$H_1:\theta\in\Theta_1$

稱為

的

對立假設或者備選假設（altenative hypothesis）

我們關心的假設檢驗問題就是

$H_0:\theta\in\Theta_0 \longleftrightarrow H_1:\theta\in\Theta_1$

如果

$\Theta_0$

是單點集那麼我們稱之為

簡單(simple)零假設

，否則就稱為

複雜(composite)或者複合原假設

拒絕域和接受域

我們把樣本空間

$\chi$

劃分成兩個不交的部分

$W,\bar{W}$

當樣本屬於

$\bar{W}$

時，接受

，那麼

$\bar{W}$

為接受域

當樣本屬於

時，拒絕

，那麼

為拒絕域

兩種錯誤

當

$\theta\in\Theta_0$

時，而樣本卻落入了拒絕域

，於是我們採取了拒絕

的錯誤決策，這樣的錯誤為

第一類錯誤(type I error)

當

$\theta\in\Theta_1$

時，而樣本卻落入了接受域

$\bar{W}$

，於是我們採取了接受

的錯誤決策，這樣的錯誤為

第二類錯誤(type II error)

兩種錯誤的關係

第一類錯誤的機率

$\alpha=P_\theta\{X\in W\},\theta\in\Theta_0$

也記作

$P\{X\in W|H_0\}$

第二類錯誤的機率

$\beta=P_\theta\{X\in \bar{W}\},\theta\in\Theta_1$

也記作

$P\{X\in \bar{W}|H_1\}$

我們知道沒有辦法找到一個檢驗使兩種錯誤的機率都儘可能的小。（這裡我簡寫了如果有興趣可以在評論區跟我討論一下）

勢函式

對於一個檢驗方法

$\psi$

其拒絕域為

我們稱

$\beta_\psi(\theta)=P_\theta\{X\in W\}, \forall\theta\in \Theta$

為此檢驗的勢函式

由定義可以看出

當

$\theta\in\Theta_0$

時，此檢驗犯第一類錯誤的機率為

$\beta_\psi(\theta)$

當

$\theta\in\Theta_1$

時，此檢驗犯第二類錯誤的機率為

$1-\beta_\psi(\theta)$

顯著性水平

對於檢驗

$\psi$

和事先給定的

$\alpha\in(0,1)$

如果其滿足

$P_\theta\{X\in W\}\le\alpha,\forall \theta\in \Theta_0$

則稱

$\alpha$

使檢驗

$\psi$

的水平或者顯著性水平，也稱

$\psi$

為顯著性水平

$\alpha$

的檢驗

求取某假設的顯著性檢驗的步驟如下

根據實際問題，建立假設

$H_0 \longleftrightarrow H_1$

選取一個合適的統計量

，使當

成立時，

的分佈已知，且與引數

$\theta$

無關（稱此分佈為統計量

的零分佈）

根據

和

的特點，確定拒絕域

的形狀

對於給定的顯著性水平

$\alpha$

，確定拒絕域

由樣本觀測值

，計算統計量

的值

，由

是否屬於

，作出最後判斷

單樣本正態總體引數的顯著性檢驗

單樣本正態總體均值的檢驗

設

為來自

$N(\mu,\sigma^2)$

的iid樣本，現在我們感興趣的是其均值

$\mu$

的如下假設：

$H_0:\mu=\mu_0 \longleftrightarrow H_1:\mu\ne\mu_0$

$H_0:\mu=\mu_0 \longleftrightarrow H_1:\mu\ <\mu_0$

$H_0:\mu\ge\mu_0 \longleftrightarrow H_1:\mu\ <\mu_0$

$H_0:\mu=\mu_0 \longleftrightarrow H_1:\mu\ >\mu_0$

$H_0:\mu \le\mu_0 \longleftrightarrow H_1:\mu\ >\mu_0$

單樣本正態總體均值的顯著性檢驗

單樣本正態總體方差的檢驗

設

為來自

$N(\mu,\sigma^2)$

的iid樣本，現在我們感興趣的是其方差

$\sigma^2$

的如下假設：

$H_0:\sigma^2=\sigma^2_0 \longleftrightarrow H_1:\sigma^2\ne\sigma_0^2$

$H_0:\sigma^2=\sigma^2_0 \longleftrightarrow H_1:\sigma^2\ <\sigma_0^2$

$H_0:\sigma^2\ge\sigma^2_0 \longleftrightarrow H_1:\sigma^2\ <\sigma_0^2$

$H_0:\sigma^2=\sigma^2_0 \longleftrightarrow H_1:\sigma^2 >\sigma_0^2$

$H_0:\sigma^2\le\sigma^2_0 \longleftrightarrow H_1:\sigma^2 >\sigma_0^2$

單樣本正態總體方差的顯著性檢驗

雙樣本正態總體引數的顯著性檢驗

設

為來自

$N(\mu_1,\sigma_1^2)$

的iid樣本，設

為來自

$N(\mu_2,\sigma_2^2)$

的iid樣本，並且全樣本獨立

雙樣本正態總體均值的檢驗

我們感興趣的假設為

$H_0:\mu=\mu_0 \longleftrightarrow H_1:\mu\ne\mu_0$

$H_0:\mu \le\mu_0 \longleftrightarrow H_1:\mu\ >\mu_0$

$H_0:\mu\ge\mu_0 \longleftrightarrow H_1:\mu\ <\mu_0$

雙樣本正態總體均值的顯著性檢驗

其中在最後一種情況下有

$r=\frac{S_{mn}^{4}}{\frac{S_{1m}^{4}}{m^2\left( m-1 \right)}+\frac{S_{2n}^{4}}{n^2\left( n-1 \right)}} , S_{mn}^{2}=\frac{\left( m-1 \right) S_{1m}^{2}+\left( n-1 \right) S_{2n}^{2}}{m+n-2}$

雙樣本正態總體方差的檢驗

我們感興趣的假設為

$H_0:\sigma^2=\sigma^2_0 \longleftrightarrow H_1:\sigma^2\ne\sigma_0^2$

$H_0:\sigma^2\le\sigma^2_0 \longleftrightarrow H_1:\sigma^2 >\sigma_0^2$

$H_0:\sigma^2\ge\sigma^2_0 \longleftrightarrow H_1:\sigma^2\ <\sigma_0^2$

雙樣本正態總體方差的顯著性檢驗

假設檢驗和區間估計的關係

我們以一個雙邊檢驗的例子來說明這兩者之間的關係

對於單樣本正態總體均值的顯著性檢驗，當

$\sigma^2=\sigma^2_0$

時，關於假設

$H_0:\mu=\mu_0 \longleftrightarrow H_1:\mu\ne\mu_0$

的檢驗統計量為

$U=\frac{\bar{X}-\mu _0}{\sigma _0/\sqrt{n}}\sim N\left( 0,1 \right)$

$W=\left\{ |U|>u_{\alpha /2} \right\} \Longleftrightarrow P_{H_0}\left\{ |\frac{\sqrt{n}\left( \bar{X}-\mu _0 \right)}{\sigma _{0}}|>u_{\alpha /2} \right\} =\alpha \Longleftrightarrow P_{H_0}\left\{ \bar{X}-u_{\alpha /2}\frac{\sigma _0}{\sqrt{n}}\le \mu _0\le \bar{X}+u_{\alpha /2}\frac{\sigma _0}{\sqrt{n}} \right\} =1-\alpha$

注意到最後一個式子說明

$\mu$

的置信水平為

$1-\alpha$

的置信區間為

$( \bar{X}-u_{\alpha /2}\frac{\sigma _0}{\sqrt{n}},\bar{X}+u_{\alpha /2}\frac{\sigma _0}{\sqrt{n}} )$

對於單樣本正態總體方差的顯著性檢驗，當

$\mu$

未知時，關於假設

$H_0:\sigma^2=\sigma^2_0 \longleftrightarrow H_1:\sigma^2\ne\sigma_0^2$

的檢驗統計量為

$\chi ^2=\frac{\sum_{i=1}^n{\left( X_i-\bar{X} \right) ^2}}{\sigma _{0}^{2}}$

$W=\left\{ \chi ^2>\chi _{\alpha /2}^{2}\left( n-1 \right) \right\} \cup \left\{ \chi ^2<\chi _{1-\alpha /2}^{2}\left( n-1 \right) \right\} \Longleftrightarrow P_{H_0}\left\{ \frac{\sum_{i=1}^n{\left( X_i-\bar{X} \right) ^2}}{\sigma _{0}^{2}}>\chi _{\alpha /2}^{2}\left( n-1 \right) \right\} \cup \left\{ \frac{\sum_{i=1}^n{\left( X_i-\bar{X} \right) ^2}}{\sigma _{0}^{2}}<\chi _{1-\alpha /2}^{2}\left( n-1 \right) \right\} =\alpha$

$\Longleftrightarrow P_{H_0}\left\{ \frac{\left( n-1 \right) S_{n}^{2}}{\chi _{\alpha /2}^{2}\left( n-1 \right)}\le \sigma _{0}^{2}\le \frac{\left( n-1 \right) S_{n}^{2}}{\chi _{1-\alpha /2}^{2}\left( n-1 \right)} \right\} =1-\alpha$

注意到最後一個式子說明

$\sigma^2$

的置信水平為

$1-\alpha$

的置信區間為

$\left( \frac{\left( n-1 \right) S_{n}^{2}}{\chi _{\alpha /2}^{2}\left( n-1 \right)},\frac{\left( n-1 \right) S_{n}^{2}}{\chi _{1-\alpha /2}^{2}\left( n-1 \right)} \right)$

置信水平為

$1-\alpha$

的置信區間與雙邊檢驗有異曲同工之妙

我們可以這樣理解置信區間：當

$\mu_0$

落在

$\mu$

的置信水平為

$1-\alpha$

的置信區間內時，在顯著性水平

$\alpha$

下，我們沒有理由拒絕原假設，對於單側置信限我們也可以用單邊的檢驗去理解。

這裡再附一個之前的筆記作為對照

單引數指數分佈族的顯著性檢驗

首先我們來回顧一下指數分佈族

指數分佈族定義

則由上述定義我們知道單引數指數分佈族可以有如下的表示：

單引數指數分佈族

$f\left( x,\theta \right) =c\left( \theta \right) \exp \left\{ Q\left( \theta \right) T\left( x \right) \right\} h\left( x \right) ,\ c\left( \theta \right) >0,\ h\left( x \right) >0$

重要推論

設

是來自單引數指數分佈族的iid樣本，其中

$Q(\theta)$

是嚴格增函式，則對任意給定的常數

，

$P_{\theta}\left\{ T\left( X \right) \ge c \right\} ,P_{\theta}\left\{ T\left( X \right) \le c \right\}$

分別是

$\theta$

的非降和非增函式

單引數指數分佈族的假設檢驗

我們感興趣的有三個假設的問題和其第一類錯誤機率的最大值：

$H_0:\theta \ge \theta _0\longleftrightarrow H_1:\theta <\theta _0$

由於

$P_{\theta}\left\{ T\left( X \right) \le c \right\}$

是非增函式，則第一類錯誤的最大值為

$P_{\theta_0}\left\{ T\left( X \right) \le c \right\}$

，我們要求其臨界值c滿足

$P_{\theta_0}\left\{ T\left( X \right) \le c \right\} \le\alpha$

$H_0:\theta <\theta _0\longleftrightarrow H_1:\theta \ge \theta _0$

同理我們要求這裡的臨界值c滿足

$P_{\theta_0}\left\{ T\left( X \right) \ge c \right\} \le\alpha$

$H_0:\theta =\theta _0\longleftrightarrow H_1:\theta \ne \theta _0$

對於雙邊假設我們有

$P_{\theta_0}\left\{ T\left( X \right) \le c_1 \right\} \le\alpha/2， P_{\theta_0}\left\{ T\left( X \right) \ge c_2 \right\} \le\alpha/2$

Bernoulli分佈的假設檢驗

設

是來自

的iid樣本，則樣本的分佈為：

$f\left( x,p \right) =p^{\sum_{i=1}^n{x_i}}\left( 1-p \right) ^{n-\sum_{i=1}^n{x_i}}=\left( 1-p \right) ^n\exp \left\{ \ln \frac{p}{1-p}\sum_{i=1}^n{x_i} \right\}$

則此時對於p的顯著性檢驗如下表

其中

似然比檢驗

針對似然比檢驗我們用來檢驗更加一般的內容

$H_0:\theta \in \Theta _0\longleftrightarrow H_1:\theta \in \Theta _1=\Theta -\Theta _0$

似然比統計量

設

是來自

$\mathcal{F}=\left\{ f\left( x,\theta \right) :\theta \in \Theta \right\}$

的iid樣本，令

$\lambda \left( X \right) =\frac{sup_{\theta \in \Theta _0}f\left( X,\theta \right)}{sup_{\theta \in \Theta}f\left( X,\theta \right)}$

，則我們稱統計量

$\lambda(X)$

為似然比統計量

似然比檢驗

似然比統計量

$\lambda(X)$

作為檢驗統計量，且取其拒絕域為

$\{\lambda(X)\le c \}$

時，其中臨界值c滿足

$P_{\theta}\{\lambda(X)\le c \}\le\alpha, \forall\theta\in\Theta_0$

注：如果似然比統計量

$\lambda(X)$

的零分佈位置，如果存在一個統計量

關於

$\lambda(X)$

是單調的且它的零分佈已知，我們可以給出一個基於

的顯著性檢驗

p-值

為了更好的理解p-值的定義，我們要複習以下的內容：

由上述的內容我們可以得到下面的單邊的p值和雙邊的p值

單邊檢驗的p值

給定樣本觀測值

則

$p\left( x^0 \right) =\underset{\theta \in \Theta _0}{sup}P_{\theta}\left\{ T\left( X \right) \ge T\left( x^0 \right) \right\} \ or\ \underset{\theta \in \Theta _0}{sup}P_{\theta}\left\{ T\left( X \right) \le T\left( x^0 \right) \right\}$

為該檢驗的p值

雙邊檢驗的p值

給定樣本觀測值

則

$p\left( x^0 \right) =2min\{\underset{\theta \in \Theta _0}{sup}P_{\theta}\left\{ T\left( X \right) \ge T\left( x^0 \right) \right\} ,\underset{\theta \in \Theta _0}{sup}P_{\theta}\left\{ T\left( X \right) \}\le T\left( x^0 \right) \right\}$

為該檢驗的p值

p值的意義在於下面這個定理

由這個定理我們可以知道

樣本值

落入水平為

$\alpha$

的拒絕域的充要條件是此樣本的p值小於

$\alpha$

換句話說p值是可以拒絕原假設的顯著性水平

$\alpha$

的最小值

引入p值的最大優點在於，不用事先給定顯著性水平

$\alpha$

，只用計算樣本的p值，對於一切大於此p值的

$\alpha$

，則拒絕原假設的機率不超過

$\alpha$

同時我們還可以知道以下兩點

p值越小，證據越顯著，原假設越荒謬，我們越有理由拒絕原假設

一般來說，當p>0。05時，我們更傾向於接受原假設

例題

單樣本檢驗

原假設為

$H_0:\mu=\mu_0\leftrightarrow H_1:\mu\ne\mu_0$

拒絕域為

$\left\{ \frac{|\sqrt{n}\left( \bar{X}-13 \right) |}{S_n}>t_{0.025}\left( 14 \right) \right\} ,\bar{X}=15.4,S_n=2.3,n=15$

由於

$t_{0.025}(14)=2.145$

則其落入拒絕域，我們可以得到結論：計程車運營不符合常規

雙樣本檢驗

（1）

檢驗

$H_0:\sigma^2_1=\sigma^2\leftrightarrow H_1:\sigma^2_1\ne\sigma^2$

取檢驗統計量

$F=\frac{\sum_{i=1}^{m}{(X_i-\bar{X})^2/(m-1)}}{\sum_{i=1}^{n}{(Y_i-\bar{Y})^2/(n-1)}}\sim F(m-1,n-1)$

拒絕域為

$\{F>F_{\alpha/2}(m-1,n-1)\}\cup\{F<F_{1-\alpha/2}(m-1,n-1)\}$

代入資料

$m=9,n=8,\alpha=0.05\Rightarrow F_{0.025}(8,7)=4.9,F_{0.975}(8,7)=1/4.53$

代入題目資料知

則未落入拒絕域，可以接受原假設

（2）

檢驗

$H_0:\mu_1=\mu_2\leftrightarrow H_1:\mu_1\ne\mu_2$

取檢驗統計量

$T=\frac{\left( \bar{X}-\bar{Y} \right)}{\sqrt{\left( m-1 \right) S_{1m}^{2}+\left( n-1 \right) S_{2n}^{2}}}\sqrt{\frac{mn\left( m+n-2 \right)}{m+n}}\sim t\left( m+n-2 \right)$

拒絕域為

$\{|T|>t_{\alpha/2}(m+n-2)\}$

代入資料知

$T=1.085,t_{0.025}(15)=2.131$

未落入拒絕域，所以不能認為其有顯著性差異

原題

應用

進階

9（1）

的聯合密度為

$f(x,y;\lambda_1,\lambda_2)=\lambda_1^n\lambda_2^mexp\{-\lambda_1\sum_{i=1}^{n}{x_i}\}exp\{-\lambda_2\sum_{i=1}^{m}{y_i}\}$

$\lambda =\frac{\underset{\lambda _1,\lambda _2\in \Theta _0}{sup}f\left( \lambda _1,\lambda _2 \right)}{\underset{\lambda _1,\lambda _2\in \Theta}{sup}f\left( \lambda _1,\lambda _2 \right)}=\frac{\left( \frac{m+n}{\sum_{i=1}^n{X_i}+\sum_{i=1}^m{Y_i}} \right) ^{m+n}\exp \left\{ -\left( m+n \right) \right\}}{\left( \bar{X} \right) ^{-n}\left( \bar{Y} \right) ^{-m}\exp \left\{ -\left( m+n \right) \right\}}=\left( \frac{m+n}{\sum_{i=1}^n{X_i}+\sum_{i=1}^m{Y_i}} \right) ^{m+n}\left( \frac{\sum_{i=1}^n{X_i}}{n} \right) ^n\left( \frac{\sum_{i=1}^m{Y_i}}{m} \right) ^m$

拒絕域由

$P\{\lambda<c\}=\alpha$

確定

9（2）

$\lambda =\frac{\left( m+n \right) ^{m+n}}{n^nm^m}\frac{T^n}{\left( T+1 \right) ^{m+n}},T=\frac{\sum_{i=1}^n{X_i}}{\sum_{i=1}^m{Y_i}}$

$\lambda(T)$

在

$0<T<\frac{n}{m}$

時遞增，在

$T>\frac{n}{m}$

時遞減

則拒絕域可以化為

$\{T>c_1\}\cup\{T<c_2\}$

9（3）

$\lambda _1=\lambda _2\Rightarrow X_i\sim E\left( \lambda _1 \right) ,Y_j\sim E\left( \lambda _1 \right) \Rightarrow X_i\sim \Gamma \left( 1,\lambda _1 \right) ,Y_j\sim \Gamma \left( 1,\lambda _1 \right) \Rightarrow 2\lambda _1\sum{X_i\sim \Gamma \left( n,\lambda _1 \right) ,2\lambda _1\sum{Y_j\sim \Gamma \left( m,\lambda _1 \right)}}$

$\frac{2\lambda _1\sum{X_i}/2n}{2\lambda _1\sum{Y_j}/2m}\sim F\left( 2n,2m \right) \Rightarrow \frac{\bar{X}}{\bar{Y}}\sim F\left( 2n,2m \right)$

10 （第九題的直接應用）

我們可以取的檢驗統計量為

$T=\frac{\bar{X}}{\bar{Y}}\sim F(12,10)$

可以得到的拒絕域為

$\{T>F_{0.025}(12,10)\}\cup\{T<F_{0.975}(12,10)\}$

代入資料知

$T=1.04,F_{0.025}(12,10)=3.62,F_{0.975}(12,10)=\frac{1}{3.72}$

則其未落入拒絕域，所以認為沒有顯著差異

26（1）

的聯合密度為

$f(x,y;\theta,\mu)=\theta^n\mu^mexp\{-\lambda_1\sum_{i=1}^{n}{x_i}\}exp\{-\lambda_2\sum_{i=1}^{m}{y_i}\}$

則似然比統計量可以求得

$\lambda =\frac{\bar{X}^n\bar{Y}^m\left( m+n \right) ^{m+n}}{\left( n\bar{X}+m\bar{Y} \right) ^{m+n}}$

26（2）

$T=\frac{\sum{X_i}}{\sum{X_i}+\sum{Y_j}}$

$\lambda =\frac{\left( m+n \right) ^{m+n}}{m^mn^n}T^n\left( 1-T \right) ^m$

則

$\lambda(T)$

關於

先增後減，所以拒絕域可以是

$\{\lambda<c\}\Leftrightarrow\{T<c_1\}\cup\{T>c_2\}$

26（3）

由9題可知

$2\theta \sum{X_i\sim \Gamma \left( n,\theta \right) ,2\theta\sum{Y_j\sim \Gamma \left( m,\theta \right)}}$

則原題轉化成

$\xi\sim\Gamma(n,\theta),\eta\sim\Gamma(m,\theta)$

且獨立求

$V=\frac{\xi}{\xi+\eta}$

的分佈

取

$\left\{ \begin{array}{l} u=\frac{x}{x+y}\\ v=x+y\\ \end{array} \right. \Leftrightarrow \left\{ \begin{array}{l} x=uv\\ y=v\left( 1-u \right)\\ \end{array} \right. |J|=v>0$

$(\xi,\eta)$

的聯合密度為

$\frac{\theta ^{m+n}}{\Gamma \left( n \right) \Gamma \left( m \right)}x^{n-1}y^{m-1}e^{-\theta \left( x+y \right)},x>0,y>0$

的聯合密度為

$\frac{\theta ^{m+n}}{\Gamma \left( n \right) \Gamma \left( m \right)}\left( uv \right) ^{n-1}\left( v\left( 1-u \right) \right) ^{n-1}e^{-\theta v}=\frac{\theta ^{n+m}}{\Gamma \left( n+m \right)}v^{m+n-1}e^{-\theta v}·\frac{\Gamma \left( m+n \right)}{\Gamma \left( n \right) \Gamma \left( m \right)}u^{n-1}\left( 1-u \right) ^{m-1}$

可以得出

前面的項為

$\Gamma(m+n,\theta)$

的密度，後面的項為

的密度

則

$T=U\sim B(n,m)$

似然比檢驗的應用

的聯合密度為

$f\left( x,y \right) =\frac{1}{2\pi}\exp \left\{ -\frac{\left( x-\rho \mu _2 \right) ^2+\left( y-\mu _2 \right) ^2}{2} \right\}$

在

下，求

$\frac{\partial f\left( x,y;\rho _0,\mu _2 \right)}{\partial \mu _2}=0$

解得

$\hat{\mu}_2=\frac{y+x\rho _0}{1+\rho _{0}^{2}}$

可以求出似然比統計量為

$\lambda =\exp \left\{ -\frac{1}{2}\left( \left( \frac{x-\rho _0y}{1+\rho _{0}^{2}} \right) ^2+\left( \frac{\rho _0\left( \rho _0y-x \right)}{1+\rho _{0}^{2}} \right) ^2 \right) \right\}$

令

$T=|\frac{x-\rho _0y}{\sqrt{1+\rho _{0}^{2}}}|$

則有

$\lambda =\exp \left\{ -\frac{1}{2}T^2 \right\}$

所以拒絕域可以表示為

$\left\{ \lambda \le c \right\} \Leftrightarrow \left\{ |T|\ge c \right\}$

由於

$T\sim N\left( 0,1 \right)$

則

$c=u_{\alpha /2}$

$\left( \varepsilon _1,...,\varepsilon _n \right)$

的聯合密度函式為

$f\left( u_1,...,u_n \right) =\left( \frac{1}{\sqrt{2\pi}\sigma} \right) ^n\exp \left\{ -\frac{\sum_{i=1}^n{u_{i}^{2}}}{2\sigma ^2} \right\}$

由於

$\left( \begin{array}{c} \varepsilon _1\\ \vdots\\ \varepsilon _n\\ \end{array} \right) =\left( \begin{matrix}{l} 1& 0& 0& \cdots& 0\\ -\theta& 1& 0& \cdots& 0\\ 0& -\theta& 0& \cdots& 0\\ \vdots& \vdots& \vdots& \ddots& \vdots\\ 0& 0& \cdots& -\theta& 1\\ \end{matrix} \right) \left( \begin{array}{c} x_1\\ \vdots\\ x_n\\ \end{array} \right) ,|J|=1$

則

$\left( X_1,...,X_n \right)$

的聯合密度函式為

$f\left( x_1,...,x_n \right) =\left( \frac{1}{\sqrt{2\pi}\sigma} \right) ^n\exp \left\{ -\frac{\sum_{i=1}^n{\left( x_i-\theta x_{i-1} \right) ^2}}{2\sigma ^2} \right\} |J|$

由

$\underset{\theta \in \Theta}{sup}f\left( x_1,...,x_n;\theta ,\sigma ^2 \right) =\left( \frac{1}{\left( 2\pi \right) \frac{1}{n}\sum_{i=1}^n{\left( x_i-\left( \frac{\sum_{i=1}^n{x_ix_{i-1}}}{\sum_{i=1}^n{x_{i-1}^{2}}} \right) x_{i-1} \right) ^2}} \right) ^{n/2}e^{-n/2}$

$\underset{\theta \in \Theta _0}{sup}f\left( x_1,...,x_n;\theta ,\sigma ^2 \right) =\left( \frac{1}{\sqrt{2\pi}\sqrt{\frac{1}{n}\sum_{i=1}^n{x_{i}^{2}}}} \right) ^2e^{-n/2}$