Home Page TOOLS Probability & Statistic HỒI QUY BỘI
HỒI QUY BỘI

HỒI QUY BỘI

Nguyễn Như Phong

Kỹ thuật Hệ thống Công nghiệp

Đại học Bách Khoa, ĐHQG TPHCM

 

 

Hồi quy bội là hồi quy đa biến, biến ra phụ thuộc vào nhiều biến vào :

Y = f(X), X = (X1 , … Xm )

Trong đó m là số biến vào độc lập. Giả sử quan hệ giữa biến ra và các biến vào là tuyến tính, biến ra biễu diễn theo biến vào như sau:

                            Y =  b0 + b1X1 + … + bmXm

trong đó:

  • b0 là hệ số hồi quy hằng.
  • bi là các hệ số hồi quy ứng với biến vào Xi, , i = 1, …,m .

Các hệ số hồi quy được ước lượng từ tập số liệu thu thập :

(Xj, Yj), j = 1, ..., n

Xj = (X1j, ..., Xmj), j = 1, ..., n

 

1. Ước lượng biến ra

Biến ra được ước lượng theo biến vào như sau:

                            Y’ =  B0 + B1X1 + … + BmXm

trong đó:

  • Y’ là biến ra ước lượng
  • Bi  là hàm ước lượng bi , i = 0, 1, …, m .

Các hệ số hồi quy được ước lượng từ tập số liệu thu thập :

(Xj, Yj), j = 1, ..., n

Xj = (X1j, ..., Xmj), j = 1, ..., n

a. Sai số

Thực tế có sai số giữa biến ra thực tế và biến ra ước lượng, biến ra thực tế:

                   Y =  Y’ + E

trong đó Y là biến ra thực tế và E là sai số. Sai số được xác định là độ lệch giữa biến ra thực tế và biến ra ước lượng:

          E = Y – Y’

Mô hình hồi quy có giả sử sai số E có phân bố chuẩn với phươgn sai không đổi, s2:

                   E ~ N(0, s2)

Biến thiên sai số của mô hình hồi quy thường được đánh giá bởi tổng bình phương sai số. Với tập số liệu sẵn có:

            (Xj, Yj), j = 1¸n

Tổng bình phương sai số được xác định như sau:

                  

Tổng bình phươgn sai số có số bậc tự do là n-m-1, trung bình bình phương sai số đựơc xác định như sau:

MSE = SSE / (n-m-1)

Phươgn sai sai số được ước lượng bởi trung bình bình phương sai số. Độ lệch chuẩn của sai số được ước lượng bởi sai số chuẩn SE:

 

 

b. Cực tiểu tổng bình phương sai số

Phương pháp cực tiểu tổng bình phương sai số nhằm ước lượng các hệ số hồi quy từ một tập số liệu sẵn có. Tổng bình phương sai số:

                  

Các hệ số hồi quy nhằm cực tiểu tổng bình phương sai số được xác định từ hệ (m+1) phương trình sau:

                                                    

Từ hệ phương trình trên, ta xác định được hàm ước lượng Bi, i=0¸m.

 

 

2. Phân tích sai số

Mô hình hồi quy bội tuyến tính nêu trên dựa trên các giả sử:

  • Quan hệ vào ra tuyến tính.
  • Biến thiên sai số không đổi.
  • Sai số đôc lập, đồng dạng phân bố chuẩn.

Phân tích sai số nhằm đánh giá các giả sử của mô hình hồi quy dựa vào sai số. Các công cụ phân tích sai số bao gồm:

  • Biễu đồ sai số.
  • Chuẩn đồ sai số
  • Tần đồ sai số
  • Kiểm đồ sai số.

Biễu đồ sai số hồi quy bội biễu diễn quan hệ giữa sai số và biến ra của mô hình. Với quan hệ vào ra tuyến tính, sai số thường phân bổ đều quanh giá trị 0. Mặt khác, giả sử biến thiên không đổi, có thể trực quan kiểm tra từ các khỏang biến thiên của sai số trên miền giá trị của biến ra.

 

Giả sử phân bố chuẩn thường được kiểm tra trực quan bởi tần đồ sai số hay chuẩn đồ sai số. Kiểm đồ sai số biễu diễn sai số theo chỉ số mẫu thu thập theo thời gian. Trên kiểm đồ có đường tâm và các giới hạn kiểm sóat. Kiểm đồ sai số cho thấy mẫu hình biến thiên của sai số, các điểm phải là ngẫu nhiên. Mặt khác, kiểm đồ sai số còn giúp kiểm sóat sai số, các sai số phải nằm trogn giới hạn, sai số nằm ngòai giới hạn là biễu hiện hệ thốgn ngòai kiểm sóat. Kiểm đồ sẽ đựơc trình bày ở phần sau.

 

 

3. Chỉ số phù hợp

 

a. Chỉ số phù hợp

Tương tự hồi quy đơn, nhằm đánh giá sự phù hợp của mô hình hồi quy bội với một tập số liệu, ta có thể dùng chỉ số phù hợp R2 định bởi:

                  

Trong đó, SSY là tổng bình phương sai lệch biễu diễn biến thiên biến ra:

Và SSR được gọi là tổng bình phương sai lệch hồi quy, biễu diễn biến thiên biến theo biến thiên biến vào, được xác định như sau:

          SSR = SSY - SSE

Suy ra:

                  

Chỉ số phù hợp R2 biến thiên từ 0 đến 1:

  • SSR = 0, R2=0: Mức độ phù hợp thấp nhất, mô hình hồi quy không phù hợp.
  • SSE = 0, R2=1: Mức độ phù hợp cao nhất, mô hình hồi quy hòan tòan phù hợp.

b. Chỉ số phù hợp điều chỉnh

Khi có thêm biến vào mô hình hồi quy bội, nếu biến vào không có ảnh hưởng, tổng bình phương biến ra SSY không đổi trong khi đó tổng bình phương hồi quy SSR gia tăng, dẫn đến chỉ số phù hợp R2 gia tăng. Để tránh sự bất hợp lý này, chỉ số phù hợp đựơc điều chỉnh lại thành:

Chỉ số phù hợp điều chỉnh Ra2 luôn nhỏ hơn chỉ số phù hợp R2. Sai lệch giữa các chỉ số phù hợp gia tăng khi có thêm biến vào không có ảnh hưởng. Mặt khác, khi cở mẫu tăng, sai lệch giữa các chỉ số phù hợp sẽ giảm.


 

4. Kiểm định mô hình

 

Kiểm định mô hình hồi quy bội là kiểm định độ dốc ứng với các biến vào nhằm kiểm định sự phù hợp của mô hình.  Kiểm định mô hình hồi quy bội bao gồm:

  • Kiểm định tòan bộ các độ dốc.
  • Kiểm định theo từng độ dốc.

 

a. Kiểm định tòan bộ các độ dốc

 

Các giả thuyết kiểm định tòan bộ các độ dốc:

            H0: bi=0, "i=1¸n

            H1: $i=1¸n: bi¹0

 

Kiểm định theo phân bố Fisher là phương pháp  kiểm định phân tích phương sai ANOVA dựa vào các tổng bình phương sau:

  • Tổng bình phương biễu thị biến thiên do hồi quy SSR với số bậc tự do dofR = m
  • Tổng bình phương biễu thị biến thiên do sai số SSE với số bậc tự do dofE = n-m-1

Các trung bình bình phươgn:

MSR = SSR/ dofR = SSR/m

MSE = SSE/ dofE = SSE / (n-m-1)

Hàm thống kê kiểm định:

            F0 = MSR / MSE

Hàm thống kê có phân bố Fisher với các số bậc tự do như sau:

F0 ~ Fm,n-m-1

Với aÎ[0,1], vùng bác bỏ giả thuyết:

            R = [F0 < F1-a/2, m, n-m-1 ; F0 > Fa/2, m, n-m-1 ]

            R = [F0 < 1/Fa/2, n-m-1, m ; F0 > Fa/2, m, n-m-1 ]

Bảng ANOVA như sau:

SOV

SS

DOF

MS

F0

P

Hồi quy

SSR

m

MSR

MSR / MSE

 

Sai số

SSE

n-m-1

MSE

 

 

Tổng

SSY

n-1

 

 

 

 

Với số liệu thu thập ta tính được trị thống kê của các tổng bình phươgn, trung bình bình phương từ đó tính đựơc F0, tra ra giá trị p, từ một giá trị a đã chọn, ta ra quyết định chấp nhận hay bác bỏ H0.

 

b. Kiểm định theo từng độ dốc

 

Các giả thuyết kiểm định theo từng độ dốc bao gồm n cặp giả thuyết. Với i=1¸n :

            H0: bi=0

            H1: bi¹0

Các hàm thống kê kiểm định tươgn ứng:

Trong đó:

Hàm thống kê T0 có phân bố Student với n-m-1 bậc tự do.

Nếu H0 đúng:

         

Với aÎ[0,1]:

            P{ , } = a

Vùng bác bỏ giả thuyết H0:

            R = [ , ]

 

 

TLTK:

Nguyễn Như Phong. Thống kê trong CN. NXBĐHQG. 2013. ISBN: 978-604-73-1998-5.

 

 

 
  • thiet ke noi that chung cu

  • thiet ke noi that chung cu

  • thiet ke noi that chung cu

  • thiet ke noi that chung cu

ABOUT US

ADMIN


GOOD BROWSERS

 
   

STATISTIC

mod_vvisit_countermod_vvisit_countermod_vvisit_countermod_vvisit_countermod_vvisit_countermod_vvisit_countermod_vvisit_counter
mod_vvisit_counterH�m nay22
mod_vvisit_counterH�m qua132
mod_vvisit_counterTu?n n�y432
mod_vvisit_counterTh�ng n�y634
mod_vvisit_counterT?t c?742253
Hiện có 12 khách Trực tuyến