Home Page TOOLS Probability & Statistic HỒI QUY ĐƠN
HỒI QUY ĐƠN

HỒI QUY ĐƠN

Nguyễn Như Phong

Kỹ thuật Hệ thống Công nghiệp

Đại học Bách Khoa, ĐHQG TPHCM

 

 

 

Mô hình hồi quy đơn còn gọi là hồi quy đơn biến, chỉ có 1 biến vào, biến ra Y là hàm của biến vào X :

Y = f(X)

Giả sử quan hệ giữa biến ra và các biến vào là tuyến tính, biến ra được biễu diễn theo biến vào như sau:

                   Y =  a + bX

trong đó:

  • a là hệ số cắt biễu thị điểm cắt trục Y của đường hồi quy.
  • b là hệ số dốc biễu thị độ dốc đường hồi quy.

Các hệ số hồi quy được ước lượng từ tập số liệu.

(Xi, Yi), i=1,...,n.

1. Ước lượng biến ra

Biến ra được ước lượng theo biến vào như sau:

                   Y’ =  A + BX

trong đó:

  • Y’ là biến ra ước lượng
  • A là hàm ước lượng hệ số cắt a từ mẫu.
  • B là hàm ước lượng hệ số dốc b từ mẫu.

a. Sai số

Thực tế có sai số giữa biến ra thực tế và biến ra ước lượng, biến ra thực tế:

                   Y =  Y’ + E

trong đó Y là biến ra thực tế và E là sai số. Ngược lại, sai số được xác định là độ lệch giữa biến ra thực tế và biến ra ước lượng:

          E = Y – Y’

Mô hình hồi quy thường có giả sử sai số E có phân bố chuẩn với phươgn sai không đổi, s2:

                   E ~ N(0, s2)

Biến thiên sai số của mô hình hồi quy thường được đánh giá bởi tổng bình phương sai số. Với tập số liệu sẵn có:

            (Xi, Yi), i=1¸n

Tổng bình phương sai số được xác định như sau:

                  

Tổng bình phương sai số thường được tính tóan bởi mô hình sau:

Tổng bình phươgn sai số có số bậc tự do là n-2, trung bình bình phương sai số đựơc xác định như sau:

MSE = SSE / (n-2)

Phươgn sai sai số đựơc ước lượng bởi trugn bình bình phương sai số. Độ lệch chuẩn của sai số E được ước lượng bởi sai số chuẩn SE:

 

b. Cực tiểu tổng bình phương sai số

Phương pháp cực tiểu tổng bình phương sai số nhằm ước lượng các hệ số hồi quy từ một tập số liệu sẵn có. Tổng bình phương sai số:

                  

Các hệ số hồi quy nhằm cực tiểu tổng bình phương sai số được xác định từ hệ 2 phương trình sau:

                                                                            

Từ 2 phương trình trên, ta xác định được A và B.

B = SSXY / SSX

Trong đó SSXY là tổng bình phương sai lệch biễu thị biến thiên các biến vào và ra, được xác định như sau:

 

Và SSX là tổng bình phương sai lệch biễu thị biến thiên của biến vào, được xác định như sau:

Và:

c. Khỏang tin cậy biến ra

 

Giá trị biến ra được ước lượng bởi biến vào theo phương trình hồi quy như trên. Với các tập số liệu thu thập khác nhau, phương trình hồi quy sẽ thay đổi khác nhau, giá trị biến ra sẽ khác nhau. Để ước lượng khỏang tin cậy của biến ra ta thừơng sử dụng phân bố Student với khỏang tin cậy như sau:

            I = []

Trong đó Y’ là giá trị ước lượng của biến ra theo giá trị biến vào X theo phương trình hồi quy đã xác định.

 

 

2. Phân tích sai số

Mô hình hồi quy tuyến tính dựa trên các giả sử:

  • Quan hệ vào ra tuyến tính.
  • Biến thiên sai số không đổi.
  • Sai số đôc lập, đồng dạng phân bố chuẩn.

Phân tích sai số nhằm đánh giá các giả sử của mô hình hồi quy dựa vào sai số.

            E = Y – Y’= Y – (A + BX)

Các công cụ phân tích sai số bao gồm:

  • Biễu đồ sai số.
  • Tần đồ sai số
  • Chuẩn đồ sai số
  • Kiểm đồ sai số.

Biễu đồ sai số bao gồm:

  • Biễu đồ sai số theo biến vào là đồ thị biễu diễn quan hệ giữa sai số và biến vào của mô hình.
  • Biễu đồ sai số theo biến ra là đồ thị biễu diễn quan hệ giữa sai số và biến ra của mô hình.

Với quan hệ vào ra tuyến tính, sai số thường phân bổ đều quanh giá trị 0. Giả sử biến thiên không đổi, có thể được kiểm tra trực quan từ các khỏang biến thiên của sai số theo miền giá trị của biến vào. Giả sử phân bố chuẩn thường được kiểm tra trực quan bởi tần đồ sai số hay chuẩn đồ sai số.

Kiểm đồ sai số biễu diễn sai số theo chỉ số mẫu thu thập theo thời gian. Trên kiểm đồ có đường tâm và các giới hạn kiểm sóat. Đường tâm CL là kỳ vọng của sai số, có trị bằng 0. Các giới hạn kiểm sóat bao gồm:

  • Giới hạn trên, UCL, thường chọn là đường cách đường tâm 3s, về phía trên.
  • Giới hạn trên, UCL, thường chọn là đường cách đường tâm 3s, về phía dưới.

Kiểm đồ sai số cho thấy mẫu hình biến thiên của sai số, các điểm phải là ngẫu nhiên. Mặt khác, kiểm đồ sai số còn giúp kiểm sóat sai số, các sai số phải nằm trogn giới hạn, sai số nằm ngòai giới hạn là biễu hiện hệ thốgn ngòai kiểm sóat. Kiểm đồ sẽ đựơc trình bày ở phần sau.

 

Mặt khác từ các giá trị sai số có thể vẽ các biễu đồ phân tích sai số để kiểm tra các giả sử của mô hình như đã phân tích trên.

 

 

3. Chỉ số phù hợp

 

a. Chỉ số  phù hợp

Biến thiên biến ra được biễu diễn bởi tổng bình phương sai lệch biến ra SSY:

Biến thiên biến ra bao gồm biến thiên do biến thiên do sai số SSE và biến thiên do biến vào, thường được gọi là biến thiên hồi quy, SSR

          SSY = SSE + SSR

Nhằm đánh giá sự phù hợp của mô hình hồi quy với một tập số liệu, ta có thể dùng chỉ số phù hợp R2 định bởi:

Hay là :

Chỉ số phù hợp R2 biến thiên từ 0 đến 1:

  • SSR = 0, R2=0: Mức độ phù hợp thấp nhất, mô hình hồi quy không phù hợp.
  • SSE = 0, R2=1: Mức độ phù hợp cao nhất, mô hình hồi quy hòan tòan phù hợp.

b. Chỉ số tương quan


Chỉ số tương quan đánh giá quan hệ giữa các biến . Quan hệ giữa các biến vào X và biến ra Y được đánh giá qua chỉ số tương quan sau:

Trong đó các tổng bình phương sai lệch được xác định như sau:

Chỉ số tương quan có giá trị r biến thiên từ -1 đến +1:

-1£ r £ +1

Độ lớn chỉ số tương quan biễu thị mức độ tươgn quan giữa các biến.

  • çrç= 1: Tương quan mạnh
  • r=0: Khôgn tươgn quan

Dấu của chỉ  số tương quan biễu thị chiều tương quan giữa các biến:

  • r<0: Tương quan âm
  • r>0: Tươg quan dương

Biễu đồ phân tán có thể giúp đánh giá có hay không tương quan, tương quan âm hay dương, mạnh hay yếu.

Chỉ số phù hợp có thể xác định từ chỉ số tương quan như sau:

            R2 = (R)2

 

 

4. Kiểm định mô hình

 

Kiểm định mô hình hồi quy đơn biến là kiểm định độ dốc mô hình với các giả thuyết kiểm định như sau:

            H0: b=0

            H1: b¹0

Kiểm định độ dốc mô hình cũng là 1 cách để kiểm định sự phù hợp của mô hình. Khi bác bỏ H0, độ dốc mô hình khác 0, mô hình là phù hợp. Ngược lại, khi chấp nhận H0, độ dốc mô hình bằng  0, mô hình không phù hợp.

 

Các phương pháp kiểm định bao gồm:

  • Kiểm định theo phân bố Student.
  • Kiểm định theo phân bố Fisher.

 

a. Kiểm định theo phân bố Student

 

Hàm thống kê kiểm định:

Hàm thống kê T0 có phân bố Student với n-2 bậc tự do.

Nếu H0 đúng:

         

Với aÎ[0,1]:

            P{<-ta/2,n-2 ,  > ta/2,n-2 } = a

Vùng bác bỏ giả thuyết H0:

            R = [<-ta/2,n-2 ,  > ta/2,n-2]

 

b. Kiểm định theo phân bố Fisher

 

Kiểm định theo phân bố Fisher là phương pháp  kiểm định phân tích phương sai ANOVA dựa vào các tổng bình phương sau:

  • Tổng bình phương biễu thị biến thiên do hồi quy SSR với số bậc tự do dofR = 1
  • Tổng bình phương biễu thị biến thiên do sai số SSE với số bậc tự do dofE = n-2

Các trung bình bình phươgn:

MSR = SSR/ dofR = SSR

MSE = SSE/ dofE = SSE / (n-2)

Hàm thống kê kiểm định:

            F0 = MSR / MSE

Hàm thống kê có phân bố Fisher với các số bậc tự do như sau:

F0 ~ F1,n-2

Với aÎ[0,1], vùng bác bỏ giả thuyết:

            R = [F0 < F1-a/2, 1, n-2 ; F0 > Fa/2, 1, n-2 ]

            R = [F0 < 1/Fa/2, n-2, 1 ; F0 > Fa/2, 1, n-2 ]

 

Bảng ANOVA kiểm định như sau:

SOV

SS

DOF

MS

F0

P

Hồi quy

SSR

1

MSR

MSR / MSE

 

Sai số

SSE

n-2

MSE

 

 

Tổng

SSY

n-1

 

 

 

 

Với số liệu thu thập ta tính được trị thống kê của các tổng bình phươgn, trung bình bình phương từ đó tính đựơc F0, tra ra giá trị p, từ một giá trị a đã chọn, ta ra quyết định chấp nhận hay bác bỏ H0.

 

 

TLTK:

Nguyễn Như Phong. Thống kê trong CN. NXBĐHQG. 2013. ISBN: 978-604-73-1998-5.

 

 

 
  • thiet ke noi that chung cu

  • thiet ke noi that chung cu

  • thiet ke noi that chung cu

  • thiet ke noi that chung cu

ABOUT US

ADMIN


GOOD BROWSERS

 
   

STATISTIC

mod_vvisit_countermod_vvisit_countermod_vvisit_countermod_vvisit_countermod_vvisit_countermod_vvisit_countermod_vvisit_counter
mod_vvisit_counterH�m nay39
mod_vvisit_counterH�m qua132
mod_vvisit_counterTu?n n�y449
mod_vvisit_counterTh�ng n�y651
mod_vvisit_counterT?t c?742269
Hiện có 16 khách Trực tuyến