MODDE®에서 MLR 과 PLS에 대하여

안녕하세요,

이번에는 Linear Regression Analysis (선형 회귀 분석) 중 MLR(Multi Linear Regression) 다중 선형 회귀 분석법과 PLS(Partial Least Square Regression) 부분 최소 자승 회귀 분석법에 대해 알아보겠습니다.

Linear Regression Analysis는 독립 변수가 종속 변수에 어떤 영향력을 행사하는지 선형적으로 분석하는 방법입니다.

독립 변수는 영향을 주는 변수이고, 종속 변수는 영향을 받는 변수죠.

Y=β0​+β1​X1​+β2​X2​+…+βk​Xk​+ϵ

위 식은 종속 변수인 Y에 독립 변수인 X가 주는 영향력을 보여줍니다.

β1​X1\,β2​X2​,,,βk​Xk​: term

위와 같이 각각의 항은 Term이라고 불리며, 각각은 독립 변수의 영향을 설명합니다.

그렇다면 이제 MLR과 PLS의 차이점을 하나씩 살펴볼까요?

이 두개의 분석법은 크게 세가지로 차이점을 설명할 수 있습니다.

첫째, 모델 구축 방식이 서로 다릅니다.

MLR은 각 Term이 서로 독립적이라는 가정 하에 독립 변수들 간의 상관 관계를 고려하여 모델을 구축합니다. 이는 다중 공선성(Multicollinearity)을 방지하고 모델을 안정적으로 만들기 위함입니다.

다중 공선성은 무엇일까요?

다중 공선성이란 독립 변수들 간의 상관 관계를 나타냅니다. 다중 공선성이 높다면, 독립 변수들이 서로 강한 상관 관계가 있다는 뜻이고, 다중 공선성이 낮다면, 독립 변수들의 상관 관계가 상대적으로 낮다는 뜻이겠지요.

반면, PLS는 독립 변수들 간의 상관 관계를 고려하지만, 다중 공선성에 민감하지 않은 경우에 용이한 모델 구축 방법입니다. PLS는 독립 변수들 간의 선형 결합을 찾아내, 이를 사용하여 종속 변수를 예측하는 데에 중점을 둡니다. PLS에서는 Term이 주성분(Latent variables)을 나타내며, 이는 독립 변수들 간의 상관 관계를 고려하여 생성됩니다. 따라서 PLS에서는 MLR에서처럼 개별 Term들이 독립적이라는 가정이 강조되지 않을 수 있습니다. 

두번째로 앞서 말한 다중 공선성 처리가 다릅니다.

MLR은 다중 공선성이 높은 경우, 모델의 계수 추정이 불안정해지고 정확도가 감소할 수 있습니다.

PLS에서는 다중 공선성에 강건하게 작동합니다. 모델 구축 시 독립 변수들 간의 선형 결합을 찾아내는 과정에서 다중 공선성을 줄일 수 있습니다.

마지막으로는 모델에 대한 해석의 차이가 있습니다.

MLR은 각 독립 변수에 대한 계수를 통해 변수의 영향을 해석할 수 있습니다. 따라서 모델이 명시적이고 해석하기 쉽다는 장점이 있습니다.

PLS는 주로 예측에 중점을 둔 모델이므로, 변수의 중요도를 해석하는 데에는 어려움이 있을 수 있습니다. PLS는 변수간의 상관 관계를 설명 한다기 보다는 변수의 예측에 중점을 둔다고 할 수 있겠습니다.

즉, MLR는 변수간의 관계를 명확하게 이해하고자 할 때 사용하는 분석 방법이고, PLS는 주로 다중 공선성이 높거나 변수가 많고, 예측이 주 목적일 때 사용하는 분석 방법입니다.

따라서 Term들이 상호 독립적(다중 공선성이 낮을 때)이고 변수 간의 관계를 명확하게 이해하고자 할 때는 MLR, Term들이 독립적이진 않지만(다중 공선성이 높을 때) 예측이 주 목적일 때는 PLS를 사용하면 된다고 보면 될 것 같습니다. 

그럼 어떻게 분석법을 선택하는지 보여드리겠습니다.

Figure 1 : MODDE®Confoundings Tab

MODDE®에서는 DoE(실험계획법) 수립시, 위와 같이 자동으로 Confounding하는 기능이 있습니다.  이는 confounded interaction 목록을 보여줍니다. 여기에서 우리는 MLR로 적합한 모델을 만들 수 없습니다. 왜일까요?

이 디자인에서 confounded terms가 1:1로 correlated되어 있어 유의미한 계수를 얻을 때 어떤 confounded interaction term이 중요하지 확실치 않기 때문입니다.

이렇게 디자인에 따라 알맞는 회귀 분석법을 선택하시면 좀 더 정확한 DoE를 얻으실 수 있을 것이라 생각됩니다. 혹시나 글을 보시면서 지적해주실 부분이 있으면 언제든지 댓글로 남겨 주시기 바라며, 문의 사항 역시 남겨 주시면 답변 드릴 수 있도록 하겠습니다~

 References

https://s-space.snu.ac.kr/bitstream/10371/127051/1/000000009101.pdf

https://blog.naver.com/istech7/50152984368

https://knowing207.tistory.com/22