회귀분석에서의 변수선택 방법

본 내용은 " 변수선택의 방법(회귀분석) " 의 원문 자료에서 일부 인용된 것입니다. 2023.12.18

문서 내 토픽

• 1. 회귀모형의 개수

  최대모형이 k개의 변수로 구성되어 있을 때 가능한 회귀모형의 수는 설명변수가 많아질수록 빠르게 증가한다. 이러한 기하급수적 증가로 인해 모든 가능한 모형을 검토하는 것이 비효율적이므로 최적모형을 선택하기 위한 체계적인 알고리즘이 필요하다.

• 2. 단계별회귀

  최소모형에서 시작하여 설명력이 가장 높은 변수부터 순차적으로 모형에 추가시켜 나가는 방법이다. 이 방법은 단계적으로 변수를 추가하면서 모형의 설명력을 점진적으로 향상시키는 특징이 있다.

• 3. 전진선택

  단계별 회귀와 동일한 원리로 진행되나, 현재모형에 포함된 설명변수는 제거하지 않는 특징이 있다. 변수를 추가하는 과정에서만 진행되며 한 번 추가된 변수는 모형에 유지된다.

• 4. 후진제거

  최대모형에서 시작하여 설명력이 가장 낮은 설명변수부터 순차적으로 모형에서 하나씩 제거하는 방법이다. 전체 변수로부터 시작하여 불필요한 변수를 단계적으로 제거하면서 최적모형을 찾아간다.

Easy AI와 토픽 톺아보기

• 1. 회귀모형의 개수

  회귀모형의 개수 결정은 통계 분석에서 매우 중요한 문제입니다. 적절한 모형의 개수를 선택하는 것은 과적합을 방지하면서도 충분한 설명력을 유지하는 균형을 맞추는 것입니다. 일반적으로 AIC, BIC 같은 정보 기준이나 교차 검증을 통해 최적의 모형 개수를 결정합니다. 너무 많은 변수를 포함하면 모형이 복잡해지고 일반화 성능이 떨어지며, 너무 적으면 중요한 정보를 놓칠 수 있습니다. 따라서 데이터의 특성과 분석 목적에 맞게 신중하게 선택해야 합니다.

• 2. 단계별회귀

  단계별 회귀는 변수 선택의 자동화된 방법으로, 계산 효율성이 높고 구현이 간단합니다. 그러나 이 방법은 여러 제한점을 가지고 있습니다. 단계별 회귀는 국소 최적해에 빠질 수 있으며, 변수 간의 상관관계가 높을 때 불안정한 결과를 제공할 수 있습니다. 또한 통계적 유의성만을 기준으로 하기 때문에 실제 의미 있는 변수를 놓칠 수 있습니다. 현대에는 정규화 방법이나 다른 기계학습 기법이 더 선호되는 경향이 있습니다.

• 3. 전진선택

  전진선택은 변수가 없는 상태에서 시작하여 가장 유의미한 변수부터 순차적으로 추가하는 방법입니다. 이 방법의 장점은 계산량이 적고 해석이 직관적이라는 점입니다. 그러나 한 번 추가된 변수는 제거되지 않기 때문에 변수 간의 상호작용을 제대로 반영하지 못할 수 있습니다. 또한 초기 단계에서 선택된 변수가 최적이 아닐 경우, 이후 모든 모형에 영향을 미칩니다. 따라서 전진선택은 탐색적 분석에는 유용하지만, 최종 모형 선택에는 신중한 검토가 필요합니다.

• 4. 후진제거

  후진제거는 모든 변수를 포함한 완전한 모형에서 시작하여 가장 유의미하지 않은 변수부터 순차적으로 제거하는 방법입니다. 이 방법은 전진선택보다 변수 간의 상호작용을 더 잘 포착할 수 있다는 장점이 있습니다. 그러나 초기 모형이 완전하기 때문에 많은 변수가 있을 때 계산량이 증가하고, 다중공선성 문제에 더 취약할 수 있습니다. 또한 제거된 변수는 다시 추가되지 않으므로 최적해를 보장하지 않습니다. 후진제거는 변수의 개수가 적당할 때 효과적인 방법입니다.