최소자승법 (Least Square Problem) 완벽 가이드
오늘은 선형대수학의 최소자승법(Least Square Problem) 개념에 대해 알아보려 한다. 최소자승법은 주어진 데이터에 가장 잘 맞는 함수를 찾는 방법으로, 통계학, 기계 학습, 공학 등 다양한 분야에서 활용된다. 특히, 선형 회귀(Linear Regression) 분석에서 핵심적인 역할을 한다.
1. 최소자승법이란?
최소자승법은 데이터 포인트와 예측 모델 사이의 오차(error)를 최소화하는 모델을 찾는 방법이다. 주어진 데이터를 가장 잘 설명하는 직선 또는 곡선을 찾는다고 생각하면 된다. 이때, 오차는 각 데이터 포인트와 모델 사이의 수직 거리의 제곱 합으로 정의된다. 최소자승법은 이 오차 제곱 합을 최소화하는 모델을 찾는 것이 목표다.
최소자승 문제의 정의
를 행렬, 를 차원 벡터라고 할 때, 다음과 같은 선형 시스템을 생각해보자.
Ax = b
만약 가 의 열공간(column space)에 속하지 않는다면, 이 시스템은 해를 갖지 않는다. 이 경우, 우리는 와 사이의 거리를 최소화하는 벡터 X̂를 찾고자 한다. 이것이 최소자승 문제(least square problem)다.
2. 최소자승 문제의 해법
2.1. 기본 해법
최소자승 문제의 해 X̂는 다음과 같은 정규 방정식(normal equation)을 만족한다.
A^TAX̂ = A^Tb
만약 가 역행렬을 갖는다면, 는 다음과 같이 구할 수 있다.
X̂ = (A^TA)^{-1}A^Tb
 |
| linear square problem 예제 |
2.2. QR 분해를 이용한 해법
QR 분해(QR Decomposition)를 이용하면 최소자승 문제를 더욱 효율적으로 해결할 수 있다. 행렬 를 QR 분해하면 다음과 같다.
A = QR
여기서 는 직교 행렬이고, 은 상삼각 행렬이다. 이를 정규 방정식에 대입하면 다음과 같다.
QRX̂ = b
(단위 행렬)이므로, 다음과 같이 간단하게 표현할 수 있다.
RX̂ = Q^Tb
은 상삼각 행렬이므로, 후방 대입(back substitution)을 통해 X̂를 쉽게 구할 수 있다.
3. 최소자승 오차 (Least Square Error)
최소자승 문제의 해 X̂는 와 사이의 거리를 최소화하는 벡터이다. 이때, 와 사이의 거리를 최소자승 오차(least square error)라고 하며, 다음과 같이 정의된다.
||b - AX̂|| |
| linear square error 예제 |
4. 선형 회귀 (Linear Regression)
최소자승법은 선형 회귀(linear regression) 분석에서 핵심적이다. 선형 회귀는 독립 변수 와 종속 변수 사이의 선형 관계를 모델링하는 방법이다. 즉, 데이터를 가장 잘 설명하는 직선을 찾는 것이다.
선형 회귀 모델은 다음과 같이 표현된다.
y = β0 + β1*x + ϵ
여기서 는 y 절편, 은 기울기, 은 오차를 나타낸다. 최소자승법을 이용하여 와 을 추정하면, 데이터를 가장 잘 설명하는 직선을 찾을 수 있다.
 |
| linear regression 예제 |
마무리하며
이번 포스팅에서는 최소자승법의 개념, 해법, 그리고 선형 회귀 분석에서의 활용에 대해 알아보았다. 최소자승법은 데이터 분석에서 매우 중요한 개념이므로, 이번 포스팅에서 다룬 내용들을 잘 이해하고 기억하는 것이 중요하다.
추천글 :
[선형대수학] Inner product space
(https://hyeonb.blogspot.com/2024/05/asdf.html)
(https://hyeonb.blogspot.com/2024/05/qr.html)
