기저 함수 basis function

기저 함수는 입력 벡터 x 를 특정한 함수 공간으로 mapping 하는 함수 

예를 들어 선형 회귀에서의 입력 x 가 직접 사용되는 경우가 아닌 더 복잡한 패턴을 모델링하려면 입력을 변형시킨 비선형 함수들이 필요하다. 

이때 사용하는 것이 기저 함수 

 

고정된 기저 함수 fixed basis functions 란?

기저 함수의 형태와 수를 사전에 정해놓고 학습 동안 변경하지 않느 ㄴ것,

모델이 학습하는 것은 기저 함수의 가중치만, 

🔹 고정된 기저 함수 모델의 한계

1. 표현력 제한
   고정된 기저 함수가 주어진 데이터의 복잡한 구조를 충분히 잘 표현하지 못할 수 있습니다. 예를 들어, 너무 단순한 다항 함수로는 복잡한 경계나 분포를 표현하기 어렵습니다.
2. 모델 선택이 어려움
   기저 함수를 어떻게 설계할지는 사람이 결정해야 합니다. 적절한 기저 함수를 선택하지 못하면 모델이 데이터를 잘 설명하지 못합니다.
3. 과적합 문제
   반대로 너무 많은 수의 고정된 기저 함수를 사용하면, 모델이 훈련 데이터에 과하게 적합(overfit)될 수 있습니다. 특히 다항식의 차수가 높을수록 민감하게 반응합니다.
4. 확장성 부족
   입력 차원이 증가하면 필요한 기저 함수 수도 기하급수적으로 증가해 모델이 복잡해지고 계산량이 커집니다. 고차원 데이터에는 잘 확장되지 않습니다.

 

학습 가능한 기저 함수의 대표적인 예 : neural networks

기저 함수는 은닉층의 활성화 함숟르을 통해 입력 공간을 동적으로 변형, 이 함수들은 학습에 의해 조정되는 가중치에 따라 변화하므로 고정되어 있지 않음