비선형 연산의 행렬 내 선형 연산의 조합으로 구현

연산의 순차적 적응과 그에 따른 행렬 값의 동적 업데이트를 통해 비선형 연산까지도 포함하는 연산 흐름을 고정된 연산 집합 내에서 구현할 수 있게 하자!!

비선형 연산을 외부 분기 없이 선형 연산 내부로 끌어들이는 접근

 

✅ 핵심 아이디어 요약

일반적인 연산은 고정된 행렬, W 에 의한 계산이지만, 연산을 특정 단계로 수행하고, 그 결과로 행렬 자체를 업데이트함으로써 전체 연산 흐름에 비선형성이 생기게 하려는 것

 

🔍 왜 비선형적 표현이 가능한가?

update 함수가 입력 값, 이전 출력, 또는 상태에 따라 동작하기 때문에 전체 함수는W 고정의 경우보다 훨씬 풍부한 (비선형적인) 함수 표현이 가능하다. 

즉, 선형 연산을 조합하는데도 불구하고,  그 조합 규칙 자체가 동적이기 때문에 결과적으로 비선형 함수의 표현력이 생김

 

✅ 결론

정적 행렬이 아닌, 연산이 진행될 때마다 행렬을 업데이트하는 방식은 비선형 연ㅅ나에 상응하는 계산 흐름을 만들 수 있다.