Dense / GEMM 역전파 (bias grad) 스케일

문제 원인 : 네이티브 Dense bwd 경로에서 bias grad ( db ) 가 평균, 또는 perM 축으로 누적되는 경우 발생,

gBias 버퍼를 (1, N) 으로 강제 생성, PerN 축으로 고정nse bwd 경로에서 bias grad ( db ) 가 평균, 또는 perM 축으로 누적되는 경우 발생,

gBias 버퍼를 (1, N) 으로 강제 생성, PerN 축으로 고정, gBias 가 PerM 길이로 들어오면 에러

Trainer 구현 필요 - (현재 forward, backword 의 파편 호출과 파이썬에서 opimizer 갱신하고 있음 이를 개선) (0)	2025.10.04
losses/softmax_ce 와 layers/softmax_ce 의 단일 백엔드 연산으로의 통일, 그 와중에 생기는 고민, 일반적인 framework 는 왜 model(layer) 과 comfile (loss_function) 을 분리하는가? 아니면 사용자 입장에서만 그렇게 분리되어서 구성된 것 처럼 보이고, 연산의 경우는 내부에 통합되어서 사용되는건지? -> 사용자는 다양한 비용 함수의 비교 결과를 확인하기 위해 그렇다라는 생각이 듦... 실 (0)	2025.10.04
Python 코드 구조·작성 가이드 (ops / layers) (0)	2025.10.02
Low-level GEMM 직통 경로 사용 가이드 (ai::Tensor 기반) (0)	2025.10.01
GPU 연산 최적화 - 내가 잘못생각하고 있었음, gpu-cpu 간 이동이 발생하는 경우에 대해 사실은 모두 gpu 내에서 실행 (0)	2025.09.30

뜻 지, 가르칠 훈