너의 현재 상태:
- layers/softmax_ce는 CUDA 독립 모듈(ops.cross_entropy) 호출 → GPU, 안정성/성능 OK
- losses/softmax_ce는 NumPy 경로 → CPU 계산, 수치 안정/성능/스케일 규약이 레이어판과 엇갈릴 위험
단일 백엔드로 통일 필요
처음엔 layer 를 비용 함수까지 확장해서 구성하는 방안을 고민했음...
'dev_AI_framework' 카테고리의 다른 글
| GEMM(+bias+act)에서 Z(pre-activation) 저장/활용 설계 (0) | 2025.10.06 |
|---|---|
| Trainer 구현 필요 - (현재 forward, backword 의 파편 호출과 파이썬에서 opimizer 갱신하고 있음 이를 개선) (0) | 2025.10.04 |
| Dense / GEMM 역전파 (bias grad) 스케일 - 축 불일치 수정 (0) | 2025.10.04 |
| Python 코드 구조·작성 가이드 (ops / layers) (0) | 2025.10.02 |
| Low-level GEMM 직통 경로 사용 가이드 (ai::Tensor 기반) (0) | 2025.10.01 |