본문 바로가기

dev_AI_framework

losses/softmax_ce 와 layers/softmax_ce 의 단일 백엔드 연산으로의 통일, 그 와중에 생기는 고민, 일반적인 framework 는 왜 model(layer) 과 comfile (loss_function) 을 분리하는가? 아니면 사용자 입장에서만 그렇게 분리되어서 구성된 것 처럼 보이고, 연산의 경우는 내부에 통합되어서 사용되는건지? -> 사용자는 다양한 비용 함수의 비교 결과를 확인하기 위해 그렇다라는 생각이 듦... 실

너의 현재 상태:

  • layers/softmax_ce는 CUDA 독립 모듈(ops.cross_entropy) 호출 → GPU, 안정성/성능 OK
  • losses/softmax_ce는 NumPy 경로 → CPU 계산, 수치 안정/성능/스케일 규약이 레이어판과 엇갈릴 위험

 

단일 백엔드로 통일 필요

 

처음엔 layer 를 비용 함수까지 확장해서 구성하는 방안을 고민했음...