본문 바로가기

dev_AI_framework

epilogue - epilogue.h

이 헤더가 정의하는 계약

  • Op 스펙
    • 입력/출력 : x[M,N] - y[M,N] 둘 다 RowMajor 만 명시됨
    • 바이어스 : bias[N]
    • 레지듀얼 : resid[M,N] 선택
    • 활성화 : ActKind::{None, ReLU, GELU}
    • 드롭아웃 : dropout=true 일 때 확률 p_drop 사용
    • 스케일 : alpha, beta
  • 타입 시스템
    • run(plan, ts, xdt, ydt, bdt, stream) 에서 타입은 DType 으로 런타임 전달
  • 스트림
    • void *stream 은 사실상 cudaStream_t 로 캐스팅해 사용해야 함
  • 상태 반환
    • Status{ok, msg} : 실패 시 ok=false 와 원인 문자열