dev/optimizers/__init__.py
from dev.optimizers import SGD
ALL_OPTIMIZERS = {
SGD,
}
ALL_OPTIMIZERS_DICT = {cls.__name__.lower(): cls for cls in ALL_OPTIMIZERS}
def get(identifier):
if isinstance(identifier, str):
obj = ALL_OPTIMIZERS_DICT.get(identifier, None)
return obj
dev/optimizers/sgd.py
class SGD():
def __init__(
self,
learning_rate = 0.01,
momentum = 0.0,
name = "SGD"
):
self.momentum = momentum
# optimizer 변수 초기화
def build(self, variables):
pass
# 주어진 그래디언트와 모델 변수에 대해 업데이트 수행
def update_step(self, gradient, variable, learning_rate):
pass
def get_config(self):
pass
해당 인스턴스가 저장이 되도록
'dev_AI_framework' 카테고리의 다른 글
data_adapter_util - trainer 개발하면서... (0) | 2024.08.28 |
---|---|
L2 regulrization 완전 정복!! (0) | 2024.08.28 |
layer-flatten, 검증의 추가 필요 (1) | 2024.08.27 |
regularization 의 구현, 별도의 regularizer 의 layer 가 아닌, regularizer 클래스의 구현, Layer 클래스에서의 사용 (0) | 2024.08.27 |
activation 의 구현, (0) | 2024.08.27 |