특강 : 설명 가능한 AI ( 모델 경량화, 데이터, 생성 AI )

모델 경량화

- 빠른 학습, 빠른 추론

 

일반적인 목적은 빠른 추론을 위해 사용

 

엣지 컴퓨팅, 모바일 환경에 필요, 

 

모델 경량화 방법

경량 알고리즘 : 모델 자체를 가볍게 설계하려는 노력

모델 구조 변경, 합성곱 필터 변경, 자동 모델 탐색

ResNet - residue 잔차 원리 이용, skip connection 

DenseNet - skip connection output 을 여러 군데에 제공 

SqueezeNet - 33 -> 11 필터로 변경, 채널을 줄였다 늘리는 fire module 제안, 늦은 down sampling 으로 한 번에 필터 영역을 좁히며 이미지 정보 압축 효과

fully connected layer 대신 Global Average Pooling 의 사용

Inception 

공간에 대한 분석, 채널에 대한 분석의 분리 

Xception

 

MobileNet

 

모델을 만들지 않아도 학습된 결과가 정말 얼마나 좋아진건지 설득, 

성능을 올리기 위해 어떻게 했구나 알아가는 것이 필요

딥러닝 모델 개발 과정들이 가설 - 증명 의 논리, 단계

 

알고리즘 경량화 : 존재하는 모델을 가볍게 만드는 노력

모델 압축, 지식 증류,  하드웨어 가속화, 모델 압축 자동 탐색

 

이미 학습된 모델에서 중요도가 낮은 weight 의 제거,

dropout 은 학습 단계에서 과적합을 줄이기 위해 

단순히 중요도가 낮은 것이 아닌, 전체적인 분포를 고려해서 하는 방법의 사용, 그룹 자체, 혹은 개별 요소 

영향이 얼마나 큰 지 확인하는

 

상대적으로 더 작은 모델을 학습하는, 

전이 학습과 차이점은 같은 종류의 데이터를 사용하는,

 

AutoML 의 구현

왜 쓰냐?? 비전문가에 초점, day 스케쥴을 고려한 병렬 학습 고려, 스크립트를 짜는 것으로 생각, 자동화 구조, pipeline 의 구축

비전문가도 가능하도록 

 

두 방식의 차이, 

AutoML 의 한계를 알아보자~

Machine learing object 의 한계, 자유도도 다르고, 하이퍼 파라미터 튜닝도 한계가 존재,,,

 

알고리즘, 기법이 아닌, 툴, 라이브러리임 

 

layer 별 메모리 이동 과정을 축소시킨다. 메모리 - GPU 간 이동 최소화 

 

 

 

 

 

데이터

데이터는 왜 중요한가?

모델 학습에 필요, 일반화, 검증 및 테스트

 

데이터 부족

직접 data set 을 구축해보는, 

실무에선 data level 에서 문제가 발생함,

 

데이터 부족 극복 방법

그 의미가 맞는지 확인하는 것이 필요.

인식을 못하는 데이터를 사는,  REWARD

합성 데이터 생성,

다양한 Learning 기법을 배우는 것이 좋다.

 

생성형 AI

 

실제 코딩은 매우 적다.