자연어 처리를 위한 트랜스포머 (1) 썸네일형 리스트형 1.1 트랜스포머의 매경 Google Research 에서 발명한 트랜스포머의 모델은 기존의 NLP 연구, 개발 및 구현을 넘어섰다. 지난동안 연구자들은 시퀀스 변환 sequence transduction 및 언어 모델링 작업을 해왔다. 기계는 가능한 단어 시퀀스를 예측하는 방법을 점진적으로 배웠다. 20세기 초, Andrey Markov 는 랜덤 값의 개념을 동비하고, 확률 처리 stochastic processing 이론을 세웠다. 이것이 인공 지능의 Markov Decision Processes, Markov Chains 및 Markov precesses 이다. 1902 년에 마르코프는 시퀀스의 마지막 과거 요소 만을 사용하여 시퀀스의 다음 요소를 예측할 수 있음을 보여주었다. 1913 년에 그는 시퀀스의 다음 문자를 예측.. 이전 1 다음