미니 프로젝트, 메모리 관리

LLM 을 이용한 chat bot 은 어떻게 기억하는 듯이 행동할 수 있을까?

이전의 질문과 답변에 대한 내용을 프롬프트에 포함시킴으로써 이전의 대화 내용들을 기억하는 듯이 행동하게 할 수 있었음, 

그런데 이러한 대화 내용들을 무한정 기억하게 한다면, 늘어난 프롬프트로 인해 API 토큰 비용이 많이 발생하게 됨, (연산이 많아지고 답변도 더 느려짐)

따라서 리스트 형태로 저장한 내용들을 오래된 순으로 자르거나 요약하는 방법을 사용했음,

 

하지만 사용자가 일관된, 비슷한 내용의 질문과 답변을 한다는 보장이 없음, 이를 처리하는 로직을 구현한다면 효과적인 프롬프트 메모리 관리를 할 수 있을 것,

 

비슷한 내용끼리 묶고 요약, 

 

사용자 입력이 주어지고 처리한 뒤에 답변을 받도록 구현한다. 

 

여러 개의 메모리 중 하나의 선택해서 거기에 저장, 새로운 질문이 들어오면 맞는 주제에 따라 프롬프트를 불러온다.