실무AI 기초 및 활용 3회 — 대화가 길어지면 왜 메모리가 늘까? — 토큰과 KV 캐시
일반적인 자기회귀 Transformer의 토큰 처리와 KV 캐시를 다룹니다. 모든 모델이 같은 캐시 구조를 사용하는 것은 아닙니다. 모델별 설명을 확인하면서 가중치, 실행 중 상태, 외부 대화 저장소를 구분하는 것이 목표입니다.
일반적인 자기회귀 Transformer의 토큰 처리와 KV 캐시를 다룹니다. 모든 모델이 같은 캐시 구조를 사용하는 것은 아닙니다. 모델별 설명을 확인하면서 가중치, 실행 중 상태, 외부 대화 저장소를 구분하는 것이 목표입니다.