실무AI 기초 및 활용 3회 — 대화가 길어지면 왜 메모리가 늘까? — 토큰과 KV 캐시
일반적인 자기회귀 Transformer의 토큰 처리와 KV 캐시를 다룹니다. 모든 모델이 같은 캐시 구조를 사용하는 것은 아닙니다. 모델별 설명을 확인하면서 가중치, 실행 중 상태, 외부 대화 저장소를 구분하는 것이 목표입니다.
일반적인 자기회귀 Transformer의 토큰 처리와 KV 캐시를 다룹니다. 모든 모델이 같은 캐시 구조를 사용하는 것은 아닙니다. 모델별 설명을 확인하면서 가중치, 실행 중 상태, 외부 대화 저장소를 구분하는 것이 목표입니다.
양자화의 원리를 대략 설명하고, 로컬 실행에서 메모리와 품질을 함께 비교하는 기준을 만듭니다. 특정 파일 형식을 무조건 추천하지 않습니다. 모델 구조, 실행 프로그램, 하드웨어가 맞는지를 먼저 확인합니다.
Google Public Sector가 정부 기관용 Gemini를 공개 미리보기로 발표했습니다. 기능 소개와 초기 사용 주장, 공공기관의 보안·감사 책임을 나눠 봅니다.
Goldman Sachs의 전력 수요와 연결 대기 전망을 읽고 미국 전력망 자료와 구분합니다. 2.6TW 대기 물량은 건설 확정량이 아닙니다.
미국 DHS의 연방 민간기관 조달·IT 제거 명령과 중국 외교부의 반발을 원문 기준으로 나눠 살핍니다. 소비자 전체 금지와 실제 정보 유출은 확인된 내용이 아닙니다.
영국 FCA가 금융 AI의 좋은·나쁜 실무 사례를 공개했습니다. 새 의무를 만들지 않는 자료의 범위와 소비자 결과, 책임, 회복력 점검 항목을 구분합니다.
Microsoft가 Project Perception의 Guardian Agents와 동적 권한·위험 평가를 공개했습니다. 기업 에이전트 보안에서 모델 밖의 통제가 맡을 일을 살펴봅니다.
Modal은 NVIDIA Vera CPU의 초기 시험에서 샌드박스 처리량이 두 배였다고 밝혔습니다. 시험 범위와 x86 혼합 운영 계획을 함께 살펴봅니다.
Microsoft가 영국 Nscale Loughton 부지 계약을 철회했다는 보도를 살펴봅니다. 약 2만3천 GPU 계획과 전력망 연결 지연을 구분하고, 확인된 사실과 남은 질문을 정리합니다.
Anthropic이 새 공익기금에 지분 5%를 배정하는 안을 발표했습니다. 주주 승인, 추가 배정 조건, 아직 공개되지 않은 거버넌스와 수혜자 지원 기준을 구분해 살펴봅니다.
Replit CEO가 OpenAI를 Agent의 우선 파트너로 확인했습니다. 비용·성능을 이유로 들었지만 Anthropic 모델도 계속 선택할 수 있습니다.
Anthropic의 자체 고용 데이터에서 에이전트 업무시간 증가와 주니어 기술직 채용 비중 하락이 함께 관찰됐습니다. 한 회사의 변화가 전체 노동시장을 대표하지는 않습니다.