실무AI 기초 및 활용 1회 — AI에게 알려주면 정말 학습할까? — 학습과 추론

실무AI 기초 및 활용 · 1회
원리부터 에이전트까지, 직접 실험하는 12강

“알려줬더니 맞혔다”는 학습의 증거일까요?

ChatGPT에 처음 보는 정보를 알려주고 잠시 뒤 다시 물으면, 그 내용을 반영한 답을 받을 수 있어요. 이때 “AI가 방금 배웠다”고 느끼기 쉽죠. 하지만 답이 달라졌다는 사실만으로 모델 자체가 바뀌었다고 결론 내릴 수는 없어요. 이번 1강에서는 AI 학습과 추론을 가르는 기준을 살펴봐요.

이 글은 ‘실무자도 놓치기 쉬운 AI 기초’의 첫 편이에요. 부제는 ‘원리부터 에이전트까지, 직접 실험하는 12강’이에요. 매 편 하나의 질문을 원리와 작은 실험으로 풀어가요.

오늘 구분할 것은 AI 모델과 AI 서비스예요

모델은 입력을 받아 출력을 계산하는 핵심 구성 요소예요. 서비스는 그 모델에 대화 기록, 개인화 설정, 검색, 파일 처리 같은 기능을 붙여 사용자가 쓸 수 있게 만든 전체 시스템이고요. 화면에서 같은 AI처럼 보여도 어떤 기능이 답변에 영향을 주었는지 따로 살펴봐야 해요.

예를 들어 새 대화에서 취향을 다시 언급했다고 해도, 모델의 가중치에 그 취향이 새겨졌다는 뜻은 아니에요. 서비스가 저장한 정보를 입력에 보탰을 가능성도 있어요. 오늘의 질문은 ‘답이 바뀌었나?’에서 ‘무엇이 바뀌었나?’로 옮겨가요.

‘학습했다’에는 여러 뜻이 섞여 있어요

일상에서는 설명을 듣고 행동이 달라지면 배웠다고 말해요. AI에서는 적어도 모델 훈련, 문맥 내 적응, 서비스의 정보 저장, 운영사의 후속 모델 개선을 나눠 보는 게 좋아요. 같은 단어를 써도 변화가 일어나는 장소와 시점이 달라요.

이 글에서 ‘모델 학습’은 훈련으로 모델의 학습 가능한 매개변수가 조정되는 뜻으로 사용해요. ‘문맥 내 학습’이라는 연구 용어도 등장하지만, 여기서는 통상적인 가중치 갱신 없이 입력의 지시와 예시를 활용하는 경우를 설명해요. 용어보다 작동 방식을 확인하는 게 핵심이에요.

가중치: 모델이 계산에 사용하는 숫자예요

신경망은 많은 숫자를 이용해 입력을 변환해요. 그중 훈련으로 조정하는 숫자를 매개변수라고 부르고, 가중치는 대표적인 매개변수예요. 수많은 연결의 영향을 조절하는 숫자라고 생각하면 첫 이해에는 충분해요.

가중치를 ‘문장을 그대로 보관하는 서랍’처럼 생각하면 오해가 생겨요. 패턴이 숫자들에 분산되어 반영되기 때문이에요. 모델이 일부 훈련 정보를 재현하는 현상은 있을 수 있지만, 일반적으로 질문마다 원문 데이터베이스에서 정답을 꺼내는 방식으로 작동하는 것은 아니에요.

사전학습: 넓은 패턴을 형성하는 과정이에요

언어 모델의 사전학습은 많은 데이터를 바탕으로 언어와 정보의 패턴을 형성하는 단계예요. 대표적인 생성형 언어 모델에서는 앞선 토큰을 바탕으로 이어질 토큰을 예측하는 목표를 사용해요. 훈련 중 오차에 따라 매개변수를 조정하고, 이후 추론에서 그 결과를 사용하죠.

완성된 모델과 대화할 때마다 이 대규모 과정이 처음부터 다시 진행되는 것은 아니에요. 사전학습의 결과를 사용하는 일과 사전학습을 수행하는 일은 구분돼요. 토큰과 생성 과정은 3회에서 더 자세히 살펴볼 거예요.

추가 학습: 기존 모델을 실제로 조정해요

파인튜닝은 이미 학습된 모델을 특정 작업이나 영역의 데이터로 더 훈련하는 방식이에요. 예를 들어 일정한 형식의 응답을 잘 만들도록 학습 데이터를 구성할 수 있어요. 기본 모델의 매개변수를 바꾸거나, 별도로 학습하는 어댑터의 매개변수를 조정하는 방법도 있어요.

일반적인 훈련에는 데이터, 목표 함수, 매개변수 갱신 과정과 결과 평가가 필요해요. 채팅창에 설명을 한 번 붙인 것만으로 이런 훈련 작업을 수행했다고 볼 수는 없어요. 관련 원리는 Hugging Face 파인튜닝 문서와 PyTorch 매개변수 최적화 문서에서 확인할 수 있어요.

추론: 지금 주어진 입력으로 답을 계산해요

추론은 훈련된 모델로 입력에 대한 출력을 계산하는 과정이에요. 통상적인 언어 모델 추론에서는 답변을 생성하는 동안 모델 가중치를 훈련처럼 갱신하지 않아요. 대신 입력 내용에 따라 내부 계산과 출력이 달라져요.

같은 계산기라도 입력 숫자를 바꾸면 결과가 바뀌죠. 이 비유가 언어 모델의 복잡함을 모두 설명하지는 못하지만, ‘결과 변화가 곧 계산 방식의 영구 변경은 아니다’라는 구분에는 도움이 돼요. 토큰을 생성하는 사용 흐름은 Hugging Face 생성 문서를 참고할 수 있어요.

대화 컨텍스트: 이번 답변이 참고하는 범위예요

컨텍스트는 모델이 이번 계산에서 참고할 수 있는 입력 범위예요. 현재 질문뿐 아니라 이전 대화, 시스템 지시, 검색 결과나 파일 일부가 들어갈 수 있어요. 사용자가 화면에서 보는 내용과 실제 모델 입력이 언제나 완전히 같다고 가정하면 안 돼요.

앞에서 알려준 정보가 이 범위에 포함되면 뒤 질문에 활용할 수 있어요. 다만 서비스의 요약이나 컨텍스트 한도 때문에 오래된 내용이 빠지거나 형태가 바뀔 수 있어요. ‘기억해 주세요’라고 말한 것과 ‘앞으로 모든 요청에 반드시 그 정보가 포함된다’는 보장은 서로 달라요.

문맥 내 학습: 가중치를 바꾸지 않고 적응할 수 있어요

프롬프트에 지시와 예시를 넣어 새로운 과제에 적응하는 현상을 문맥 내 학습이라고 불러요. GPT-3 논문은 과제와 예시를 텍스트로 제공하면서 평가 시 경사 갱신이나 파인튜닝 없이 수행한 실험을 설명해요. ‘학습’이라는 이름이 붙어도 훈련과 기제가 같다는 뜻은 아니에요.

이름 때문에 ‘모델은 배운다’와 ‘모델은 안 배운다’ 중 하나만 고르려 하면 논점이 흐려져요. 입력의 예시를 활용해 행동이 달라질 수 있지만, 그때 가중치가 갱신됐다고 단정할 수는 없다고 이해하면 정확해요. GPT-3 원 논문이 이 구분의 대표적인 근거예요.

서비스의 기억: 다음 입력에 정보를 다시 보탤 수 있어요

서비스는 사용자 선호나 과거 대화의 관련 정보를 저장하고, 이후 답변을 만들 때 다시 활용할 수 있어요. 이것은 서비스 차원의 지속성이고, 그 자체로 모델 가중치가 바뀌었다는 증거는 아니에요. 개인화가 켜진 새 대화는 완전히 독립적인 대조 조건이 아닐 수 있어요.

ChatGPT의 기억과 개인화는 설정, 계정, 지역과 서비스 변화에 따라 이용 범위가 달라질 수 있어요. 현재 적용 방식은 공식 기억 안내에서 확인하는 게 좋아요. 실험에서는 설정을 기록하고, 이전 대화를 참조하는 기능을 대조 조건에서 분리해요.

검색과 RAG: 아는 내용을 늘리는 또 다른 길이에요

검색 증강 생성, 즉 RAG는 질문과 관련된 자료를 검색하고 그 내용을 바탕으로 답을 생성하는 접근이에요. 문서를 추가해 답이 좋아졌다면, 모델을 재훈련한 결과보다 검색된 자료가 입력에 들어온 결과일 수 있어요. ‘새 정보를 활용한다’는 효과가 여러 경로로 생기는 거예요.

RAG를 구성하거나 개선할 때는 검색기나 생성 모델을 따로 학습하는 경우도 있어요. 따라서 ‘RAG는 어떤 경우에도 학습하지 않는다’는 표현도 지나쳐요. 여기서는 운영 중 문서 추가와 요청 시 검색을 모델의 추가 훈련과 구분해요. 출발점은 RAG 원 논문에서 볼 수 있어요.

내 대화가 나중에 훈련에 쓰이는 문제는 별개예요

‘이번 답변 때 가중치가 바뀌는가?’와 ‘제공한 대화가 나중에 모델 개선에 쓰일 수 있는가?’는 다른 질문이에요. 앞 질문은 요청 처리의 작동 방식이고, 뒤 질문은 서비스의 데이터 이용 정책이에요. 하나의 답으로 두 문제를 동시에 해결할 수는 없어요.

OpenAI는 개인용 서비스에서 콘텐츠를 모델 개선에 사용할 수 있으며 이용자가 관련 설정을 조절할 수 있다고 안내해요. API 데이터는 명시적인 동의 없이 훈련에 사용하지 않는다고 별도로 설명하고요. 이 정책을 ‘내 대화가 즉시 전 세계 모델을 바꾼다’는 뜻으로 확대하면 안 돼요. 콘텐츠 이용 정책과 API 데이터 안내는 2026년 10월 6일 확인했어요.

실험 전에 개인화와 검색을 분리해요

이제 모델 내부를 볼 수 없는 채팅 환경에서 작은 관찰 실험을 설계해 봐요. 같은 모델을 선택하고 검색, 파일, 연결 도구, 맞춤 지시와 과거 대화 참조 여부를 기록해요. 실제 고객 자료 대신 이 글만의 가상 정보를 사용하면 내용 유출이나 기존 지식의 혼입을 줄일 수 있어요.

ChatGPT의 임시 대화도 개인화 선택에 따라 기존 기억을 사용할 수 있다고 공식 문서는 설명해요. 임시라는 이름만 믿기보다 개인화가 없는 조건인지 확인해야 해요. 아래는 독자 재현용 실험 안내이며, 이 글에서 실제 실행한 관측 결과를 보고하는 것이 아니에요.

작은 실험: 가상 프로젝트의 암호명을 비교해요

이번 실험의 질문은 ‘처음 알려준 가상 정보를 같은 대화와 독립 대화에서 어떻게 처리할까?’예요. 공통 질문은 ‘가상 프로젝트 푸른정원의 암호명은 무엇인가요? 제공된 정보가 없으면 모른다고 답해 주세요.’로 고정해요.

이 글에서는 설명을 위해 ‘청록달팽이-482’를 예시로 사용해요. 실제 재현 때는 본인만 정한 새로운 문자열로 바꾸면 이미 공개된 이 글이나 우연한 추측이 섞일 가능성을 줄일 수 있어요. 문자열을 바꿨다면 같은 실험 안에서는 끝까지 동일하게 유지해요.

조건 A: 아무 정보도 주지 않은 기준선을 남겨요

개인화와 외부 정보 참조를 분리한 새 대화에서 공통 질문만 보내요. 응답을 그대로 기록하고, 모른다고 답했는지 아니면 임의의 암호명을 만들었는지 확인해요. 이 단계는 모델이 이미 그 정보를 알고 있다고 가정하지 않기 위한 기준선이에요.

가상 프로젝트 푸른정원의 암호명은 무엇인가요? 제공된 정보가 없으면 모른다고 답해 주세요.

정답 문자열을 물음에 포함하지 않는 것이 중요해요. 모르겠다는 응답도 실패가 아니라, 정보가 없는 조건에서 확인해야 할 유용한 관찰이에요.

조건 B: 같은 대화에 사실을 알려준 뒤 물어요

새로운 대화에서 ‘이 실험에서 가상 프로젝트 푸른정원의 암호명은 청록달팽이-482입니다. 이 대화의 질문에 이 설정을 적용해 주세요.’라고 알려줘요. 이어서 조건 A와 같은 질문을 보내고 응답을 기록해요.

정확한 문자열을 답했다면, 제공된 정보가 답변에 활용됐다는 관찰은 할 수 있어요. 그러나 그것만으로 추가 훈련을 수행했다고 판정할 수는 없어요. 질문 가까이에 정답이 들어 있었고, 그 입력을 읽어 답했을 가능성을 먼저 검토해야 해요.

조건 C: 내용을 정정한 뒤 어떤 버전을 따르는지 봐요

조건 B의 대화에서 ‘설정을 정정합니다. 지금부터 푸른정원의 암호명은 청록조약돌-731입니다. 앞의 암호명은 이전 설정입니다.’라고 알려준 뒤 같은 질문을 다시 해요. 새 문자열, 옛 문자열, 혼합된 답 중 무엇이 나왔는지 기록해요.

새 설정을 따르는 응답은 현재 문맥의 정정을 활용했다는 관찰이에요. 예전 문자열이 남아 있다면 지시를 놓쳤거나 상충하는 정보를 잘못 다뤘을 수 있어요. 어느 쪽이든 한 번의 성공이나 실패를 ‘모델의 영구 지식이 변경됐다’는 증거로 바꾸지 않아요.

조건 D: 앞 정보를 빼고 독립 대화에서 물어요

기존 대화를 닫고, 개인화와 외부 정보가 분리된 새 대화에서 공통 질문만 보내요. 앞 대화의 암호명을 복사하지 않아요. 가능하다면 대화 상태를 넘기지 않는 요청 환경을 사용하고 실제 요청에 무엇이 들어갔는지도 기록해요.

새 대화에서 모른다고 답하면 같은 대화의 문맥에 의존했다는 해석과 맞아요. 정답을 답해도 바로 학습이라고 판정하지 않아요. 개인화, 자동 요약, 공통 지시, 검색, 우연한 추측 같은 경로가 남아 있는지 먼저 확인해야 해요. 독립 조건을 충분히 통제하지 못했다면 그 한계를 적어요.

결과 기록: 예상과 관측을 다른 칸에 둬요

다음 표는 빈 기록 양식이에요. 오른쪽 칸에 실제 응답을 옮긴 뒤 비교해요. ‘문맥이 있으면 정답이 나올 수 있다’는 예상과 ‘내 실행에서 실제로 그랬다’는 결과를 섞지 않는 게 중요해요.

모델 이름, 실행 날짜, 개인화·검색 설정, 입력 전문도 함께 남겨요. 조건별로 여러 차례 반복하면 우연한 응답에 대한 과한 해석을 줄일 수 있어요.

관측 결과로 말할 수 있는 범위를 지켜요

B와 C에서 설정을 따르고 D에서는 모른다고 했다면, 입력 문맥이 응답을 좌우했다는 설명과 일치해요. 반대로 D에서도 문자열을 맞혔다면 ‘기억 기능이 개입했나?’처럼 다음 조사 질문을 만들 수 있어요. 결과가 이론과 다르다고 즉시 거대한 결론을 낼 필요는 없어요.

여기서 확인하는 것은 통제한 조건에서의 응답 행동이에요. 모델 내부의 모든 변화를 직접 측정한 것은 아니에요. 실제 관측을 문맥 의존성과 연결하는 해석에는 근거가 있지만, 그것이 유일한 원인이라고 확정하려면 더 강한 통제가 필요해요.

이 실험만으로 가중치 변화를 증명할 수는 없어요

웹 채팅 화면은 서버 내부의 훈련 작업이나 가중치를 보여주지 않아요. 그래서 ‘한 번 기억했다’ 또는 ‘새 대화에서 잊었다’만으로 훈련 유무를 직접 증명할 수는 없어요. 통상적인 추론의 작동 원리와 제공자의 문서, 관측 결과를 함께 봐야 해요.

직접 관리하는 모델 환경이라면 훈련 코드 실행 여부, 갱신되는 매개변수, 체크포인트와 어댑터를 비교하는 식의 더 직접적인 확인이 가능해요. 온라인 적응처럼 특수한 설계도 존재하므로 이 글의 설명을 모든 AI 시스템에 예외 없이 적용하지 않아요.

실무 사례: 변경이 잦은 정보는 근거를 관리해요

다음은 실행 사례 보고가 아니라 설계 예시예요. 고객 안내 문구가 바뀌었다면 최신 규정 문서를 검색해 입력에 제공하고 답변의 근거를 확인하는 방식부터 검토할 수 있어요. 규정의 변경 이력과 실제 참조 문서가 보이면 오류를 추적하기도 쉬워져요.

반면 많은 예시에서 일정한 응답 형식이나 작업 특성을 익히게 하려는 목적이라면 파인튜닝을 검토할 수 있어요. 목적에 따라 적합한 수단이 달라져요. 어느 쪽이든 모델을 바꾸기 전에 입력과 검색 결과가 충분했는지, 평가 기준이 무엇인지 먼저 점검하는 편이 좋아요.

문제가 생겼을 때 네 가지를 확인해요

‘AI가 배웠는데 왜 또 틀릴까?’라는 질문이 생기면 먼저 정보를 어디에 넣었는지 확인해요. 대화 본문, 개인화 기억, 검색 자료, 훈련 데이터는 서로 다른 장소예요. 다음으로 실제 이번 입력에 그 정보가 들어갔는지, 최신 정보인지, 정답 판정 기준이 있는지를 살펴봐요.

• 입력: 필요한 정보와 정정 내용이 이번 요청에 포함됐나요?
• 지속성: 다음 대화에서도 전달되도록 저장·참조되는 경로가 있나요?
• 근거: 답변이 어떤 자료를 사용했는지 확인할 수 있나요?
• 평가: 성공·실패를 동일한 기준으로 반복 확인했나요?

이 네 질문은 프롬프트를 길게 늘리는 것보다 원인을 좁히는 데 도움이 돼요.

핵심 정리: 답이 바뀌면 먼저 입력을 살펴봐요

AI에게 정보를 알려줘 답이 달라져도, 그것만으로 모델 가중치가 갱신됐다고 볼 수는 없어요. 통상적인 추론은 현재 입력을 활용하고, 문맥 내 학습은 지시와 예시를 이용한 적응을 뜻해요. 서비스의 기억과 검색은 정보를 다음 입력으로 전달하는 별도 경로가 될 수 있어요.

실험은 ‘맞혔나?’만 확인하는 대신 정보가 있는 조건과 없는 조건을 나눠 보는 연습이에요. 훈련 데이터로 이용될 가능성은 서비스 정책을 별도로 확인해요. 다음 2회 ‘작은 모델은 무엇을 덜어냈을까?’에서는 양자화를 살펴봐요. 실험을 재현했다면 모델·설정·조건과 함께 관찰을 남겨 주세요.

실무AI 기초 및 활용 — 전체 12회 목차

실무자도 놓치기 쉬운 AI 기초를 원리·실험·검증으로 이어가는 시리즈입니다.

1. 1회. AI에게 알려주면 정말 학습할까? — 학습과 추론
2. 2회. 작은 모델은 무엇을 덜어냈을까? — 양자화
3. 3회. 대화가 길어지면 왜 메모리가 늘까? — 토큰과 KV 캐시
4. 4회. 많이 기억하면 더 잘 답할까? — 컨텍스트와 요약
5. 5회. 표현이 달라도 어떻게 찾을까? — 임베딩과 벡터 검색
6. 6회. 문서는 어디서 잘라야 할까? — 청킹 비교
7. 7회. 내 문서를 근거로 답하게 만들기 — RAG 연결
8. 8회. 출처가 붙으면 믿어도 될까? — 근거 검증
9. 9회. AI가 좋아졌다는 걸 어떻게 알까? — 평가 문제 만들기
10. 10회. 어떤 모델이 내 작업에 맞을까? — 같은 기준으로 비교
11. 11회. AI는 어떻게 도구를 선택할까? — 도구 호출
12. 12회. 에이전트는 언제 멈춰야 할까? — 반복 제한과 권한

출처

원리 설명은 아래 연구 논문과 공식 문서를 참고했어요. 제품 기능과 정책은 2026년 10월 6일 확인 기준이에요. 실험 절차와 가상 프로젝트는 이 글의 재현 안내예요.

1. GPT-3: Language Models are Few-Shot Learners
2. Hugging Face: 텍스트 생성
3. Hugging Face: 파인튜닝
4. PyTorch: 모델 매개변수 최적화
5. OpenAI: ChatGPT 기억 안내
6. OpenAI: 임시 대화 안내
7. OpenAI: 콘텐츠의 모델 개선 이용 정책
8. OpenAI API: 데이터 이용 안내
9. RAG: Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks

이 포스트는 AI 도구의 도움으로 작성하고, 공식 근거와 발행 규격을 확인해 게시했습니다. 삽화는 SVIL 로컬 AI 워크스테이션에서 생성한 개념 이미지입니다.

협업문의 : kuroicode@gmail.com
블로그 : https://blog.svil.dev/
홈페이지 : https://svil.dev/