AI 기초 및 활용 18회: LLM의 원리 — 다음 낱말 맞히기가 어떻게 전부를 흡수했나
훈련 목표는 빈칸 채우기 하나뿐인데 번역도 요약도 코딩도 해냅니다. 토큰과 확률 분포와 자기회귀라는 세 부품으로 그 이유를 설명하고, 규모의 법칙이 AI를 연구 문제에서 자본 문제로 바꾼 과정까지 다룹니다.
훈련 목표는 빈칸 채우기 하나뿐인데 번역도 요약도 코딩도 해냅니다. 토큰과 확률 분포와 자기회귀라는 세 부품으로 그 이유를 설명하고, 규모의 법칙이 AI를 연구 문제에서 자본 문제로 바꾼 과정까지 다룹니다.
없던 고양이는 어떻게 만들어질까요. 판별과 생성의 결정적 차이부터, 위조범과 감별사가 서로를 훈련시키는 GAN, 그리고 생성을 잡음 맞히기로 바꿔 버린 디퓨전까지. 이 글의 삽화가 실제로 만들어진 과정도 함께 공개합니다.
문장 전체를 묶음 하나에 욱여넣던 병목을, 필요할 때마다 원본을 돌아보는 방식이 어떻게 없앴는지. 그리고 순환 구조를 걷어내자 열린 병렬 처리가 왜 오늘의 거대 모델을 가능하게 했는지 — 제4부로 넘어가는 다리.
순서가 정보인 데이터를 다루려면 망에 기억이 필요합니다. 되먹임과 은닉 상태로 순서를 새겨 넣는 방법, 같은 가중치를 반복해 곱해서 기억이 흐려지는 구조적 이유, 그리고 곱하지 말고 더하자는 LSTM의 해법까지.
픽셀 백만 개를 전부 연결하면 가중치가 10억 개가 됩니다. 작은 창문 하나로 화면을 훑는다는 아이디어가 어떻게 그 재앙을 해결하고, 선에서 모양으로 물체로 올라가는 위계를 스스로 만들어냈는지 — 2012년 알렉스넷의 그날까지.
손실 함수로 틀린 정도를 하나의 숫자로 만들고, 경사하강법으로 그 숫자를 줄이는 방향을 찾고, 역전파로 그 책임을 안쪽 층까지 나눠 물린다 — 20년의 겨울을 끝낸 세 가지를 수식 없이 말로 풀었습니다.
곱하고, 더하고, 문턱을 넘는지 본다 — 오늘 모든 AI의 가장 작은 부품인 인공 뉴런의 세 동작과, 그 하나로는 XOR을 절대 못 푸는 이유, 그리고 층을 쌓는다는 해법까지. 제3부 「딥러닝과 신경망」의 첫 회입니다.
좋은 질문은 재능이 아니라 습관입니다. 맥락·목적·형식·제약 네 요소, 새로 시작하지 말고 되묻는 법, 확신에 찬 오답을 알아채는 법까지. 제1부 「클로드와 처음 만나기」의 마지막 회차입니다.
마지막 회차입니다. 사용량과 비용 관리, 개인정보 원칙 총정리, 답변을 검증하는 습관, 그리고 AI 의존의 경계선. 38회 동안 다룬 것을 정리하고 다음 단계를 안내합니다.
명령어·메모리·스킬·MCP를 조합해 실제 워크플로우 두 개를 처음부터 끝까지 만들어 봅니다. 조립 순서와, 어디까지 자동화하고 어디서 멈춰야 하는지의 판단 기준까지.
이 시리즈 내내 각 회차 끝에서 조금씩 다뤄 온 이야기를 한 회차로 모았습니다. 저시력 작업 환경 구성, 화면 낭독 프로그램과 함께 쓰기, 터미널이 오히려 접근성이 좋은 이유, 그리고 AI가 실제로 없애 준 장벽에 대하여.
여러 서비스를 엮은 실전 시나리오 두 개를 처음부터 끝까지 따라갑니다. 그리고 자동화가 위험해지는 정확한 지점 — 확인 없이 남에게 전달되는 순간 — 을 짚습니다. 제7부의 마지막입니다.