AI 기초 및 활용 18회: LLM의 원리 — 다음 낱말 맞히기가 어떻게 전부를 흡수했나
훈련 목표는 빈칸 채우기 하나뿐인데 번역도 요약도 코딩도 해냅니다. 토큰과 확률 분포와 자기회귀라는 세 부품으로 그 이유를 설명하고, 규모의 법칙이 AI를 연구 문제에서 자본 문제로 바꾼 과정까지 다룹니다.
훈련 목표는 빈칸 채우기 하나뿐인데 번역도 요약도 코딩도 해냅니다. 토큰과 확률 분포와 자기회귀라는 세 부품으로 그 이유를 설명하고, 규모의 법칙이 AI를 연구 문제에서 자본 문제로 바꾼 과정까지 다룹니다.
없던 고양이는 어떻게 만들어질까요. 판별과 생성의 결정적 차이부터, 위조범과 감별사가 서로를 훈련시키는 GAN, 그리고 생성을 잡음 맞히기로 바꿔 버린 디퓨전까지. 이 글의 삽화가 실제로 만들어진 과정도 함께 공개합니다.
문장 전체를 묶음 하나에 욱여넣던 병목을, 필요할 때마다 원본을 돌아보는 방식이 어떻게 없앴는지. 그리고 순환 구조를 걷어내자 열린 병렬 처리가 왜 오늘의 거대 모델을 가능하게 했는지 — 제4부로 넘어가는 다리.
순서가 정보인 데이터를 다루려면 망에 기억이 필요합니다. 되먹임과 은닉 상태로 순서를 새겨 넣는 방법, 같은 가중치를 반복해 곱해서 기억이 흐려지는 구조적 이유, 그리고 곱하지 말고 더하자는 LSTM의 해법까지.
픽셀 백만 개를 전부 연결하면 가중치가 10억 개가 됩니다. 작은 창문 하나로 화면을 훑는다는 아이디어가 어떻게 그 재앙을 해결하고, 선에서 모양으로 물체로 올라가는 위계를 스스로 만들어냈는지 — 2012년 알렉스넷의 그날까지.
손실 함수로 틀린 정도를 하나의 숫자로 만들고, 경사하강법으로 그 숫자를 줄이는 방향을 찾고, 역전파로 그 책임을 안쪽 층까지 나눠 물린다 — 20년의 겨울을 끝낸 세 가지를 수식 없이 말로 풀었습니다.
곱하고, 더하고, 문턱을 넘는지 본다 — 오늘 모든 AI의 가장 작은 부품인 인공 뉴런의 세 동작과, 그 하나로는 XOR을 절대 못 푸는 이유, 그리고 층을 쌓는다는 해법까지. 제3부 「딥러닝과 신경망」의 첫 회입니다.
자전거 타기에는 정답 데이터셋이 없습니다. 넘어지며 배우는 수밖에요. 보상 하나로 전략을 통째로 배우는 강화학습의 원리, 탐험과 활용의 딜레마, 세계를 놀라게 한 알파고, 그리고 보상을 해킹하는 기계까지. 제2부 완결편. SVIL AI 교육 시리즈 11회
정확도 95%의 모델이 사실은 아무 일도 안 하는 바보일 수 있습니다. 두 가지 실수를 따로 세는 혼동 행렬, 정밀도와 재현율의 밀고 당기기, 과적합을 잡는 실전 기법, 그리고 숫자가 목표가 될 때 벌어지는 일까지. SVIL AI 교육 시리즈 10회
정확도 90%의 검사에서 양성이 나왔다면, 병에 걸렸을 확률은 얼마일까요? 놀랍게도 10%가 안 될 수 있습니다. 믿음을 증거로 갱신하는 베이즈 추론, 그 원리로 만든 나이브 베이즈 스팸 필터, AI의 확신을 믿어도 되는지까지. SVIL AI 교육 시리즈 9회
정답표가 없는 데이터에서 기계는 무엇을 배울 수 있을까요? 손님을 스스로 무리 짓는 k-평균 군집화, 차원의 저주에 맞서는 차원축소, 그리고 "이걸 산 사람들이 저것도 샀습니다"의 정체인 추천 시스템까지. SVIL AI 교육 시리즈 8회
정답을 보고 배운 기계는 실제로 어떻게 답을 맞힐까요? 스무고개를 닮은 결정트리, 이웃에게 물어보는 k-최근접 이웃, 그리고 미뤄뒀던 스팸 필터를 처음부터 끝까지 만들어봅니다. 분류와 회귀의 차이부터 랜덤 포레스트까지. SVIL AI 교육 시리즈 7회