AI 기초 및 활용 7회: 지도학습 — 스무고개와 이웃 투표로 답을 맞히는 법

오늘의 질문 — 스무고개는 왜 스무 번이면 충분할까요

스무고개 게임을 떠올려보세요. 상대가 마음속으로 무언가를 정하면, 저는 예/아니오 질문 스무 번으로 그걸 맞혀야 합니다. "살아 있나요?" "동물인가요?" "집에서 키우나요?"

세상에 있는 것들이 수백만 가지인데 고작 스무 번의 질문으로 맞힌다니, 생각해보면 이상한 일이에요. 비밀은 좋은 질문은 세상을 절반으로 자른다는 데 있습니다. 절반 자르기를 스무 번 하면 백만 가지가 하나로 좁혀져요.

오늘의 질문은 이것입니다. 기계도 이렇게 "좋은 질문"을 스스로 찾아낼 수 있을까요? 그리고 좋은 질문이란 정확히 무엇일까요?

이 질문의 답이 오늘 배울 첫 번째 모델, 결정트리입니다. 그리고 질문조차 던지지 않고 "그냥 이웃에게 물어보는" 두 번째 모델까지 만나면, 6회차에서 미뤄둔 스팸 필터를 드디어 완성할 수 있어요.

지난 회차 연결 — 세 갈래 중 첫 번째 길

6회차에서 머신러닝의 뼈대를 세웠습니다. 데이터와 답을 넣으면 규칙(모델)이 나온다는 화살표의 역전, 다이얼(파라미터) 맞추기로서의 학습, 훈련·검증·테스트라는 세 개의 시험지, 그리고 지도·비지도·강화라는 세 갈래의 지도까지요.

오늘은 그 지도의 첫 번째 길, 지도학습으로 깊이 들어갑니다. 문제와 정답을 짝으로 주고 배우게 하는 방식 — 머신러닝 실무에서 가장 많이 쓰이고, 가장 검증된 길이에요.

"지도"라는 말이 낯설 수 있는데, 지도(地圖)가 아니라 지도(指導)입니다. 선생님이 정답을 알려주며 지도해준다는 뜻이에요. 영어로는 수퍼바이즈드 러닝, 감독받는 학습입니다.

오늘의 여정은 이렇습니다. 먼저 지도학습의 두 과목(분류와 회귀)을 구분하고, 대표 선수 둘(결정트리, k-최근접 이웃)을 원리부터 뜯어본 뒤, 스팸 필터를 처음부터 끝까지 만들어봅니다.

분류와 회귀 — 지도학습의 두 과목

지도학습의 문제는 결국 둘 중 하나입니다. 정답이 "종류"인가, "숫자"인가.

분류는 종류를 맞힙니다. 이 메일은 스팸인가 정상인가. 이 사진은 고양이인가 개인가. 이 종양은 양성인가 악성인가. 답이 미리 정해진 보기 중 하나예요.

회귀는 숫자를 맞힙니다. 이 집의 가격은 얼마인가. 내일 기온은 몇 도인가. 이 환자의 입원 기간은 며칠인가. 답이 연속적인 수치예요.

같은 대상도 질문에 따라 과목이 달라집니다. "이 집은 5억을 넘을까?"는 분류(예/아니오)이고, "이 집은 얼마일까?"는 회귀(수치)예요. 문제를 어느 과목으로 만들지는 설계자의 선택입니다.

"회귀"라는 이상한 이름에는 사연이 있어요. 19세기 통계학자 프랜시스 골턴이 부모와 자식의 키를 연구하다가, 아주 큰 부모의 자식은 평균 쪽으로 "되돌아가는(회귀하는)" 경향을 발견했습니다. 그 논문의 용어가 어쩌다 분야 전체의 이름으로 굳어버렸어요. 이름은 잊고 "숫자 맞히기"로 기억하시면 됩니다.

결정트리 — 스무고개를 닮은 모델

첫 번째 대표 선수입니다. 결정트리는 말 그대로 질문의 나무예요.

꼭대기에 첫 질문이 있습니다. "보낸 사람이 주소록에 있는가?" 예라면 왼쪽 가지로, 아니오라면 오른쪽 가지로 내려가요. 각 가지 끝에는 다음 질문이 기다립니다. "제목에 '무료'가 있는가?" 이렇게 질문을 따라 내려가다 보면 잎에 도착하고, 잎에는 답이 적혀 있어요. "스팸" 또는 "정상".

새 메일이 오면 꼭대기에서 출발해 질문에 답하며 내려가기만 하면 됩니다. 스무고개와 똑같아요.

중요한 건 이 나무를 사람이 설계하지 않는다는 점입니다. 5회차의 규칙 기반 시스템이었다면 전문가가 질문을 짰겠죠. 결정트리는 훈련 데이터에서 질문을 스스로 찾아냅니다. 어떤 질문을 먼저 던질지, 어디서 가지를 칠지, 전부 데이터가 정해요. 그렇다면 기계는 무엇을 기준으로 "좋은 질문"을 고를까요? 다음 섹션이 오늘의 심장입니다.

좋은 질문이란 — 섞임을 줄이는 질문

훈련 데이터로 메일 1,000통이 있다고 합시다. 스팸 500통, 정상 500통이 뒤섞여 있어요. 이 상태는 최악으로 섞여 있습니다. 어느 쪽인지 전혀 가늠이 안 되니까요.

여기에 질문 하나를 던져 두 무더기로 나눕니다. "제목에 '당첨'이 있는가?"로 나눴더니, 있는 쪽 무더기는 스팸 180통/정상 20통, 없는 쪽은 스팸 320통/정상 480통이 됐어요.

나누기 전보다 각 무더기가 덜 섞이게 됐죠. "당첨" 무더기는 거의 스팸으로 순수해졌습니다. 이 섞임의 정도를 수치로 잰 것을 불순도라고 하고, 질문 하나로 불순도가 줄어든 양을 정보 이득이라고 불러요.

결정트리 학습이란, 매 단계에서 정보 이득이 가장 큰 질문을 고르는 일입니다. 가능한 질문을 전부 시험해보고 — "이 단어가 있는가?", "느낌표가 3개 이상인가?" — 무더기를 가장 순수하게 가르는 질문을 채택해요. 그리고 나뉜 각 무더기에서 같은 일을 반복합니다. 무더기가 충분히 순수해지면 거기가 잎이 되고, 다수를 차지한 쪽이 그 잎의 답이 됩니다.

스무고개 고수의 직감 — "세상을 반으로 가르는 질문이 좋다" — 을 기계는 이렇게 수치로 실행하는 거예요.

결정트리의 미덕 — 읽을 수 있는 모델

6회차에서 "머신러닝은 설명 능력을 잃었다"고 했는데, 결정트리는 귀한 예외입니다.

완성된 트리는 사람이 그대로 읽을 수 있어요. "주소록에 없고, 제목에 '당첨'이 있고, 새벽에 발송됐으면 스팸" — 트리의 경로 하나하나가 이런 문장입니다. 5회차의 만약-그러면 규칙과 사실상 같은 모양이에요.

차이는 출처입니다. 규칙 기반 시스템의 규칙은 전문가의 머리에서 나왔고, 결정트리의 규칙은 데이터에서 나왔습니다. 지식 획득 병목을 우회하면서도 설명 가능성은 지킨, 두 세계의 좋은 점을 모은 지점이에요.

이 미덕 때문에 결정트리 계열은 지금도 현역입니다. 은행이 대출 심사 모델을 만들 때, 병원이 진단 보조 도구를 만들 때 — "왜 거절됐나요?"에 답해야 하는 곳에서 결정트리 계열은 여전히 첫 번째 후보예요. 성능만 보면 더 강한 모델이 있어도, 설명 의무가 있는 자리에서는 읽을 수 있는 모델이 이깁니다.

트리의 약점 — 완벽주의자의 함정

그런데 결정트리에는 고질병이 있습니다. 내버려두면 과적합의 화신이 돼요.

트리는 무더기가 순수해질 때까지 질문을 계속 던질 수 있습니다. 극단까지 가면 잎 하나에 메일 한 통씩 남을 때까지 가지를 쳐요. 그 트리는 훈련 데이터를 100퍼센트 맞힙니다. 1,000통 각각에 전용 경로를 만든 거니까요.

6회차의 그 구불거리는 선, 기억나시죠? 모든 점을 통과하는 선이 새 점 앞에서 무너지듯, 모든 사례를 외운 트리는 새 메일 앞에서 무너집니다. "발송 시각이 새벽 3시 17분인가?" 같은 질문은 훈련 데이터의 우연이지 스팸의 본질이 아니에요.

처방은 두 가지입니다. 미리 멈추기 — 트리의 깊이를 제한하거나, 무더기가 일정 크기 이하로 작아지면 그만 나누게 합니다. 가지치기 — 일단 끝까지 키운 뒤, 검증 데이터로 시험해보며 도움이 안 되는 가지를 잘라냅니다. 정원사가 웃자란 가지를 치는 것과 같아요. 어느 쪽이든 핵심은 같습니다. 조금 덜 외우게 해서 더 잘 일반화하게 만드는 것.

랜덤 포레스트 — 나무 하나보다 숲이 낫다

트리의 약점을 다른 방향에서 공략한 발명이 있습니다. 트리 하나를 완벽하게 다듬는 대신, 불완전한 트리 수백 그루를 만들어 투표시키는 거예요. 이름도 그대로 랜덤 포레스트, 무작위 숲입니다.

비결은 각 트리를 일부러 서로 다르게 키우는 데 있어요. 트리마다 훈련 데이터를 무작위로 조금씩 다르게 뽑아주고, 질문 후보도 무작위로 제한합니다. 그러면 어떤 트리는 발신 주소에 민감하고, 어떤 트리는 단어에 민감한, 개성 있는 숲이 만들어져요.

새 메일이 오면 모든 트리가 각자 판정하고, 다수결로 최종 답을 냅니다. 트리 하나하나는 과적합으로 헛소리를 할 수 있지만, 서로 다른 방향으로 틀리기 때문에 투표에서 상쇄돼요. 한 명의 전문가보다 다양한 배경의 위원회가 나은 것과 같은 원리입니다.

이런 접근을 앙상블이라고 불러요. 약한 모델 여럿을 묶어 강한 모델을 만드는 기법의 총칭입니다. 표 형태의 데이터에서는 트리 앙상블 계열이 2026년 현재도 최강자예요. 딥러닝 전성시대에도 굳건한, "숲이 나무를 이긴다"는 오래된 지혜입니다. 대가는 예상하실 수 있죠 — 트리 500그루의 투표는 더 이상 사람이 읽을 수 없습니다. 설명 가능성과 성능의 저울이 여기서도 움직여요.

k-최근접 이웃 — 공부하지 않는 모델

두 번째 대표 선수는 정반대의 철학입니다. 결정트리가 데이터에서 질문을 뽑아내는 부지런한 학생이라면, k-최근접 이웃은 공부를 아예 안 하는 학생이에요.

원리는 한 문장입니다. "새로 온 것과 가장 닮은 이웃 k개를 찾아서, 다수결로 답한다."

새 메일이 왔어요. 훈련 데이터 1,000통 중에서 이 메일과 가장 비슷한 5통(k=5)을 찾습니다. 그중 4통이 스팸이면 새 메일도 스팸으로 판정해요. 끝입니다.

학습 단계에서 하는 일이 없어요. 트리를 키우지도, 다이얼을 맞추지도 않습니다. 그냥 훈련 데이터를 통째로 기억해뒀다가, 판정 순간에 이웃을 뒤져요. 그래서 게으른 학습이라는 별명이 붙었습니다. 시험 전에 공부하는 대신, 시험장에서 문제를 받고 나서야 비슷한 기출문제를 뒤지는 학생이에요.

어이없을 만큼 단순한데, 놀랄 만큼 잘 작동합니다. "비슷한 것은 비슷하게 행동한다"는 가정이 세상에서 대체로 참이기 때문이에요. 당신과 취향이 닮은 다섯 명이 좋아한 영화는, 당신도 좋아할 확률이 높습니다.

k를 고르는 문제 — 몇 명에게 물어볼 것인가

k-최근접 이웃의 유일한 다이얼은 k, 몇 명의 이웃에게 물어볼 것인가입니다. 이 하나의 숫자가 모델의 성격을 완전히 바꿔요.

k가 작으면(k=1) — 가장 가까운 단 하나의 이웃만 봅니다. 극도로 민감해져요. 하필 그 이웃이 레이블이 잘못 붙은 불량 데이터라면 그대로 틀립니다. 훈련 데이터의 잡음 하나하나에 휘둘리는, 과적합 쪽 극단이에요.

k가 크면(k=1000) — 사실상 전체 다수결이 됩니다. 훈련 데이터에 스팸보다 정상이 많으면 뭐가 와도 "정상"이라고 답해요. 데이터의 세부를 전부 뭉개버리는 과소적합 쪽 극단입니다.

어디서 많이 본 구도죠? 6회차의 과적합-과소적합 저울이 숫자 하나에 압축된 겁니다. 적절한 k는 문제마다 다르고, 검증 데이터로 여러 값을 시험해 고릅니다 — 모의고사의 용도가 정확히 이거였어요.

참고로 k는 파라미터가 아니라 하이퍼파라미터라고 불러요. 모델이 학습으로 맞추는 다이얼(파라미터)이 아니라, 사람이 학습 전에 정해주는 설정값이라는 뜻입니다. 트리의 최대 깊이, 숲의 나무 수도 전부 하이퍼파라미터예요.

"가깝다"는 것의 함정

k-최근접 이웃의 심장은 "가깝다"인데, 여기 함정이 둘 있습니다.

첫째, 단위의 함정. 나이(20~80)와 연봉(2,000만~2억)으로 고객의 거리를 잰다고 해보세요. 연봉은 수천만 단위로 차이 나고 나이는 수십 단위로 차이 납니다. 그냥 계산하면 거리가 사실상 연봉만으로 정해져요. 나이 차이는 반올림 오차 수준이 되니까요. 그래서 실무에서는 각 특징을 비슷한 범위로 맞춰주는 정규화를 먼저 합니다. 모든 특징에게 공평한 발언권을 주는 작업이에요.

둘째, 차원의 저주. 특징이 2~3개일 때는 "가까운 이웃"이 직관대로 작동합니다. 그런데 특징이 수백, 수천 개로 늘어나면 이상한 일이 벌어져요. 고차원 공간에서는 모든 점이 서로 엇비슷하게 멀어집니다. 방(2차원)에서는 이웃이 분명한데, 특징 하나가 늘 때마다 공간의 부피가 폭발적으로 커져서, 데이터가 광활한 공간에 먼지처럼 흩어져버려요. "가장 가까운 이웃"과 "가장 먼 이웃"의 거리 차이가 무의미해집니다.

이 차원의 저주는 k-최근접 이웃만의 문제가 아니라 머신러닝 전체의 근본 난제입니다. 8회차의 차원축소가 바로 이 저주에 맞서는 기술이에요. 예고를 걸어둡니다.

두 모델의 비교 — 언제 무엇을 쓰나

대표 선수 둘을 나란히 놓고 봅시다. 철학이 정반대라 비교가 선명해요.

결정트리는 학습에 공을 들입니다. 훈련 때 데이터를 요약한 질문 구조를 만들어두고, 판정은 빛처럼 빠릅니다. 질문 몇 개만 따라가면 되니까요. 훈련 데이터는 버려도 돼요. 트리가 곧 요약본이니까. 그리고 읽을 수 있습니다.

k-최근접 이웃은 학습이 공짜입니다. 대신 판정 때마다 전체 데이터와 거리를 재야 해서, 데이터가 커지면 판정이 느려져요. 훈련 데이터를 통째로 들고 다녀야 합니다. 판단 근거는 "이웃들이 그랬으니까"인데, 이게 의외로 좋은 설명이 되기도 해요. "당신과 조건이 비슷한 고객 다섯 명 중 넷이 이 상품을 골랐습니다"는 꽤 설득력 있는 문장이잖아요.

일반화하면 이렇습니다. 미리 요약할 것인가(모델 기반), 원본을 들고 다니며 그때그때 비교할 것인가(사례 기반). 이 두 철학은 앞으로 배울 모든 모델의 밑바닥에 깔려 있어요. 신경망은 극단적인 요약파이고, 21회차에서 볼 검색 증강 생성은 사례파의 부활입니다.

실전 — 스팸 필터를 처음부터 끝까지

약속을 지킬 시간입니다. 6회차 도입부터 미뤄온 스팸 필터를, 오늘 배운 것들로 실제 순서 그대로 만들어볼게요.

1단계, 데이터 수집. 스팸/정상 레이블이 붙은 메일 1만 통을 모읍니다. 사용자들이 "스팸 신고" 버튼을 누른 기록이 곧 레이블이에요. 실제 서비스들이 이렇게 공짜로 레이블을 얻습니다. 여러분이 신고 버튼을 누를 때마다 훈련 데이터가 한 줄 늘어나는 거예요.

2단계, 특징 설계. 메일을 숫자로 바꿉니다. 제목의 느낌표 수, "무료"·"당첨"·"긴급" 같은 단어의 등장 여부, 발신 주소가 주소록에 있는지, 발송 시각, 링크 개수, 이미지만 있고 글이 없는지. 6회차에서 말한 대로, 이 설계의 품질이 성패를 가릅니다.

3단계, 데이터 분할. 1만 통을 훈련 7,000 / 검증 1,500 / 테스트 1,500으로 나눕니다. 테스트는 봉인. 이제 습관이 되셨죠?

4단계, 학습. 훈련 데이터로 결정트리를 키웁니다. 트리가 스스로 찾아낸 첫 질문이 "발신자가 주소록에 있는가"라면, 그게 데이터상 가장 정보 이득이 큰 질문이었다는 뜻이에요.

5단계, 조정. 검증 데이터로 성능을 재면서 하이퍼파라미터를 조정합니다. 트리 깊이를 5로 했더니 과소적합, 20으로 했더니 과적합이라면 그 사이를 탐색해요. 랜덤 포레스트로 바꿔 나무 수를 조정해볼 수도 있습니다.

6단계, 최종 평가와 배포. 봉인을 풀고 테스트 데이터로 딱 한 번 최종 성능을 잽니다. 합격이면 실제 메일함에 배포해요. 그리고 6회차의 교훈대로, 끝이 아닙니다. 스팸 수법은 진화하니(분포 이동) 새 신고 데이터로 주기적으로 재학습시켜요.

여기서 잠깐 — 몇 퍼센트면 좋은 필터인가요

테스트 정확도가 95퍼센트 나왔다고 합시다. 좋은 걸까요?

성급하게 기뻐하기 전에 이 시나리오를 보세요. 받은 메일의 95퍼센트가 정상이고 5퍼센트만 스팸인 메일함이라면, "모든 메일은 정상"이라고 무조건 답하는 바보 필터도 정확도 95퍼센트입니다. 스팸을 단 한 통도 못 거르는데 말이죠.

게다가 스팸 필터에는 비대칭이 있어요. 스팸이 받은함에 남는 것(귀찮음)과, 중요한 계약 메일이 스팸함에 들어가는 것(재앙)은 대가가 다릅니다. 두 실수를 구분해서 재야 해요.

정확도라는 숫자 하나가 어떻게 우리를 속이는지, 두 종류의 실수를 어떻게 따로 재는지 — 이게 10회차 「모델 평가」 전체의 주제입니다. 오늘은 경고만 새겨두세요. "정확도 몇 퍼센트"라는 말을 들으면, 반드시 "무엇에 대한 정확도인지" 되물어야 합니다.

회귀 맛보기 — 선 하나 긋기

오늘 분류만 다뤘으니, 회귀도 감을 잡고 갑시다. 가장 단순한 회귀 모델은 선형 회귀 — 점들 사이로 곧은 선 하나를 긋는 것입니다.

집 크기와 가격 데이터를 그래프에 찍으면 대체로 우상향의 구름이 생깁니다. 이 구름의 한가운데를 지나는 직선을 그으면, 그 선이 곧 모델이에요. 새 집의 크기를 선에 대보면 예상 가격이 나옵니다.

"한가운데"는 감이 아니라 계산입니다. 각 점에서 선까지의 세로 거리가 오차인데, 모든 점의 오차를 종합한 값이 가장 작아지는 선을 찾아요. 선의 기울기와 높이라는 다이얼 두 개를 오차가 줄어드는 방향으로 맞추는 겁니다. 6회차의 다이얼 맞추기가 가장 단순한 형태로 나타난 거예요.

특징이 여러 개면 다이얼도 늘어납니다. 크기, 방 수, 역까지 거리, 층수 — 각 특징에 다이얼(가중치) 하나씩. "역까지 거리의 다이얼이 크고 음수"라면 역에서 멀수록 가격이 많이 깎인다는 뜻이죠. 이렇게 가중치를 읽으면 모델의 생각이 보입니다. 그리고 미리 말해두면, 12회차의 인공 뉴런 하나가 사실상 이 "가중치 곱의 합" 장치입니다. 신경망은 선형 회귀의 후손이에요.

지도학습이 일하는 곳들

오늘 배운 원리가 실제로 어디서 돌아가는지 넓게 훑어봅시다.

의료 — 검사 수치들로 질병 위험을 예측(분류)하고, 재입원 확률을 추정(회귀)합니다. 설명이 필요한 곳이라 트리 계열이 강세예요. "이 수치와 이 수치 때문에 고위험군입니다"라고 말할 수 있어야 하니까요.

금융 — 신용 평가(이 대출자는 상환할까), 카드 부정 거래 탐지(이 결제는 본인일까). 5회차에서 본 규칙 엔진과 지도학습 모델이 한 시스템 안에서 협업하는 대표 분야입니다. 모델이 위험 점수를 매기고, 규칙이 법적 한도를 지키고, 사람이 경계선을 심사해요.

제조 — 센서 데이터로 불량품을 분류하고, 장비 고장 시점을 회귀로 예측해 미리 정비합니다.

일상 서비스 — 사진 속 얼굴 인식, 음성을 글자로 바꾸는 받아쓰기, 번역. 전부 "입력과 정답 쌍으로 배운" 지도학습입니다. 번역은 원문과 번역문 쌍 수억 개로 배웠어요.

공통 구조가 보이시죠. 과거의 문제-정답 쌍이 쌓여 있고, 미래에 같은 유형의 문제가 반복되는 곳. 그곳이 지도학습의 영토입니다.

핵심 정리 — 세 줄

첫째, 지도학습의 문제는 둘 중 하나입니다. 종류를 맞히면 분류, 숫자를 맞히면 회귀. 같은 대상도 질문을 어떻게 던지느냐에 따라 과목이 달라집니다.

둘째, 결정트리는 "섞임을 가장 많이 줄이는 질문"을 데이터에서 스스로 찾아 스무고개 나무를 만듭니다. 읽을 수 있다는 귀한 미덕이 있지만 내버려두면 과적합하고, 그 처방이 가지치기와 랜덤 포레스트(앙상블 투표)입니다.

셋째, k-최근접 이웃은 "닮은 이웃의 다수결"이라는 한 문장짜리 모델입니다. k 하나로 과적합-과소적합 저울이 움직이고, 단위 정규화와 차원의 저주라는 함정이 있어요. 요약해두는 모델과 원본을 들고 다니는 모델 — 이 두 철학은 이후 모든 회차에서 다시 만납니다.

용어 정리

지도학습 — 문제와 정답(레이블)을 짝으로 주고, 새 문제의 답을 맞히도록 배우게 하는 머신러닝 방식.

분류 — 정해진 보기 중 하나를 고르는 문제. 스팸/정상, 양성/악성 등.

회귀 — 연속적인 숫자를 맞히는 문제. 가격, 온도, 기간 등.

결정트리 — 예/아니오 질문을 나무 모양으로 이어 답에 도달하는 모델. 질문은 데이터에서 자동으로 찾아냅니다.

불순도 — 한 무더기 안에 서로 다른 답이 섞여 있는 정도.

정보 이득 — 질문 하나로 불순도가 줄어든 양. 결정트리는 매 단계 이게 가장 큰 질문을 고릅니다.

잎 — 트리의 말단. 더 이상 질문하지 않고 답을 내는 지점.

가지치기 — 과적합을 막기 위해 검증 성능에 도움이 안 되는 가지를 잘라내는 것.

랜덤 포레스트 — 서로 다르게 키운 결정트리 수백 그루의 다수결로 판정하는 모델.

앙상블 — 여러 모델을 묶어 하나보다 강한 모델을 만드는 기법의 총칭.

k-최근접 이웃 — 새 데이터와 가장 닮은 훈련 사례 k개를 찾아 다수결(분류) 또는 평균(회귀)으로 답하는 모델.

게으른 학습 — 훈련 때는 데이터를 저장만 하고, 판정 순간에 계산을 몰아서 하는 학습 방식. k-최근접 이웃이 대표입니다.

하이퍼파라미터 — 모델이 스스로 배우는 값(파라미터)이 아니라 사람이 학습 전에 정하는 설정값. k, 트리 깊이, 나무 수 등.

정규화(특징 스케일링) — 단위가 다른 특징들을 비슷한 범위로 맞춰 거리 계산이 공평해지게 하는 전처리.

차원의 저주 — 특징(차원)이 많아질수록 공간이 폭발적으로 커져 데이터가 희박해지고 "가깝다"가 무의미해지는 현상.

선형 회귀 — 특징마다 가중치를 곱해 더한 값으로 숫자를 예측하는, 점들 사이에 선을 긋는 가장 기본적인 회귀 모델.

가중치 — 각 특징이 예측에 기여하는 정도를 나타내는 다이얼. 값을 읽으면 모델이 무엇을 중시하는지 보입니다.

오차 — 모델의 예측과 실제 정답의 차이. 학습이란 이걸 줄이는 방향으로 다이얼을 돌리는 일입니다.

다음 회차 예고 — 그리고 생각해볼 질문

오늘까지는 항상 정답이 있는 세계였습니다. 스팸인지 아닌지, 가격이 얼마인지 — 누군가 정답을 붙여준 데이터로 배웠어요.

그런데 세상의 데이터 대부분에는 정답표가 없습니다. 여러분의 쇼핑 기록에는 "당신은 이런 유형의 소비자"라는 레이블이 안 붙어 있어요. 그 유형이라는 것 자체를 아무도 정의한 적이 없으니까요.

8회차 「비지도학습」은 정답 없이 배우는 이야기입니다. 손님들을 비슷한 무리로 스스로 묶어내는 군집화, 수백 개의 특징을 몇 개의 축으로 압축하는 차원축소 — 오늘 만난 차원의 저주에 맞서는 무기이기도 하죠 — 그리고 "이 상품을 산 사람들이 저것도 샀습니다"의 정체인 추천 시스템의 원리까지. 정답 없는 데이터에서 기계가 무엇을 찾아낼 수 있는지 보게 될 거예요.

생각해볼 질문

오늘 랜덤 포레스트에서 "다양하게 틀리는 위원회가 한 명의 전문가보다 낫다"는 원리를 봤습니다. 그런데 조건이 하나 있었죠. 위원들이 서로 다른 방향으로 틀려야 상쇄가 일어납니다. 모두 같은 방향으로 틀리면 투표는 오히려 확신에 찬 오답을 냅니다.

사람의 집단 의사결정은 어떨까요? 회의실의 다수결이 랜덤 포레스트처럼 작동하려면 무엇이 보장되어야 할까요? 그리고 비슷한 사람들끼리 모인 조직의 만장일치는 왜 위험할까요?

댓글로 의견을 들려주세요. 기계의 원리가 사람의 조직에도 비추는 거울이 되는, 이런 지점들이 이 시리즈의 숨은 재미입니다.

이 포스트는 SVIL 연구소 「AI 기초 및 활용」 30회 시리즈의 7회차입니다. 하버드 CS50 AI, MIT 6.S191 등 공개 교육과정의 구조를 참고해 2026년 7월 기준으로 작성했으며, 모든 내용은 이미지 없이 본문만으로 이해할 수 있도록 구성되어 있습니다. 모든 이미지에는 내용을 설명하는 대체텍스트가 포함되어 있습니다.