오픈AI가 만든 칩이 엔비디아를 앞섰습니다 — 할라피뇨 첫 성적표와 와트당 1.9배

SVIL - Singularity Visual Intelligence Lab 2026. 08. 26 15 min read

자기가 쓸 칩을 직접 만들겠다고 말하는 회사는 많습니다. 그 칩이 실제로 얼마나 빠른지 숫자로 내놓는 회사는 훨씬 적습니다.

오픈AI가 2026년 8월 25일 자사 첫 추론 전용 칩 할라피뇨(Jalapeño)의 첫 성적표를 공개했습니다. 상대는 지금 시장에서 가장 강한 엔비디아 GB200과 GB300이었고, 오픈AI가 제시한 수치는 와트당 처리량 1.5~1.9배, 지연 1.7~3.6배 개선이었습니다.

오늘은 이 숫자가 무슨 뜻인지, 그리고 이 칩이 엔비디아에게 당장 무엇을 의미하는지 차근차근 보겠습니다.

칠흑 속에 나란히 뜬 두 개의 매끈한 정육면체 가운데 오른쪽이 훨씬 강하게 빛나는 개념 이미지 — 성능 우위를 표현

오픈AI가 자기 칩의 성적표를 처음 공개했습니다

2026년 8월 25일, 오픈AI가 공식 블로그에 할라피뇨의 첫 벤치마크 결과를 올렸습니다. 같은 날 스탠퍼드에서 열린 반도체 학회 핫칩스 2026에서도 발표가 있었습니다.

발표 제목은 「You Can Just Build Things … Chips」였고, 하드웨어 프로그램을 이끄는 리처드 호를 비롯해 라비 나라야나스와미, 크리스 리어리가 발표자로 나섰습니다.

칩 자체는 6월에 공개됐지만, 성능 수치가 공식적으로 나온 것은 이번이 처음입니다.

할라피뇨는 무슨 칩인가

할라피뇨는 추론 전용 가속기입니다. AI 모델을 학습시키는 데 쓰는 칩이 아니라, 이미 학습된 모델이 사용자 요청에 답을 만들어 내는 단계만 담당합니다.

오픈AI는 이 칩을 챗GPT와 코딩 에이전트 코덱스의 연산 수요를 감당하기 위해 만들었다고 밝혔습니다. 즉 남에게 팔 상품이 아니라 자기 서비스를 돌릴 설비입니다.

모든 이음새와 모서리를 따라 청록빛이 흐르는 육각 기둥 하나가 홀로 떠 있는 개념 이미지 — 전용 칩을 표현

9개월 만에 설계된 칩

오픈AI는 이 칩을 백지에서 시작해 9개월 만에 설계했다고 말합니다. 반도체 업계 기준으로는 대단히 짧은 기간입니다.

가능했던 이유는 목표를 좁혔기 때문입니다. 무엇이든 잘하는 칩을 만들려 하지 않고, 자사 모델을 추론하는 한 가지 작업만 겨냥했습니다.

브로드컴과 함께 만들었습니다

설계와 제조 파트너는 브로드컴입니다. 2025년 오픈AI가 브로드컴에 첫 AI 프로세서 개발을 맡긴다는 소식이 전해졌고, 2026년 6월 두 회사가 할라피뇨를 공동 공개했습니다.

브로드컴은 고객 맞춤형 칩(ASIC) 설계에서 오랜 실적을 가진 회사입니다. 대형 플랫폼 기업들의 자체 가속기 개발에 오래 관여해 왔습니다.

거칠게 깨진 면을 가진 거대한 다면체가 안쪽으로 무너지며 작고 매끈한 청록 사면체로 수렴하는 개념 이미지 — 짧은 설계 기간을 표현

GPU가 아니라 ASIC입니다

할라피뇨는 GPU가 아니라 특정 용도에 맞춰 회로를 고정한 ASIC입니다. 범용성은 GPU보다 떨어지지만 대신 값이 싸고, 정해진 작업에서는 훨씬 효율이 좋습니다.

엔비디아 GPU가 만능 공구 세트라면, ASIC은 한 가지 나사만 돌리도록 벼려 낸 전용 드라이버에 가깝습니다. 다른 일은 못 하지만 그 나사만큼은 빠르게 돌립니다.

추론 전용이라는 선택

학습과 추론은 요구 조건이 다릅니다. 학습은 거대한 데이터를 한꺼번에 밀어 넣는 힘이 필요하고, 추론은 요청 하나하나에 빠르게 답하는 민첩함이 필요합니다.

오픈AI는 이 둘을 한 칩으로 다 하려 하지 않고 추론만 떼어 냈습니다. 실제로 서비스 비용이 나가는 쪽도 학습보다는 매일 돌아가는 추론입니다.

두 개의 어두운 쐐기가 하나의 밝은 청록 모서리를 따라 단단히 맞물린 개념 이미지 — 두 회사의 협력을 표현

첫 성적이 나온 자리, 핫칩스 2026

핫칩스는 매년 스탠퍼드에서 열리는 반도체 설계 학회입니다. 2026년 행사는 8월 23일 튜토리얼로 시작해 24~25일 본 회의로 진행됐습니다.

칩 회사들이 신제품의 내부 구조를 비교적 자세히 공개하는 자리라, 업계에서는 홍보 자료보다 신뢰도가 높은 무대로 봅니다.

세미애널리시스 인퍼런스X라는 잣대

이번 측정에 쓰인 잣대는 반도체 분석 기관 세미애널리시스의 인퍼런스X 벤치마크입니다. 오픈AI가 자체적으로 만든 기준이 아니라 외부의 공개 척도를 썼다는 점이 중요합니다.

이 벤치마크는 사용자 한 명이 체감하는 초당 토큰 수와 전력 1킬로와트당 전체 처리량을 함께 봅니다. 속도만 재는 것이 아니라 전기 대비 효율을 같이 재는 잣대입니다.

두 덩어리 사이의 좁고 강렬한 청록 틈과 그 옆에 놓인 넓게 열린 어두운 고리를 대비시킨 개념 이미지 — 전용 칩과 범용 칩의 차이를 표현

와트당 1.5배에서 1.9배

오픈AI가 내놓은 첫 숫자는 전력당 성능입니다. 같은 전기를 쓸 때 할라피뇨가 엔비디아 시스템보다 1.5배에서 1.9배 많은 일을 했다고 밝혔습니다.

데이터센터에서 전력은 사실상 가장 비싼 자원입니다. 전기를 더 끌어올 수 없는 상황에서 와트당 성능이 두 배 가까이 오르면, 같은 건물에서 처리할 수 있는 요청 수가 그만큼 늘어납니다.

지연은 1.7배에서 3.6배 낮았습니다

두 번째 숫자는 지연입니다. 사용자가 요청을 보내고 첫 글자가 돌아올 때까지 걸리는 시간이 1.7배에서 3.6배 짧았다고 합니다.

챗봇에서는 이 차이가 곧바로 체감됩니다. 답이 뜨기까지 3초를 기다리는 것과 1초를 기다리는 것은 같은 서비스라도 전혀 다른 물건처럼 느껴집니다.

여러 갈래의 평행한 청록 광선이 하나의 좁은 틈으로 압축되는 개념 이미지 — 추론 한 가지에 집중한 설계를 표현

어떤 모델로 쟀나

측정에 쓰인 모델은 세 가지였습니다. 오픈AI의 공개 가중치 모델 GPT-OSS 120B, 딥시크의 R1, 그리고 키미 K2.5 1T입니다.

자기 회사 모델 하나로만 재지 않고 다른 곳의 공개 모델까지 포함한 점은 평가에 유리하게 작용합니다. 특정 모델에만 맞춘 최적화라는 반박을 어느 정도 막아 주기 때문입니다.

상대는 GB200과 GB300이었습니다

비교 대상은 엔비디아의 블랙웰 계열 시스템 GB200과 GB300입니다. 현재 대규모 추론 현장에서 가장 널리 쓰이는 구성입니다.

즉 오픈AI는 한 세대 뒤진 물건이 아니라 지금 팔리고 있는 최신 시스템을 상대로 수치를 냈습니다.

서로 다른 깊이에 흩어져 떠 있는 여러 육각형 가운데 하나만 유독 밝은 개념 이미지 — 반도체 학회에서의 발표를 표현

처리량과 지연을 동시에 잡았다는 주장

오픈AI 주장의 핵심은 둘을 동시에 개선했다는 것입니다. 기존 하드웨어에서는 처리량을 올리면 지연이 늘고, 지연을 줄이면 처리량이 떨어지는 맞교환이 흔했습니다.

요청을 많이 모아서 한꺼번에 처리하면 전체 효율은 오르지만 개별 사용자는 더 오래 기다립니다. 할라피뇨는 하나의 구조로 이 둘을 함께 잡았다고 말합니다.

프리필과 통신이 병목이라는 진단

오픈AI가 지목한 병목은 두 군데입니다. 하나는 프리필 단계로, 사용자가 넣은 긴 질문을 모델이 한 번에 읽어 들이는 과정입니다.

다른 하나는 칩들 사이의 통신입니다. 큰 모델은 칩 한 장에 들어가지 않아 여러 장에 나눠 올리는데, 그 사이 데이터가 오가는 시간이 계산 시간만큼 커질 수 있습니다.

거의 빛나지 않는 커다란 고리 안쪽에 밝은 청록 구가 떠 있는 개념 이미지 — 외부 잣대로 측정한 성능을 표현

데이터 이동을 줄이는 설계

오픈AI는 데이터 이동과 통신 지연을 최소화하도록 할라피뇨를 설계했다고 밝혔습니다.

연산 자체보다 데이터를 옮기는 데 전기가 더 많이 드는 것은 오래된 문제입니다. 계산 단위를 더 많이 넣는 대신 옮기는 거리를 줄이는 쪽을 택했다는 뜻으로 읽힙니다.

왜 전력당 성능이 핵심 지표가 됐나

몇 년 전만 해도 칩 성능은 초당 연산 횟수로 이야기했습니다. 지금은 전력 1와트로 얼마나 일하느냐가 먼저 나옵니다.

데이터센터를 새로 짓는 속도보다 AI 수요가 빨리 늘면서, 전기를 더 끌어오는 것 자체가 몇 년짜리 과제가 됐기 때문입니다. 전력이 고정된 상황에서는 효율이 곧 용량입니다.

작은 어두운 정육면체가 자기 몸집보다 훨씬 큰 청록빛을 뿜어내는 개념 이미지 — 전력 대비 성능을 표현

추론 비용이 서비스 원가를 정합니다

모델을 한 번 학습시키는 비용은 크지만 한 번으로 끝납니다. 반면 추론은 사용자가 쓸 때마다 매번 전기를 씁니다.

서비스가 커질수록 원가에서 추론이 차지하는 비중이 커집니다. 요금을 내리려면 결국 추론 단가를 내려야 하고, 그 답 중 하나가 전용 칩입니다.

자체 칩을 만드는 회사들

자기 칩을 만드는 것은 오픈AI만의 일이 아닙니다. 구글은 오래전부터 TPU를 써 왔고, 아마존은 트레이니엄과 인퍼런시아를, 메타도 자체 가속기를 개발해 왔습니다.

공통점은 모두 자기 서비스 규모가 충분히 커서 전용 칩 개발비를 회수할 수 있는 회사라는 점입니다. 오픈AI도 이제 그 규모에 들어갔다고 판단한 셈입니다.

칠흑 속을 나란히 지나가는 아주 짧은 청록 광선과 훨씬 긴 흐릿한 광선을 대비시킨 개념 이미지 — 지연 시간 차이를 표현

엔비디아 의존을 줄이려는 흐름

AI 인프라를 짓는 회사 대부분이 엔비디아 한 곳에서 칩을 사 옵니다. 공급이 밀리면 사업 계획이 통째로 밀리고, 가격 협상력도 약해집니다.

자체 칩은 그 의존을 줄이는 지렛대입니다. 전부를 대체하지 못하더라도, 대체 가능한 물건이 있다는 사실 자체가 협상 조건을 바꿉니다.

회사가 낸 성적표를 읽을 때 주의할 점

이번 수치는 오픈AI가 스스로 측정해 발표한 값입니다. 외부 벤치마크를 썼다는 점은 신뢰를 더하지만, 측정 조건을 고른 쪽은 여전히 오픈AI입니다.

실제 서비스 환경에서는 소프트웨어 성숙도, 안정성, 장애 대응 같은 요소가 함께 작용합니다. 엔비디아가 오랫동안 쌓아 온 소프트웨어 생태계는 벤치마크 표에 안 나오는 자산입니다.

구와 사면체와 열린 고리, 서로 다른 세 입체가 멀찍이 떨어져 청록빛 테두리를 두른 개념 이미지 — 세 종류 모델로 측정했음을 표현

배치 일정, 2026년 말 소량에서 2027년 확대로

리처드 호는 할라피뇨가 2026년 말에 아주 적은 물량으로 배치되기 시작하고, 본격적인 확대는 2027년이 될 것이라고 밝혔습니다.

즉 지금 당장 오픈AI의 서비스가 이 칩으로 돌아가는 것은 아닙니다. 성적표는 나왔지만 현장 투입은 아직 앞에 있습니다.

소량 배치가 뜻하는 것

새 칩은 처음부터 대량으로 깔지 않습니다. 실제 트래픽을 소량으로 받아 보며 예상 못 한 문제를 찾아내는 기간이 필요합니다.

이 단계에서 발열, 안정성, 소프트웨어 호환 문제가 드러나는 일이 흔합니다. 벤치마크와 운영은 다른 시험이라고 보는 것이 안전합니다.

얇은 청록 간극을 사이에 두고 마주 선 두 개의 거대한 각진 덩어리를 담은 개념 이미지 — 경쟁 시스템과의 대결을 표현

엔비디아에게 당장 위협인가

당장은 아닙니다. 할라피뇨는 외부에 팔지 않는 자가 소비용이고, 물량도 2027년에야 늘어납니다.

다만 방향은 분명합니다. 엔비디아의 가장 큰 고객군이 스스로 추론용 칩을 갖추기 시작하면, 시간이 지날수록 학습용 수요는 남고 추론용 수요는 일부 빠져나갑니다.

실제 사례, 챗GPT와 코덱스가 첫 수요처입니다

오픈AI가 밝힌 첫 적용 대상은 챗GPT와 코딩 에이전트 코덱스입니다. 둘 다 사용자가 결과를 기다리는 시간이 곧 만족도인 서비스입니다.

코딩 에이전트는 특히 지연에 민감합니다. 코드를 고치고 실행하고 다시 고치는 과정을 여러 번 반복하기 때문에, 한 번의 지연이 전체 작업 시간에 누적됩니다.

할라피뇨가 발표대로 동작한다면 사용자가 먼저 체감하는 변화는 답이 빨리 뜬다는 점일 것입니다.

빽빽하게 맞붙은 작은 정육면체들 사이 틈으로 강렬한 청록빛이 새어 나오는 개념 이미지 — 데이터 이동 거리를 줄인 설계를 표현

핵심 정리

오픈AI가 브로드컴과 만든 추론 전용 칩 할라피뇨의 첫 벤치마크가 2026년 8월 25일 공개됐습니다.

세미애널리시스 인퍼런스X 기준으로 엔비디아 GB200·GB300 대비 와트당 처리량 1.5~1.9배, 지연 1.7~3.6배 개선을 주장했습니다.

측정에는 GPT-OSS 120B, 딥시크 R1, 키미 K2.5 1T가 쓰였고, 병목으로 지목된 것은 프리필과 칩 간 통신이었습니다.

배치는 2026년 말 소량으로 시작해 2027년 확대될 예정이라, 시장에 미치는 실제 영향은 아직 앞에 있습니다.

참고하실 만한 것

AI 서비스 요금이 왜 계속 바뀌는지 궁금하셨다면, 이번 이야기가 그 배경입니다. 요금의 바닥에는 추론 한 번에 드는 전기값이 있습니다.

칩 성능 발표를 읽으실 때는 세 가지만 확인하시면 됩니다. 누가 측정했는지, 상대가 현행 제품인지, 그리고 언제 실제로 배치되는지입니다.

SVIL은 이런 AI 소식을 큰 글씨와 쉬운 설명으로 정리해 전해 드리고 있습니다.

출처

협업문의 : kuroicode@gmail.com
블로그 : https://blog.svil.dev/
홈페이지 : https://svil.dev/