그 싸던 메모리는 왜 갑자기 가격이 폭등했을까

 

언제나처럼 블랙 아이보리 원두를 갈아 드립을 준비한다. 태국 코끼리가 고산지대 최상급 원두를 먹고, 그 원두가 소화(?)되는 과정에서 만들어지는 초콜릿과 견과류, 체리의 복합적인 향은 흉내 내기 어렵다. 루왁? 저렴한 가격을 생각하면 꽤 괜찮은 커피이긴 하다. 지긋지긋하다, 이 지독한 부... 

 

 

상쾌한 페브리즈 no.5를 몸 두르며 출근을 준비하다 발견한 기사가 눈에 띈다.

 

(뉴스1, 링크)

 

‘미친 듯’이란 표현과 2026년 말까지 매진이라는 내용이 눈길을 잡아끈다. 이미 램 가격은 작년 중반과 비교하면 3배가 뛰었다. 올해 PC를 꼭 맞춰야 하는 사람들이라면 취두부 마냥 표정이 썩고 있겠지만, 삼성과 하이닉스 주식을 가진 사람들은 풍년을 맞은 농부의 미소를 지을 것이다. 물론 이 모든 사태는 AI 때문이다. 하지만 AI 하드웨어 투자는 이미 몇 년간 계속됐던 것 아닌가? 왜 하필 작년부터인가?

 

히야신스의 AI 감식반: 천재가 낭비를 줄이기 시작했다(링크)

 

지난번 기사에서 AI가 챗봇에서 에이전트(Agent)로 진화했으며, 모델의 덩치를 키우는 사전 학습에서 추론(Reasoning)으로 개발의 중심이 조금 바뀌고 있다는 이야기를 했다. 이게 메모리 가격과 무슨 상관인지, 누구보다 빠르게 남들과는 다르게 그 원인을 심층 분석해 본다.

 

내 기사를 꾸준히 읽어 온 독자들은 메모리 가격 폭등이 AI 산업 때문이라는 것은 바로 짐작이 갈 것이다. 그 정도는 기사 안 읽어도 안다고? 아무튼, 이는 삼성전자나 SK하이닉스 같은 주요 반도체 제조사들이 일반 메모리 생산 라인은 줄이고 HBM(고대역폭 메모리) 생산은 늘리고 있기 때문이다. DDR4 메모리의 생산 중단이 DDR5 생산이 궤도에 오르기 전과 겹치면서 ‘메모리 보릿고개’가 만들어졌고, 미국의 대중 반도체 제재 역시 일부 영향을 미쳤을 것이다. 하지만 가격 상승의 가장 큰 원인은 역시 AI라고 볼 수 있다. 일시적인 수요의 증가라기보다는, 기술의 조류 변화가 불러온 현상이기 때문에 메모리 가격은 단기간에 안정되지 않을 가능성이 크다.

 

 

알파고에서 LLM으로, AI의 일반화 혁명

 

오늘날 AI라고 하면 당연하다는 듯이 대규모 언어모델(LLM)을 떠올리지만, 불과 몇 년 전까지만 해도 AI는 강화 학습(RL, Reinforcement Learning)을 의미했다. 2016년에 알파고가 이세돌 9단을 이기며 AI 시대의 도래를 알렸다. 하지만 알파고는 바둑판을 벗어나면 무용지물이었다. 강화 학습이라는 학습 과정 그 자체에 근본적인 한계가 있기 때문이다. 강화 학습은 특정 과제를 수행하기 위해 방대한 양의 정제된 데이터와 막대한 훈련 비용을 요구했다.

 

블랙 아이보리 원두는 코끼리의 소화 효소가 커피의 쓴맛을 유발하는 성분을 분해해 쓴맛이 줄어들고 목 넘김이 부드럽다. 하지만 이 우아한 맛을 내기 위해서는 누군가 거대한 코끼리 배설물 더미에서 원두를 손으로 골라내고 세척·건조하는 험난한 일을 해야 한다. 마찬가지로 AI가 고양이를 알아보도록 훈련하려면 개와 고양이와 그 엇비슷한 동물의 사진을 수없이 많이 보여주는 지난한 과정이 필요하다. 게다가 이렇게 힘들게 훈련시켜도 조금만 분야를 틀면, 댄스 플로어에 던져진 빌 게이츠처럼 어찌할 바를 전혀 모르게 된다.

 

강화 학습이 훈련되지 않은 분야에서의 AI

(유튜브, 링크)

 

각각의 AI는 좁은 전문 분야를 한 발짝이라도 벗어나면 전혀 작동하지 않았다. 한 분야에 특화된 지능을 일반화해서 범용으로 적용하는 것은 매우 어려웠다. 게다가 현실 세계에는 깔끔하게 분류된 개와 고양이 데이터 같은 건 없다. 예를 들어 한 고객이 이탈할 확률을 예측하는 데 필요한 데이터는? 현실의 문제는 깔끔하게 라벨링 된 데이터가 아니라, 엑셀 파일과 이메일, 회의록과 소문이 뒤섞인 혼돈 속에 존재할 수도 있다. 무엇을 수집해야 하는지, 그것이 신호인지 잡음인지조차 알 수 없는 경우가 대부분이다.

 

그러다 LLM이 등장하면서 판도가 조금씩 바뀌기 시작했다. 2017년 구글이 발표한 트랜스포머 아키텍처를 기반으로 대규모 언어 모델이 등장한 것이다. 이 모델은 인터넷에 존재하는 방대한 텍스트를 학습하여 언어뿐만 아니라 세상에 대한 상식과 맥락을 배우기 시작했다. LLM이 현실 세계에 대한 선행 지식을 갖추고 인간과 자연어로 소통하면서 강화 학습이 넘지 못했던 일반화의 벽을 허물고 있다.

 

 

AI의 후반전: 추론 능력의 부상

 

오픈AI(OpenAI) 연구원이었던 야오 슌위(Shunyu Yao)는 이러한 변화를 AI의 후반전이라고 표현한다. 불과 2년 전까지만 해도 단 하나의 방법으로 소프트웨어 엔지니어링, 창의적 글쓰기, 국제 수학 올림피아드 수준의 고난도 수학 문제 풀기, 마우스와 키보드 조작 등을 해결할 수 있다고 주장했다면 비웃음을 샀을 것이다. 그러나 이 일이 실제로 일어나고 있다. 강화 학습(RL)이 마침내 일반화되고 있다.

 

 

과거의 AI가 특정 문제를 위해 맞춤 제작된 전용 도구에 가까웠다면, 현재의 AI는 범용 도구에 가까워졌다. LLM이 맥락을 이해하고 유연하게 대응할 수 있는 토대가 되었기 때문이다. 마침내 AI를 실제 현장의 다양한 상황에서 활용할 수 있게 되었다. 야오 슌위와 많은 연구자들은 LLM이 언어와 추론을 사용하여 강화 학습(RL)의 한계를 넘는 효과적인 레시피를 손에 넣었다고 선언했다.

 

(야오 슌위 깃허브, 링크)

 

지금까지는 더 많은 데이터를 넣어 더 큰 모델을 만드는 훈련(Training)이 중심이었다. 모든 데이터를 긁어모아 학습시키며 파라미터의 크기를 키우는 것이 가장 중요했다. 하지만 이제는 모델의 크기가 아니라 모델이 복잡한 문제를 얼마나 논리적으로 풀어낼 수 있느냐가 상대적으로 더 중요해졌다. 예전에는 모델의 크기(파라미터)를 키우는 데 집중했지만, 이제는 AI가 답을 내놓기 전에 깊이 생각하는 추론(Reasoning) 능력이 핵심이 되었다.

 

전반전에 벤치마크 점수를 높이는 데 집중했다면, 후반전에는 실제 세계에서 인간 및 환경과 상호작용을 하며 경제적 가치를 만들어 내는 데 집중한다. 전반전의 승자가 혁신적 모델을 만들고 발전시키는 연구자들이었다면, 후반전의 승자는 이를 활용해 유용한 제품을 설계하는 이들이 될 것이다.

 

 

인퍼런스와 리즈닝

 

AI 모델(LLM)은 컴퓨터가 특정 정보를 불러오는 방식과는 완전히 다르게 작동한다. 방대한 텍스트 데이터에서 불러온다기보다는 ‘추론(Inference)’을 한다. 인간의 뇌는 하드디스크의 정보를 불러오는 방식과는 전혀 다르다. 대신 학습한 개념에 대한 이해를 바탕으로 생각한다. AI도 비슷하다. 모델이 훈련을 마치고 나면, 훈련 자료로 사용한 데이터에는 더 이상 접근하지 않는다. 모델은 훈련을 통해 조정된 매개변수(가중치)값만 가지고 추론을 수행한다. 즉, LLM은 훈련 데이터를 저장소로 쓰는 것이 아니라, 그 데이터를 통해 세상을 이해하는 법을 배운 뒤, 그 학습된 능력(매개변수)만을 가지고 작동한다.

 

여기서 약간의 용어 정리가 필요하다. Inference와 Reasoning이 한국어로는 똑같이 ‘추론’이라고 번역되어 혼란을 주고 있다. 엔지니어들의 말이 일반인과 달라 서로 잘 통하지 아니하므로, 흔히 뇌 과학 개념을 빌려 Inference와 Reasoning을 설명한다. 인퍼런스가 단순한 사칙연산에 즉각적으로 답을 도출하는 것에 가깝다면, 리즈닝은 수학 문제를 연습장에 풀이 과정을 적어 가며 논리적으로 따져보는 과정과 비슷하다.

 

대니얼 카너먼(Daniel Kahneman)의 ‘생각에 관한 생각’에 나오는 시스템 1이란 직관적, 본능적, 자동적, 즉각적인 시스템을 말한다. 반면 시스템 2는 논리적, 분석적, 의식적 노력을 말한다. 인퍼런스(Inference)는 시스템 1에 해당한다. 질문을 듣자마자 직관적으로 튀어나오는 답이다. 모델 내에 사전 학습된 것을 답변하는 것뿐 아니라, 외부 문서를 검색해 제공하는 기능(Knowledge Retrieval)도 인퍼런스에 해당한다. 따라서 RAG(검색 증강 생성) 역시 인퍼런스에 포함되는 개념이다.

 

리즈닝(Reasoning)은 뇌 과학에서 언급하는 시스템 2에 해당한다. 결과의 즉각적인 출력이 아니라, 복잡한 문제를 해결하기 위해 논리적인 사고 과정을 거치는 것을 말한다.

 

즉 인퍼런스는 시스템 1의 빠른 직관에, 리즈닝은 시스템 2의 숙고에 해당한다. 따라서 하드웨어와 관련해서 속도와 효율을 언급하는 ‘추론’이라면 대개 인퍼런스를 의미하고, AI가 사고하는 방식에 관한 ‘추론’은 리즈닝(Reasoning)을 의미하는 경우가 대부분이다.

 

 

추론 모델의 등장

 

추론 모델을 최초로 도입한 것은 OpenAI였다. 국제 수학올림피아드 예선 시험에서 기존 모델인 GPT-4o는 9.3%를 기록할 때, o1 모델은 74.4%를 기록했다. 시간을 들여 더 오래 생각할수록 성능을 향상시킬 수 있음을 입증한 것이다. 물론 o1은 GPT-4o보다 거의 30배는 더 느렸다. 오래 생각하는 만큼 더 많은 비용이 발생하는 건 당연하다.

 

DeepSeek는 여기에 더해서 MoE(Mixture of Experts) 아키텍처와 MLA(Multi-head Latent Attention) 등의 기술을 도입했다. o1 등의 기존 모델보다 상대적으로 적은 비용으로 고성능 추론을 구현할 수 있음을 입증했다. AI 발전이 단순히 더 많은 컴퓨팅 파워를 투입하는 것을 넘어, 새로운 방법론을 통해 도약할 수 있음을 증명해 보인 것이다. 이렇듯 추론(Reasoning) 기술의 등장은 AI 발전의 로드맵 자체를 바꾸게 했다.

 

중국의 신무기, 딥시크(DeepSeek): 무엇이 충격이고, 무엇이 거짓인가(링크)

 

DeepSeek는 실리콘밸리가 아니라 중국의 퀀트 헤지펀드에서 2023년 분사한 회사다. 퀀트 업계에서 속도와 효율성은 선택이 아니라 생존의 조건이다. 이런 배경 때문에 DeepSeek는 모델 최적화 기술에 유독 강점을 보인다. 제프 베조스의 헤어스타일마냥 군더더기 없는 효율을 추구하는 것도 이 문화의 연장선이다.

 

DeepSeek는 최근 논문을 통해 새로운 모델 최적화 기술을 공개했다. 기존 트랜스포머 모델은 뻔한 단어나 관용구를 생성할 때조차 GPU에서 값비싼 행렬 연산을 수행해야 했다. 하지만 DeepSeek가 제안한 새로운 접근법(N-gram)은 이 구조 자체의 변화를 꾀하고 있다. GPU 연산 중심 패러다임을 메모리 용량 중심으로 전환하여 비용 효율성을 극대화하려는 시도로 해석된다. 공급이 부족하고 값비싼 HBM 대신, 상대적으로 용량 확장이 쉽고 저렴한 일반 서버용 DRAM을 활용하여 성능을 높일 수 있는 길이 열린 것이다. 결국 AI 시대에 메모리 반도체는 어느 쪽이든 수요가 늘 수밖에 없다.

 

 

 

에이전틱 AI 시대

 

2026년에는 일반인들도 엑셀을 다루듯 에이전틱 AI를 활용하게 될 가능성이 크다. 이를 보여주는 사례가 앤트로픽이 최근 공개한 ‘클로드 코워크(Claude Cowork)’다. 클로드 코워크의 출발점은 개발자용 도구였던 ‘클로드 코드(Claude Code)’였다. 클로드 코드는 개발자가 자연어로 지시하면 코드를 작성·수정·실행까지 수행하는 AI 에이전트다.

 

그런데 출시 이후, 비개발자들까지 이 도구를 활용해 문서 작성, 자료 정리, 업무 자동화 등 코딩과 무관한 작업을 수행하기 시작했다. 앤트로픽은 이 사용 패턴을 토대로 클로드 코드를 범용 업무 에이전트로 확장했고, 그 결과물이 클로드 코워크다.

 

클로드 코워크는 기존 기술을 바탕으로 한 확장형 제품이지만, 개발에는 단 10일밖에 걸리지 않았다. 특히 코드의 90%를 클로드 코드가 작성했다는 점도 흥미롭다. AI 도구가 자신의 기능을 확장하는 또 다른 AI 도구를 개발한 셈이다. 우리는 AI가 더 나은 AI를 만드는 자기 강화 피드백의 극초반 단계를 목격하고 있는지도 모른다. 소프트웨어 개발이 AI를 중심으로 이뤄지고 있는 점은 개발 현장에서는 너무도 당연한 현실이 됐다.

 

이제 현업에서 AI 활용 경쟁력의 핵심은 모델 자체의 성능보다, 이를 어떤 데이터 파이프라인 위에 올리고 어떤 에이전트들과 결합하느냐, 그리고 운영과 비용을 어떻게 최적화하느냐의 단계로 넘어갔다. 모델의 성능도 중요하지만, 워크플로우를 어떻게 짜느냐가 더 중요하다. 한 번의 답변(인퍼런스)이 아니라 여러 개의 에이전트가 각각 적절한 절차로 수십 번, 수백 번의 루프를 실행하도록 설계하는 것이 더 중요해졌다. 인간이 조사하고 판단하던 시간은 AI에 의해 압축되고 있다.

 

 

물리 AI와 로보틱스의 새 지평

 

에이전트의 파급력은 주로 지식 노동의 영역에 머물러 있었다. 그러나 AI의 추론 능력이 진짜 위력을 발휘하는 순간은 지능이 물리적인 몸과 결합할 때다. 엔비디아의 젠슨 황이 ‘물리 AI(Physical AI)’를 강조하는 이유도 여기에 있다. 기존의 로봇은 학습 데이터 범위를 벗어나면 대응하지 못했다. 하지만 추론 모델을 탑재한 로봇은 다를 수 있다. 예컨대 도로 앞에 공사 표지판이 있다? 평소와 다르지만, 인부가 수신호를 보내고 있다면 “천천히 지나가야겠다”라고 상황을 해석하고 행동을 선택할 수 있다. 엔비디아는 이러한 추론이 로봇을 단순한 반응을 넘어 의도를 가진 행동을 가능하게 할 것이라고 본다. AI의 후반전 마지막 부분은 모니터를 뚫고 나와 우리 곁에서 걷고, 일하고, 인간과 상호작용을 하는 기계들의 시대가 될 것이다.

 

 

AI 확산의 신호탄

 

 

최근 OpenAI를 비롯한 AI 기업들이 믿기 힘든 규모의 금액을 투자하고 있다. 어느 날 갑자기 메모리 가격이 세 배 뛰었다는 단편적인 뉴스를 통해 이제 누구나 AI의 간접적인 영향력을 체감하고 있다. 그렇다면 이런 뉴스들을 우리는 어떻게 받아들여야 할까? 개인적으로는 AI가 경제 전반에 확산될 신호로 보고 있다. 단편적인 뉴스들은 결국 하나의 지점을 가리키고 있다. AI가 스스로 생각하고(Reasoning) 실행하며(Agent), 현실 세계를 움직이는(Physical AI) 거대한 경제 동력으로 완전히 자리 잡게 될 것이라는 점이다. 이 변화의 파도는 이제껏 인류가 겪어온 그 어떤 기술 혁명보다 빠르고, 강렬하게 우리의 일상을 파고들 준비를 마쳤다.

 

 

 

편집: 이현화

마빡 디자인: 꾸물

기사: 히야신스

 

제보 및 연재 문의

ddanzi.master@gmail.com