메타가 잉여 AI 클라우드 리소스를 파니까 AI 투자 과잉이라고?

메타가 잉여 AI 클라우드 리소스를 판다는 소식에 한바탕 난리가 난 것 같다. 왜냐하면 이게 AI 클라우드가 여력이 남는다는 말로 해석이 되었고 이어서 AI 과잉 투자론으로 이어졌기 때문이다. 그리고 이는 메모리주의 폭락으로도 이어졌다.

AI 투자가 과잉이라면 이제 메모리도 끝물이라는 걸까?

AI의 대충 두 가지 분류

AI에는 대충 학습과 추론 영역으로 나누어져 있다. 이미 상식선의 정보가 되어버렸겠지만 그래도 글을 위해서 간단히만 정리하고 넘어가자.

학습은 모델을 만드는 과정으로 많은 연산과 빠른 메모리가 필요해 주로 GPU와 HBM이 많이 들어간다.

추론은 모델을 이용해 사용자의 요구에 맞는 답을 도출해 내는 것으로 모델을 통째로 메모리에 올려야 하는 데다 콘텍스트도 보관해야 하는 만큼 많은 메모리가 필요하다. 그래서 HBM 혹은 DRAM이 많이 필요하다.

이제 본론으로 돌입할 시간이다.

그럼 메타가 이번에 판다는 건 무엇일까?

메타가 판다는 건 '메타 컴퓨트'라 불리는 사업이다. 국내 언론에서는 명확하게 정리해 주지는 않고 있지만 여기에는 학습과 추론 양쪽 사업이 포함되어 있다.

그런데 추론 사업 쪽은 PaaS 사업 형태로 Llama 모델을 올려서 일반적인 추론 서비스 혹은 API를 제공하는 형태로 이미 판매가 되고 있는 사업이다. 그렇다면 이번 발표와는 상관이 낮다고 보는 게 합리적일 것 같다.

즉 이번에 메타가 판매한다는 네오클라우드라는 건 거대 GPU 클러스터를 임대하는 형태 즉 잉여 학습 리소스를 판매한다는 개념으로 접근하는 게 합리적일 것 같다.

어쨌든 잉여 리소스가 있다는 말이잖아?

학습이 추론과 다른 특징이 하나 더 있다면 1년 365일 24시간 컴퓨터를 굴리는 그런 일이 아니라는 점이다. 전략이나 목표가 수립되고 학습용 자료가 준비되면 그때야 학습을 진행하며 단기간에 엄청나게 많은 부동소수점 행렬 연산과 이를 뒷받침할 크고 빠른 메모리 등의 컴퓨팅 리소스를 소모한다.

하지만 학습이 완료되면 그 이후 모델에 대한 평가가 완전히 진행되기 전까지 다음 학습은 없는 대기 즉 대기(잉여) 상태가 된다. 굳이 다른 걸 학습할 필요가 없으니 말이다. 잘못된 학습이나 과잉 학습은 모델을 품질을 오히려 망가뜨리기도 하니 말이다.

결과적으로 현재도 AI 학습 사업에서 잉여 리소스는 꾸준히 발생하고 있다.

그렇다고 현재의 학습 AI 시장은 과연 투자 과잉 상태일까?

적어도 그건 아니라고 본다. 여전히 모델을 개발하려는 수요는 짱짱하지만 접근하기엔 너무 방대한 리소스를 요구한다. 여전히 수요가 넘치는 데 과잉 투자일 리가 없다.

잉여 리소스가 있다고 해서 하드웨어를 더 슬림하게 구성할 수도 없다. 여기서 남는 건 일부 리소스가 아니라 학습 클러스터 자체가 일시적으로 일을 안 하고 노는 시간에 가깝다. 그리고 학습이 진행될 때는 학습 클러스터의 방대한 리소스가 꼭 필요할 수밖에 없다. 그래서 학습 클러스터를 슬림하게 만들 수도 없는 것이다.

그럼 이제 뭘 봐야 할까

결과적으로 AI 과잉투자론에 대해서는 좀 호들갑이 있다고 생각된다. 아마도 지난 SRAM 사태나 구글의 터보퀀트 사태와 비슷한 느낌이 드는 것 같다. 메타의 추가 사업은 최소한 추론에 관한 건 아니라고 보이며 따라서 DRAM 수요는 여전히 강력할 것이라 보는 게 합리적일 것 같다.

물론 이게 AI 과잉투자론이 잘못되었다는 직접적인 근거는 아니다. 어디까지나 개인의 생각과 판단이며 그마저도 전체의 일부에 해당하는 것뿐이다. 그저 GPU나 HBM, DRAM, NAND 등의 수요가 감소할 수 있다는 설에는 근거가 부족하다는 이야기일 뿐이다.

투자 과잉 이야기는 하이퍼스케일러들의 IR에서 투자 규모를 줄일 거라는 계획이 나와야 판단 가능할 것 같다. 그러니까 당장의 메타발 소식에 과민 반응할 필요는 없을 것 같다. 다른 AI 서비스들의 인프라 부족하다며 난리인 걸 생각해 보면 적어도 추론 시장은 아직 투자 부족 상태로 보는 게 합리적일 듯하다.

다만 문제는 리포트를 통해 반도체에 대한 비중 축소 권고가 조금씩 나오고 있다는 것 같다. 개인적으로 전일 미장과 오늘 국장 반도체가 빠진 건 이런 리포트 영향도 충분히 겹쳐 있을 거라 생각된다. 사실이 어떤지는 잘 모르겠지만 대응은 필요한 시기인 건 분명해 보인다.

어디까지나 개인의 생각일 뿐이니 너무 깊게는 생각하지 말자. 하지만 비슷한 류의 의견이 많이 보여서 완전히 틀린 건 또 아닌 것 같기도 하다. 그냥 좋게 생각하면 편할 것 같다.