AMD, 모델을 칩에 '각인'하는 Taalas 인수…추론 전용 실리콘 승부수

AMD가 추론 전용 실리콘 경쟁에 한 발 더 들어갔다. 회사는 캐나다 토론토의 AI 칩 스타트업 Taalas를 인수하기로 합의했다고 8월 6일 밝혔다. Taalas는 범용 GPU에 모델을 얹어 돌리는 대신, 특정 모델의 아키텍처와 학습된 파라미터 자체를 칩 회로에 새겨 넣는 접근을 택한다. 그 결과 추론은 극단적으로 빨라지지만, 칩 하나는 사실상 하나의 모델에만 묶인다. 인수 금액은 공개되지 않았다.

'모델-인-실리콘'이란

일반적인 AI 가속기는 외부 메모리에서 가중치를 계속 읽어 와 연산한다. 이때 병목은 연산기가 아니라 메모리 대역폭, 이른바 '메모리 월(memory wall)'이다. Taalas는 이 문제를 아예 우회한다. 모델 가중치를 마스크 ROM 형태로 칩 안에 고정해, 외부 메모리를 오가는 비용을 없애는 것이다. 대표 칩 HC1은 TSMC N6 공정에서 약 530억 개 트랜지스터로 Llama 3.1 8B 전체를 담았고, Taalas는 사용자당 초당 약 1만7000토큰(약 200W)을 낼 수 있다고 제시했다. 회사는 이를 엔비디아 H200·B200 대비 수십 배 빠른 수치라고 주장한다(제조사 주장, 독립 벤치마크로 아직 검증되지 않음).

극단적 속도의 대가 — 유연성

이 방식의 약점은 분명하다. 가중치를 실리콘에 굳혀 넣으므로, 칩은 각인된 그 모델만 돌릴 수 있다. 모델이 바뀌면 새 칩을 떠야 한다. Taalas는 모델별로 약 100개 금속층 중 2개 층만 커스터마이즈해, 특정 모델용 칩을 TSMC에서 약 2개월 만에 찍어낼 수 있다고 설명한다. 그럼에도 '한 칩=한 모델'이라는 제약은 모델이 빠르게 교체되는 프런티어 영역보다는, 대량·장기 서빙되는 안정된 모델에 유리한 구조다.

AMD는 왜 샀나

AMD는 Taalas 칩을 자사 Instinct GPU 옆에 배치해, Helios 랙과 Epyc CPU에 함께 묶고 ROCm 소프트웨어로 프로그래밍하는 그림을 그린다. AMD AI 그룹 담당 임원은 목표가 '선택지'라며, 고객에게 "모든 AI 워크로드에 맞는 올바른 컴퓨팅"을 제공하는 것이라고 밝혔다. 즉 GPU를 대체하는 게 아니라, 추론이라는 특정 전장에서 GPU가 놓치는 효율을 메우는 보완재로 붙이겠다는 것이다.

관전 포인트

핵심은 두 가지다. 첫째, '한 칩=한 모델' 제약을 실제 데이터센터 운영에서 어떻게 소화하느냐다. 모델 교체 주기가 짧으면 각인 칩의 경제성은 흔들린다. 둘째, 제조사 제시 성능이 독립 벤치마크에서 재현되느냐다. 초당 토큰 수와 전력 효율은 아직 Taalas 자체 수치이며, 실사용 환경의 지연·정확도까지 포함한 검증이 남아 있다.