대형 언어모델(LLM) 아키텍처의 표준으로 자리 잡은 트랜스포머는 어텐션 메커니즘 덕분에 모든 토큰이 이전 토큰을 직접 참조할 수 있다는 강력한 장점을 갖는다. 하지만 시퀀스가 길어질수록 토큰 간 상호작용이 급격히 늘어나고, 추론 시 KV 캐시가 차지하는 메모리도 함께 커진다는 비용 문제가 따라붙는다. 반대로 RNN 계열 모델은 과거를 고정 크기 은닉 상태(hidden state)로 압축하기 때문에 효율적이지만, 시퀀스가 길어질수록 압축이 과해져 앞쪽 정보를 정확히 회상하지 못하는 한계가 있었다.
무엇이 새로운가
구글 연구진이 제시한 'Memory Caching'은 이 두 진영 사이의 중간 지점을 노린다. 모델은 여전히 순환(recurrent) 방식으로 시퀀스를 처리하지만, 세그먼트 경계마다 압축된 메모리 상태를 '체크포인트'로 캐시에 저장해 둔다. 이후 토큰은 현재 갱신 중인 온라인 메모리뿐 아니라, 이전 세그먼트에서 저장된 캐시 메모리들까지 함께 참조할 수 있다. 즉 메모리가 하나의 고정된 상태에 머무는 대신, 시퀀스 길이에 비례해 함께 자라나는 구조가 되는 것이다.
논문은 이를 활용하는 네 가지 변형 기법인 Residual Memory, Gated Residual Memory, Memory Soup, Sparse Selective Caching을 함께 제시하며, 언어 모델링, Needle-in-a-Haystack 회상 테스트, 인컨텍스트 학습, LongBench, MQAR 등 다양한 벤치마크에서 실험 결과를 공개했다.
트랜스포머가 사라진다는 뜻은 아니다
연구진은 트랜스포머가 쓸모없어졌다고 주장하지 않는다. 회상이 핵심인 일부 과제에서는 여전히 어텐션 기반 트랜스포머가 가장 강력한 성능을 보였다. 다만 이 논문이 보여주는 것은 "효율적인 RNN 대 비용이 큰 어텐션"이라는 이분법이 더 이상 설계 공간 전체를 설명하지 못한다는 점이다. RWKV, RetNet, Mamba, Titans 등 최근 등장한 효율적 아키텍처들과 마찬가지로, Memory Caching도 정밀한 토큰 단위 접근이 필요한 곳에는 어텐션을, 효율이 중요한 곳에는 순환 압축을, 장거리 회상이 필요한 중간 지점에는 캐시된 메모리 상태를 쓰는 하이브리드 시스템으로의 흐름을 보여준다.
- 메모리 구조: 고정 크기 은닉 상태 1개 → 세그먼트 단위로 누적되는 압축 캐시
- 제안된 변형 기법: 4종 (Residual Memory, Gated Residual Memory, Memory Soup, Sparse Selective Caching)
- 평가 벤치마크: 언어 모델링, Needle-in-a-Haystack, 인컨텍스트 검색, LongBench, MQAR 등 5개 이상
- RNN에 트랜스포머식 어텐션 없이도 시퀀스 길이에 비례해 자라는 메모리를 부여하는 기법
- 세그먼트별 압축 메모리를 캐시에 저장해 이후 토큰이 참조할 수 있도록 함
- 트랜스포머를 완전히 대체하는 것이 아니라, 비용과 회상 정확도 사이의 새로운 설계 지점을 제공
- 장문 컨텍스트를 다루는 에이전트·RAG 시스템 설계에 영향을 줄 잠재력
| 아키텍처 | 메모리 방식 | 비용 특성 | 장거리 회상 |
|---|---|---|---|
| 표준 트랜스포머 | 토큰 단위 전체 보존 | 시퀀스 길이에 따라 비용 급증 | 매우 강함 |
| 표준 RNN | 고정 크기 은닉 상태 | 매우 효율적 | 약함 |
| Memory Caching | 세그먼트별 압축 캐시 누적 | RNN 수준에 근접, 점진적 증가 | 중간~강함 |
업계에서는 이 연구가 당장 제품에 적용되기보다는, OpenAI·Anthropic·Meta 등 경쟁사들이 진행 중인 장문 컨텍스트 효율화 연구에 영향을 줄 참고 사례로 받아들여지는 분위기다. 특히 에이전트형 AI가 누적되는 대화·작업 기록을 장시간 유지해야 하는 상황에서, 비용을 낮추면서도 회상 정확도를 잃지 않는 아키텍처에 대한 수요는 계속 커질 전망이다.