최근 한국 카이스트 연구진이 구글 딥마인드 연구진과 협력해 ‘Mixture-of-Recursions’(약칭 MoR)라는 혁신적인 인공지능 알고리즘을 발표했다.

이 기술은 AI가 텍스트 내에서 각 단어의 중요도에 따라 ‘생각하는 깊이’를 조절할 수 있게 해, 기존보다 더 효율적이고 빠른 처리 속도를 구현했다.

기존 AI 모델들은 모든 단어를 동일한 수준으로 처리, 계산량이 많고 시간이 오래 걸리는 단점이 있었다.

그러나 MoR 기법은 “그리고”, “하지만” 같은 연결어는 빠르게 처리하고, “지구온난화”, “우주망원경” 등 중요 단어는 반복적으로 더 깊게 분석하도록 설계했다. 이를 통해 연산 효율성을 극대화하고, 처리 속도와 성능을 동시에 개선했다.

이번 연구 결과는 2025년 7월 arXiv에 논문으로 공개됐으며, MoR 모델은 자연어 처리 분야에서 기존 모델 대비 뛰어난 성능과 효율성을 보여줘 세계 AI 연구계에서 주목받고 있다.

특히 이번 연구는 한국 젊은 연구자들이 주도적으로 참여했다는 점에서 의미가 크다. 단순히 연구를 따라가는 역할을 넘어 AI의 사고 방식을 설계하는 데 있어서도 한국 연구자들이 공동 선두에 섰다는 평가다.

이는 한국이 글로벌 AI 연구 무대에서 주연급 경쟁력을 갖췄음을 보여주는 사례로 평가된다.

◆Mixture-of-Recursions (MoR) 기술 상세 설명

1. 기본 구조 MoR는 언어 모델에서 문장 내 각 단어마다 다른 수준의 계산(생각 깊이)을 적용하는 기법입니다. 단어별로 계산 횟수를 동적으로 조절해 효율성을 높입니다.

2. ‘생각 깊이’ 조절 메커니즘
• 중요도가 낮은 단어(예: 연결어)는 간단한 계산으로 빠르게 처리
• 중요도가 높은 단어(예: 전문 용어, 핵심 키워드)는 반복적인 재귀 계산을 통해 깊이 있게 처리 이를 통해 연산 비용을 줄이면서도 성능 저하를 최소화합니다.

3. 구성 요소 및 알고리즘
• Routing Network(루팅 네트워크): 각 단어에 대해 적절한 재귀 깊이(계산 단계)를 결정
• Recursive Cells(재귀 셀): 단어별로 설정된 깊이만큼 반복 계산을 수행
• 출력은 단어별 계산 결과를 합산해 최종 문장 표현으로 만듭니다.
4. 효과
• 연산량 감소: 불필요한 반복 계산을 줄임
• 속도 향상: 처리 시간이 단축됨
• 성능 유지 또는 향상: 중요 단어를 깊이 분석해 정보 손실 최소화

참고 논문
“Mixture-of-Recursions for Efficient Adaptive Computation in Language Models”
https://arxiv.org/pdf/2507.10524

1 0