AI 모델은 새로운 것을 배우면서 예전 것을 잊는다. 그런데 이것과 정반대처럼 보이는 문제도 있다. 너무 오래 학습한 모델은 새로운 것을 아예 배우지 못하게 된다. '재앙적 망각'과 '가소성 손실'이라는 두 가지 문제가 AI 연속 학습의 발목을 잡고 있다.
Mohamed Elsayed와 A. Mahmood가 2024년 국제 학습 표현 학회에 발표한 논문은 이 두 문제를 동시에 해결하는 새로운 알고리즘을 제안한다. 바로 UPGD(Utility-based Perturbed Gradient Descent, 유용성 기반 교란 경사 하강법)다.
두 문제의 공통 원인은 신경망의 '유닛'에 있다. 학습이 누적될수록 일부 유닛은 특정 과제에 지나치게 특화되어 딱딱하게 굳는다. 반면 다른 유닛들은 오히려 쓸모없이 비활성화되어 새로운 것을 배울 능력을 잃는다. 핵심은 '어떤 유닛이 유용한지'를 판별하는 것이다.
UPGD는 이 판별에 기반해 업데이트 방식을 다르게 적용한다. 유용한 유닛에는 작은 변화를 주어 기존에 학습한 유용한 패턴이 망각되지 않도록 보호한다. 덜 유용한 유닛에는 더 큰 변화를 주어 경직된 상태에서 벗어나 새로운 정보를 받아들일 수 있도록 가소성을 회복시킨다.
연구팀은 수백 개의 비정상성이 존재하고 과제 경계를 사전에 알 수 없는 까다로운 스트리밍 학습 환경에서 UPGD를 테스트했다. 기존 대부분의 방법들이 시간이 지남에 따라 정확도가 점점 떨어지는 반면,UPGD는 계속 성능이 향상되거나 모든 문제에서 최소한 경쟁력 있는 성능을 유지했다. 강화학습 환경에서도 검증됐다. Adam 옵티마이저는 초기 학습 후 성능이 떨어지는 현상이 나타났지만, UPGD는 이를 피했다.
한계도 있다. '유용성'을 어떻게 측정하느냐에 따라 알고리즘 성능이 달라질 수 있고, 유용성 추정 자체에 계산 비용이 든다. 또한 실험이 특정 벤치마크에 집중되어 있어 모든 실제 환경에서의 성능을 보장하진 않는다.
그럼에도 이 연구는 연속 학습 분야에서 의미 있는 전진이다. 망각과 가소성 손실을 따로 다루는 방법들이 주류이던 상황에서, 두 문제의 공통 원인을 겨냥한 단일 알고리즘을 제안했다. 실시간으로 변화하는 환경에서 지속적으로 학습해야 하는 자율 시스템, 로보틱스, 실시간 추천 엔진 등에 적용 가능성이 높다.
📖 *Addressing Loss of Plasticity and Catastrophic Forgetting in Continual Learning* |
논문 원문
※ 이 기사는 학술 논문을 바탕으로 작성되었습니다. 기술 세부사항은 원문을 참조하세요.
Artificial neural networks have two seemingly opposite learning problems. Learn something new, and they tend to forget what they already knew — catastrophic forgetting. But push the learning too far in one direction, and they lose the ability to adapt to anything new at all — a phenomenon called loss of plasticity. Most continual learning research treats these as separate issues. A new algorithm presented at ICLR 2024 targets both at once.
The paper, "Addressing Loss of Plasticity and Catastrophic Forgetting in Continual Learning" by Mohamed Elsayed and A. Mahmood, introduces UPGD — Utility-based Perturbed Gradient Descent — a method that adjusts how much each neuron in a network changes during learning based on how useful that neuron currently is.
The insight behind UPGD starts with diagnosing why both problems share a common root. Over successive learning episodes, some neural network units become over-specialized and rigid — they've been optimized so hard for past tasks that they interfere with new ones, causing forgetting. Other units go the opposite direction: they become dormant and effectively useless, unable to respond to new information, causing plasticity loss. The key variable is unit utility: knowing which neurons are doing valuable work and which have become dead weight.
UPGD uses this distinction to differentiate its updates. Useful units receive smaller gradient updates, preserving the patterns they've built up and protecting against forgetting. Less useful units receive larger perturbations, shaking them out of their rigid or dormant states and restoring their capacity to learn. The algorithm is essentially a form of targeted neuroplasticity management — protect what's working, rejuvenate what isn't.
The researchers tested UPGD in a challenging streaming learning setting: hundreds of non-stationarities, unknown task boundaries, and no ability to store or replay old data. This is significantly harder than the standard continual learning benchmarks that allow for careful task transitions. Under these conditions, most existing methods showed a characteristic pattern — accuracy improving early, then steadily declining as tasks accumulated. UPGD continued to improve or held competitive performance across all tested problems, the only method evaluated that avoided the accuracy degradation pattern.
The authors also ran extended reinforcement learning experiments using the PPO algorithm. Here too, Adam — one of the most widely used optimizers in deep learning — exhibited a performance drop after initial learning, while UPGD avoided it by simultaneously managing both continual learning issues.
There are caveats. How "utility" is measured is itself a design choice with real consequences for algorithm behavior, and utility estimation adds computational overhead. The experiments, while broader than typical in this area, still focus on specific benchmark suites, so performance in every real-world deployment scenario is not guaranteed.
Still, UPGD represents a meaningful advance in framing. Rather than treating forgetting and plasticity loss as separate problems requiring separate interventions, it identifies their shared cause — imbalanced unit utility — and addresses them with a single, unified mechanism. This conceptual clarity has practical appeal: a single algorithm that handles both issues is simpler to deploy and tune than stacking multiple methods.
Applications for continual learning that works in the wild — autonomous systems that keep learning from real-world data, adaptive recommendation engines, robotics agents that encounter new environments — all require exactly what UPGD aims to provide: the ability to keep learning without losing what's already been learned.
📖 *Addressing Loss of Plasticity and Catastrophic Forgetting in Continual Learning (ICLR 2024, conference paper)* |
Source paper
*This article is based on an academic paper. Please refer to the original for technical details.*
