이중 수준 라우팅 혼합 전문가로 300개 이상의 작업으로 지속 학습 확장
Scaling Continual Learning to 300+ Tasks with Bi-Level Routing Mixture-of-Experts
TL;DR AI
1분핵심 요약
연구진은 이중 단계 라우팅 혼합 전문가 구조를 기반으로 한 지속학습 프레임워크 CaRE를 제안했다.
CaRE는 두 단계로 작업 관련 라우터와 전문가를 선택해 긴 작업 연속에서도 성능 유지에 도움을 준다.
이 방법은 표준 클래스-증분 학습 벤치마크와 새로운 대규모 테스트베드에서 강한 성능을 보였다.
새로운 OmniBenchmark-1K 벤치마크는 수백 개 작업 규모의 지속학습 평가를 위해 설계됐다.