Learn-by-Wire 훈련 제어 거버넌스: 안정성과 효율성을 위한 스트레스 상황 하의 경계형 자율 훈련
Learn-by-Wire Training Control Governance: Bounded Autonomous Training Under Stress for Stability and Efficiency
TL;DR AI
1분핵심 요약
연구진은 학습 목표는 바꾸지 않으면서 AdamW 위에 얹는 경계 제어 계층 LBW-Guard를 제안해 언어모델 학습을 안정화했다.
Qwen2.5 모델들과 WikiText-103 실험에서 기존 AdamW보다 perplexity와 실행 시간을 개선했다.
더 가혹한 학습률 스트레스 조건에서도 LBW-Guard는 안정성을 유지했지만 AdamW는 성능이 저하됐다.
이 결과는 옵티마이저 상위의 제어가 실패하거나 낭비되는 학습을 줄이고 대형 모델 학습의 계산 효율을 높일 수 있음을 시사한다.