Sakana AI, Residual Network를 독립적으로 학습 가능한 디노이징 모듈로 바꾸는 블록 단위 학습 프레임워크 'DiffusionBlocks' 제안
Sakana AI Proposes DiffusionBlocks: a Block-wise Training Framework That Converts Residual Networks into Independently Trainable Denoising Modules
TL;DR AI
1분핵심 요약
Sakana AI와 도쿄대 연구진이 딥러닝의 블록 단위 학습 프레임워크인 DiffusionBlocks를 제안했다.
이 방법은 residual block을 확산 ODE 기반의 독립적 denoising 모듈로 바꾸고, 각 블록에 서로 다른 노이즈 범위를 할당해 학습한다.
한 번에 하나의 블록만 업데이트하도록 해 메모리 사용량을 블록 수에 비례해 크게 줄인다.
연구진은 이 방식이 residual 및 transformer 계열 아키텍처 전반에서 성능을 유지하며, 기존 greedy·Forward-Forward 방식보다 더 나은 결과를 보였다고 밝혔다.
같은 주제
