Sol-Attn: 즉석 어텐션 희소화를 통한 비디오 생성 추론 가속화

Sol-Attn은 학습 없이 적용 가능한 동적 sparse attention 기법으로, 비디오 생성 추론 속도를 높입니다.

단일 online-softmax 패스에서 블록 점수를 임계값으로 걸러 중요 블록만 선택하고, 나머지는 proxy score로 근사해 계산 비용을 줄입니다.

proxy map을 따로 만들지 않아도 되어 오버헤드가 작고, 이미지·비디오 생성에서 효율성과 정확도 간 균형이 개선됐습니다.

실험에서는 비디오 생성에서 최대 2.1배, 비디오 편집에서 최대 2.3배의 엔드투엔드 속도 향상이 보고됐습니다.