엔비디아의 새 DNA 모델, 토큰 예측이 놓치는 것을 학습하다

엔비디아가 비상업적 연구용으로 Hugging Face에 JEPA-DNA라는 유전체 파운데이션 모델을 공개했다.

이 모델은 DNABERT-2를 기반으로 마스킹 토큰 예측과 잠재공간 예측 목적함수를 결합했다.

엔비디아는 이 하이브리드 방식이 토큰 중심 기법보다 더 풍부한 생물학적 표현을 학습할 수 있다고 본다.

이번 출시는 생물학과 같은 구조화된 데이터를 더 잘 다루는 하이브리드 아키텍처로의 전환을 보여준다.