BiomedAP: 강건한 의료 비전-언어 적응을 위한 비전-인지 듀얼 앵커 프레임워크와 게이트형 교차 모달 융합
BiomedAP: A Vision-Informed Dual-Anchor Framework with Gated Cross-Modal Fusion for Robust Medical Vision-Language Adaptation
TL;DR AI
1분핵심 요약
BiomedAP은 의료 비전-언어 모델의 적응을 강화해 불완전한 프롬프트에도 더 견고하게 동작하도록 만든 새로운 프레임워크다.
이미지와 텍스트 프롬프트를 게이팅 방식으로 상호작용시키고, 전문가 템플릿과 시각 프로토타입을 활용한 이중 앵커 정규화를 적용한다.
이 방식은 교차모달 정렬과 소수샷 진단 성능을 개선하고, 프롬프트 노이즈에도 안정성을 높인다.
연구진은 11개 벤치마크에서 더 강한 성능과 향상된 견고성을 보고했으며, 실제 임상 적용 가능성을 높였다고 밝혔다.