HarMoE: 데이터셋 분리형 전문가를 활용한 다중 소스 흉부 X선 사진 사전학습
HarMoE: Multi-Source Chest Radiograph Pretraining with Dataset-Disentangled Experts
TL;DR AI
1분핵심 요약
연구진은 흉부 X-ray 비전-언어 모델을 위한 데이터셋 인식형 사전학습 프레임워크 HarMoE를 제안했다.
HarMoE는 여러 라벨링된 방사선 데이터셋과 mixture-of-experts 구조를 결합해 공통 질병 의미와 데이터셋별 변이를 분리한다.
통합 질병 어휘와 마스킹된 멀티데이터셋 감독을 활용해 데이터 간 충돌을 줄이고 상호 보완적인 주석을 더 잘 활용한다.
실험에서는 제로샷 분류, 분포 밖 전이, grounding 성능이 강력한 기준 모델보다 향상됐다.
연구팀은 코드와 87만3천 장 규모의 정제된 흉부 X-ray 데이터셋 공개도 예고했다.