Paper → BiFormer: Vision Transformer with Bi-Level Routing AttentionBiFormer Github 코드→ BiFormer IntroductionCore Building Block (=Attention) 발전이 연구는 Vision Transformer의 Core Building Block 에 해당하는 Attention 을 발전시키는 것을 목표로 한다. 연구 흐름 OutlineVanillla Attention → ✅ long-range dependency 학습. ❌ cost 비용 높음. (연산 리소스, 메모리 사용량)Handcrafted & Content-agnostic Sparse Attention → ❌ long-range dependency 학습 어려..
