Relational Visual Similarity
LLaVA의 corresponding인 위스콘신의 이용재 교수님의 연구실에서 제안된 논문으로 visual representation을 인간과 유사한 뱡항으로 정렬 할 수 있도록 제시
Representation Learning
This category explores the methodologies and architectures designed to transform complex, high-dimensional data into meaningful representations. By learning to extract essential information without manual feature engineering, these techniques serve as the critical foundation for modern deep learning, enabling models to generalize across various downstream tasks such as classification, detection, and generation.
The Collapse of Patches
대부분의 최신 비전 모델은 이미지를 patch 단위로 처리할때, 각 patch 간의 상관관계를 균등하게 취급하거나 무작위 순서로 학습함 (MIM, MAE 등) 그러나 이미지의 특정 중요 부분(e.g., 닭의 부리)을 먼저 본다면 다른 부분을 먼저 보는 것보다 (e.g., 잔디 같은 배경) 남은 이미지의 불확실성을 더 크게 줄여준다가 핵심. 따라서 이미지를 구성하는 최적의 순서를 찾아내서 이미지 생성과 분류의 성능을 높이는 방법을 제안