분류 전체보기82 What Do Self-Supervised Vision Transformers Learn?(2023) 리뷰 2023년 ICLR에 게재된 논문으로 Prescient Design, Genentech와 Naver AI Lab 소속이신 박남욱 님이 1저자로 저술한 논문이다. CL과 MIM의 속성을 실험을 통해 비교한 논문이고 대부분이 실험-분석의 반복으로 이루어져 있다. Abstract Self supervised learning(SSL)의 방법론 중 두 가지 Contrastive learning(CL)과 Masked image modeling(MIM)을 비교하는 실험을 여럿 진행하여 속성을 분석했으며 초록에서는 CL을 베이스로 짧게 요약해서 포인트를 짚어준다. CL이 MIM보다 global한 패턴 파악에 좋다 CL은 저주파 신호는 MIM은 고주파 신호를 주로 학습한다. CL은 출력 부분의 layer가 MIM은 입력.. 2024. 1. 23. Learning Transferable Visual Models From Natural Language Supervision(CLIP, 2021)리뷰 part-2 이번에는 CLIP의 Experiments part에 대해 살펴보겠다. 크게 Zero-shot transfer과 Representation learning으로 구성되어 있다. Zero-shot Transfer Motivation 이 논문에서는 대게 사용하는 Representation learning보다는 Zero-shot transfer를 통해 model의 task learning성능을 측정하였다고 한다. Representation learning은 fine-tune, linear-probing과 같이 모델을 추가 학습시키는 것이고 Zero-shot transfer는 말 그대로 라벨 없이 성능을 측정하는 것을 의미한다. Using CLIP for zero-shot transfer part1에서 CLIP이 .. 2024. 1. 18. Learning Transferable Visual Models From Natural Language Supervision(CLIP, 2021)리뷰 part-1 Contrastive learning Language-Image Pre-training(CLIP)은 openAI가 발표한 Constrative Learning을 사용해 Multimodal data의 representation을 학습하는 모델이다. Abstract기존의 CV모델들은 제한된 라벨 출력을 가지는 문제(restricted label problem)을 가지고 있었다. 이는 모델의 사용성을 저하시키는데 간단한 예시로 기존에 알지 못한 새로운 class가 출현했을때 대처하지 못하는 경우가 있다. 저자는 이를 image에 대한 caption을 예측하는 pretrain방식을 사용해 해결하려했다. 이 방식을 통해 훈련된 CLIP은 여러 task에 zero-shot transfer가 가능하며 기존의 Ful.. 2024. 1. 13. Learning to Compare Relation Network for Few-Shot Learning(RelationNet, 2018) 리뷰 Few shot learning 서베이 논문 중 episode training부분이 이해가 잘 안됐다. 확실히 이해하기 위해 이 테크닉을 사용하는 논문 중 그나마 짧고 쉬워 보이는 RelationNet을 읽어보았다. 기존 episode training모델들과 구현상에 큰 차이는 없으며 RelationNet보다는 episode training에 조금 더 중점적으로 리뷰해보겠다. Abstract & Introduction Abstract에서는 이 논문에는 contribution을 크게 두 가지로 서술한다. end-to-end 학습이 가능 Few-shot learning과 Zero-shot learning에서 기존에 비해 높은 성능 달성 이후 이 논문에서 사용한 episode training방법에 대해 간략히.. 2024. 1. 6. 이전 1 ··· 4 5 6 7 8 9 10 ··· 21 다음
