Paper Review3 A Closer Look at Few-shot Classification(2019) 리뷰 하반기 취준에 패배하고 대학원에 입학하고자 여러 분야의 논문을 가림 없이 읽고 있다. 그중 Few Shot Learning은 간간히 듣던 연구 주제라 개념을 잡기 위해 먼저 대표적인 Survey논문을 하나 읽고 리뷰해보려 한다. Abstract & Introduction Few-shot classification의 정의: 제한된 라벨의 데이터만을 사용하여 훈련시킨뒤 훈련 중에 보지 못한 라벨에 대해 분류하는 분류기를 만드는 것 저자는 논문에서 크게 세가지를 제안한다. 더 깊은 backbone이 도메인 차이가 크지 않은 데이터 간에 성능차이를 확연히 줄인다. few-shot데이터셋들에 대해 기존 SOTA보다 성능이 높은 baseline++을 제안 FSL의 시나리오에 더 적합한 평가지표 소개 도입부에서는 기.. 2023. 12. 15. [Paper review] Attention Is All You Need(Transformer, 2017) 이번에 리뷰할 논문은 자연어 처리를 시작으로 여러 가지 task에 적용가능한 Attention만을 사용하는 구조를 고안한 트랜스포머이다. 논문리뷰시 architecture쪽을 맡아 이 부분을 집중적으로 리뷰하겠다. Abstract 당시 통역 task는 encoder로 context vector로 만든 뒤 decoder를 이용해 이를 번역하는 과정이 메인이었으며 이에 Attention mechanism을 이용하여 추가적으로 여러 시퀀스의 hidden state에서 정보를 뽑거나 넣어주는 방식의 논문이 나오고 있었다. 하지만 Transformer는 RNN, CNN 구조 없이 오직 Attention mechanism만을 활용하여 연산을 병렬적으로 수행하게 되면서 기존 sota 모델들보다 더 적은 훈련시간 안에.. 2023. 3. 30. [Paper review] Aggregated Residual Transformations for Deep Neural Networks(ResNext, 2016) 이번에 리뷰할 논문은 이미지 분류를 위하여 ResNet에 Inception architecture를 적용하여 더 적은 자원으로 효율적인 모델을 만든 ResNext이다 Prior work and difference 논문의 도입부에서는 Vison task에서 특성 엔지니어링이 아닌 네트워크 엔지니어링이 추세가 되고 있다고 말합니다. 하지만 조정해야할 하이퍼 파라미터의 증가로 인해 네트워크 구조를 디자인하는 것에 어려움이 있습니다. 논문에서는 기존의 Vision모델들을 두가지 분류로 나누어 비교합니다 VGGNet, ResNet과 같이 똑같은 파라미터를 가진 topology(layer 연결 구조)를 사용해 setting할 hyper parameter를 줄이고 데이터에 과적합은 막는 분류 Inception과 이에.. 2022. 12. 6. 이전 1 다음
