본문 바로가기

Paper review28

[Paper review] EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks(EfficientNet, 2019) 기존에 DenseNet, MobileNet과 같이 모델의 성능을 올리는 동시에 연산량까지 감소시키는 논문에 관하여 리뷰해왔으며 이번에 리뷰할 EfficientNet은 기존의 연산을 최적화시킨 Convolution Network들을 하나로 모았다고도 볼 수 있는 논문이다. 기존의 ConvNet은 채널 수, 깊이, 해상도 등을 Scaling하며 성능을 증가시켰으니 EfficientNet은 이 3가지를 균형있게 Scaling하며 Sota를 달성하였다. Introduction 위에서 언급한대로 기존에는 모델 성능 향상을 위하여 보통 세가지 방식을 사용하였다. Depth - ResNet(Skip-connection을 이용하여 더 깊은 층을 쌓은 구조) Width - WideResNet(기존 ResNet의 층 수를.. 2022. 8. 4.
[Paper review] MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications(MobileNet, 2017) 이번에 리뷰할 논문은 적은 모바일 기기 사용을 위하여 개발된 MobileNet이다. 실제로 이 사이트에서 MobileNet과 다른 모델의 성능을 확인하여 볼 수 있다. 항목이 길기 때문에 일부만 가져왔는데 MobileNet이 다른 모델에 비하여 성능은 조금 낮지만 파라미터 수가 적고 예측시간이 빨라 모바일 기기에 적합하다는 것을 알 수 있다. MobileNet 논문 리뷰 MobileNet은 depth-wise separable convolution 구조(Inception모듈 구조)를 사용하여 제작한 가벼운 가벼운 신경망 구조이다. 두가지 Hyperparameter를 조절하여 latency(예측 속도)와 accuracy의 trade off 관계를 고려해 모델을 선택할 수 있다. Prior work and .. 2022. 7. 29.
[Paper review] Densely Connected Convolutional Networks(DenseNet, 2017) DenseNet은 ResNet이 나오고 2년 후에 나온 Skip-connection을 base로 작성된 논문이다. ResNet보다 적은 파라미터, (Skip-connection을 이해하였다는 가정하에) 쉽게 이해되는 모델 구조로 인해 리뷰할 두번째 논문으로 선택하였다. DenseNet 논문 리뷰 DenseNet은 말 그대로 CNN의 채널을 Dense하게 연결한 네트워크이다. 논문의 앞 부분부터 천천히 살펴보며 어째서 이러한 구조를 선택하였고 왜 좋은지에 대한 Discussion도 알아보겠다. DenseNet 구조를 제안한 이유 리뷰한 논문이 많지 않기에 이 논문 역시 읽고 나서 블로그에서 여러개의 리뷰를 읽어보았다. 대다수의 블로그에서 아래 글에 대한 언급은 없었는데 이 문구를 보고 Xception, S.. 2022. 6. 25.
[Paper review] Deep Residual Learning for Image Recognition(ResNet, 2015) 저번 한 달간 암석 분류 프로젝트를 진행하면서 이를 위하여 CNN모델을 생성하였습니다. 초반에 VGG base로 모델을 만들었는데 심하게 과대 적합하여 당시 알고 있던 방법을 총동원해도 val-accuracy 90%를 넘기는 게 쉽지 않았습니다. 이때 모델을 ResNet base로 바꾼 다음 Data augmentation을 사용하여 거의 100프로에 가까운 val-accuracy를 가지는 모델을 만들었습니다. 성공적으로 플젝을 제출하고 구조상 큰 차이가 없음에도 어떻게 큰 성능 발전을 보여준지 궁금하여 ResNet을 읽어 보았고 정리한 내용을 리뷰해보겠습니다. ResNet 논문 리뷰 Abstract 부분에서 ResNet구조가 어떠한 의미로 고안되었는지 말해줍니다. 깊은 네트워크 학습이 어렵기에 이 문제.. 2022. 6. 19.