본문 바로가기

Paper review28

[Paper review] Rich feature hierarchies for accurate object detection and semantic segmentation(RCNN, 2014) 부캠에서 detection 프로젝트를 진행하며 1주 만에 거의 15개쯤은 되는 detection 모델에 대해 공부했다.당연히 그 많은게 머리에 들어가지 않기에 중요한 것부터 하나씩 빠르게 읽어보고 정리 중이다.그중 첫 번째 논문은 RCNN이다.detection task에 딥러닝을 성공적으로 적용시킨 첫번째 논문이며 classification task의 AlexNet정도의 위상이라 보면 될 것 같다. Abstract, Introduction 흐름은 대개의 논문들과 동일하다. 기존 detection task는 성능 향상에 어려움을 겪고 있었으며 저자는 CNN구조를 detection task에 적용해 큰 성능 향상을 이루었으며 그 적용방식에 대해 이야기한다. CNN을 detection task에 적용하기 위해.. 2023. 5. 31.
[Paper implementation] ResNet구현 부캠 초반부는 강의를 들으며 주어진 과제를 채워내는 식의 코딩이 전부이다. 멘토링 시간에 ResNet에 관해 리뷰하기도 했고 과제를 하며 ResNet을 부분적으로 구현해보기도 했기에 파이토치 공부 겸 ResNet을 Scratch부터 구현해 보았다. ResNet code class ResNet(nn.Module): def __init__(self, name="resnet", xdim=[3, 224, 224], ksize=3, cdims=[64, 128, 256, 512], layeriter=[3,4,6,3], hdim=1000, USE_BATCH_NORM=True): super().__init__() self.name = name self.xdim = xdim #means C, W, H self.cdims.. 2023. 4. 12.
[Paper review] Attention Is All You Need(Transformer, 2017) 이번에 리뷰할 논문은 자연어 처리를 시작으로 여러 가지 task에 적용가능한 Attention만을 사용하는 구조를 고안한 트랜스포머이다. 논문리뷰시 architecture쪽을 맡아 이 부분을 집중적으로 리뷰하겠다. Abstract 당시 통역 task는 encoder로 context vector로 만든 뒤 decoder를 이용해 이를 번역하는 과정이 메인이었으며 이에 Attention mechanism을 이용하여 추가적으로 여러 시퀀스의 hidden state에서 정보를 뽑거나 넣어주는 방식의 논문이 나오고 있었다. 하지만 Transformer는 RNN, CNN 구조 없이 오직 Attention mechanism만을 활용하여 연산을 병렬적으로 수행하게 되면서 기존 sota 모델들보다 더 적은 훈련시간 안에.. 2023. 3. 30.
[Paper review] Aggregated Residual Transformations for Deep Neural Networks(ResNext, 2016) 이번에 리뷰할 논문은 이미지 분류를 위하여 ResNet에 Inception architecture를 적용하여 더 적은 자원으로 효율적인 모델을 만든 ResNext이다 Prior work and difference 논문의 도입부에서는 Vison task에서 특성 엔지니어링이 아닌 네트워크 엔지니어링이 추세가 되고 있다고 말합니다. 하지만 조정해야할 하이퍼 파라미터의 증가로 인해 네트워크 구조를 디자인하는 것에 어려움이 있습니다. 논문에서는 기존의 Vision모델들을 두가지 분류로 나누어 비교합니다 VGGNet, ResNet과 같이 똑같은 파라미터를 가진 topology(layer 연결 구조)를 사용해 setting할 hyper parameter를 줄이고 데이터에 과적합은 막는 분류 Inception과 이에.. 2022. 12. 6.

티스토리툴바