본문 바로가기

전체 글85

Generative Adversarial Nets(GAN, 2014) 리뷰 이번에는 생성모델의 시초라고도 볼 수 있는 GAN을 리뷰해 보겠다. 대게 이런 특정 task의 시초가 되는 논문은 장황한 수식과 설명이 함께 있는 경우가 많은데 이 논문은 상대적으로 길이는 짧은 편인 것 같다. 모델 아키텍쳐에 관한 설명이 간단하여 이에 대해 골머리를 썩일 필요도 없는데 이 논문의 가장 중요한 파트인 Loss function의 증명 부분이 유난히 이해하기 어려웠다. 물론 워낙 유명해서 관련 자료가 많아 이해정도는 쉽게 가능하다. Abstract & Introduction 이 당시만해도 딥러닝에 추가적인 기법을 이용해 생성을 시도하는 논문이 있었으며 저자는 이 방법이 생성에 그다지 유리하지 않다고 생각해 추가적인 생성 모델을 제작했다고 한다. 데이터의 분포를 찾는 Generator mode.. 2023. 12. 20.
A Closer Look at Few-shot Classification(2019) 리뷰 하반기 취준에 패배하고 대학원에 입학하고자 여러 분야의 논문을 가림 없이 읽고 있다. 그중 Few Shot Learning은 간간히 듣던 연구 주제라 개념을 잡기 위해 먼저 대표적인 Survey논문을 하나 읽고 리뷰해보려 한다. Abstract & Introduction Few-shot classification의 정의: 제한된 라벨의 데이터만을 사용하여 훈련시킨뒤 훈련 중에 보지 못한 라벨에 대해 분류하는 분류기를 만드는 것 저자는 논문에서 크게 세가지를 제안한다. 더 깊은 backbone이 도메인 차이가 크지 않은 데이터 간에 성능차이를 확연히 줄인다. few-shot데이터셋들에 대해 기존 SOTA보다 성능이 높은 baseline++을 제안 FSL의 시나리오에 더 적합한 평가지표 소개 도입부에서는 기.. 2023. 12. 15.
An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale(ViT, 2020) 리뷰 Transformer의 등장 이후 NLP 도메인에서는 이 구조를 활용한 논문이 쏟아져나왔고 GPT, BERT, ELMo등 이 구조를 성공적으로 활용한 다양한 논문 역시 등장하였다. 하지만 Vision분야에서도 이런 시도는 여럿 대부분 제한적으로 사용했으며 그 중에서 ViT는 Attention구조를 Vision분야에 성공적으로 적용시킨 최초의 시도 중 하나이며 지금도 CV를 다루는 사람들은 모를수가 없는 논문 중 하나이다. NLP분야에서는 Transformer가 등장한 2017년 이후 2018~2019년도에는 이를 변형한 모델들이 등장해 좋은 성적을 내 눈길을 끌었다. Transformer와 Attention구조가 그렇게 뛰어나다면 어째서 Vision분야에서는 이러한 모델이 등장하지 않는걸까? 저자는 논문.. 2023. 11. 29.
SDC23 Korea 후기 부스트캠프 수료 후 취준을 거하게 말아먹은 후 11월부터 다시 공부 중이었는데 sns에 개발 컨퍼런스 광고가 다양하게 올라오길래 어쩝히 시간은 남아도니 한 번쯤 참여해보기 좋은 기회다 싶어 참여했다. 개최정보 이번 행사는 삼성전자 서초사옥 5층에서 11/14 ~ 11/15까지 이틀에 걸쳐 진행되었다. 예상보다 사람이 많아서 공간은 붐볐다. 대게 이런 행사는 메인세션이되는 발표 외에도 추가적으로 기술을 직접 보여주며 홍보하는 전시칸이 있고 이런 부스를 보는걸 좋아하는데(기념품을 받는다거나...) 부스는 할당된 공간도 적고 홍보, 체험보다는 기술 소개에 중점을 둔 것 같았다. 커리어 컨설팅 공간도 있었는데 당시에는 어떤 질문을 할지 딱히 떠오르지 않아 신청하지 않았다. 직접 보니 공개된 공간이 아니라 별실에.. 2023. 11. 26.
[인공지능을 위한 수학] 챕터3 정리 챕터3은 딥러닝하면 빠질 수 없는 선대와 관련된 내용이다. 내적 내적(점곱)의 정의는 벡터에서 서로 대응하는 성분끼리 곱한 다음이를 모두 더한 값이다. 표기는 $$또는 $\vec{a}\cdot\vec{b}$를 사용한다. 추가적으로 내적은 두 벡터의 성분 개수가 같을때만 가능하다. $$ = a_{1}b_{1} + a_{2}b_{2} + a_{3}b_{3} + ... + a_{n}b_{n} = \sum_{i=1}^{n}a_{i}b_{i} $$ 위의 식을 응용하여 두벡터 a와b가 이루는 각$\theta$를 아래의 식으로 구할 수 있다 $$ = \left \|a\right \| \left \|b\right \|cos\theta$$ $$ cos\theta = \frac{ }{ \left \|a\right \| \.. 2023. 11. 17.
[백준] 1744번 수 묶기 (Python) https://www.acmicpc.net/problem/1744 1744번: 수 묶기 길이가 N인 수열이 주어졌을 때, 그 수열의 합을 구하려고 한다. 하지만, 그냥 그 수열의 합을 모두 더해서 구하는 것이 아니라, 수열의 두 수를 묶으려고 한다. 어떤 수를 묶으려고 할 때, 위치에 www.acmicpc.net 문제 길이가 N인 수열이 주어졌을 때, 그 수열의 합을 구하려고 한다. 하지만, 그냥 그 수열의 합을 모두 더해서 구하는 것이 아니라, 수열의 두 수를 묶으려고 한다. 어떤 수를 묶으려고 할 때, 위치에 상관없이 묶을 수 있다. 하지만, 같은 위치에 있는 수(자기 자신)를 묶는 것은 불가능하다. 그리고 어떤 수를 묶게 되면, 수열의 합을 구할 때 묶은 수는 서로 곱한 후에 더한다. 예를 들면, .. 2023. 11. 7.
[부스트캠프] 부스트캠프 AI Tech 5기 수료 후기 2023년 3월부터 8월 초까지 약 6개월간 부스트캠프에 참여해 과정을 마쳤습니다. 과정을 수료하고 이전보다 교육의 진행 방식, 주의해야 할 점, 느낀 점 등을 공유하여 이후에 부캠에 참여할 캠퍼들에게 도움이 되고파 이 글을 작성합니다. 교육의 진행 방식 이 글을 찾아볼 정도면 공식 사이트를 통해 대강의 진행 방식을 알고 있을 것이라 생각해서 상세히 설명하기보다는 하루를 어떤 식으로 보내게 되는지 설명해 보겠습니다. 제가 참여했었던 부캠 5기 11주 차 시간표입니다. 오전 데일리 스크럼 이후 개별학습 활동, 피어세션 그리고 다시 개별학습 활동을 7시까지 진행 후 학습을 마무리하는 게 평균적인 하루 스케줄입니다. 데일리 스크럼 10시부터 10분간 진행하며 팀이 결성된 초반에는 대다수 팀이 보통 아이스 브레.. 2023. 8. 22.
[부스트캠프] 최종 프로젝트 회고 최종 프로젝트는 자유롭게 주제를 선정해 딥러닝을 활용한 서비스를 만들고 배포해야 했습니다. 저는 기존 경진대회에서 모델링적 부분을 충분히 가져갔다고 판단해 백엔드 개발과 GCP를 통한 클라우드 서빙을 맡았습니다. 개발할때 제 파트와 연관된 부분 말고는 아예 관심을 가지지 않았기 때문에 모델링 쪽 내용은 작성하지 못했습니다. 머신러닝 디자인 패턴 프로젝트 타임라인을 구상하며 모델을 어떤 방식으로 서빙할지 먼저 계획해야 했습니다. 서빙파트를 맡았기에 부캠강의를 수강하고 자료를 서칭 하며 디자인 패턴을 구상했습니다. 디자인 패턴을 정할때 이 글이 특히 도움이 많이 되었습니다. 먼저 어떤식으로든 유저를 받을 수 있는 web single패턴의 프로토타입을 제작한 다음 비동기 기능을 추가해 여러 유저를 동시에 받을.. 2023. 8. 9.