분류 전체보기85 Compact Language Models via Pruning and Knowledge Distillation(2024)리뷰 LLM 논문을 분야 가리지 않고 여럿 읽던 중에 Nvidia의 경량화 관련 논문이 나와서 가볍게 읽어보고 리뷰해보려 한다. 이 기법은 nvidia에서 nemotron을 경량화하여minitron을 만드는 데 사용했다고 한다.Abstract&Introduction저자는 이 논문에서 현존하는 LLM을 기존보다 작은(의 데이터셋으로 경량화하고 retraining하는 방법론을 제안 경량화 방법으로는 pruning을 사용했으며 retraining에는 knowledge distillation(KD)를 사용했으며 기존 Nemotron4-15B모델을 8B와 4B로 경량화하였다. 연구의 시작점은 다음과 같은데 LLAMA, GPT 등 최근 LLM 모델들은 대게 7B, 13B, 70B 등 여러 parameter size의 모.. 2024. 11. 5. 파이콘 한국 2024 후기 취업 후 첫 컨퍼런스로 파이콘 2024에 참여했으며 들은 세션에 대한 간단한 정리와 후기를 공유하고자 합니다. 평소 개발행사에 종종 참여하기는 하지만 커뮤니티가 주최하는 컨퍼런스는 처음이었습니다. 파이썬 컨퍼런스답게 공유하고 커뮤니티를 만들어나가며 같이 성장하는 과정 자체를 강조하는 것 같아 한번쯤은 꼭 참여하고 싶은 행사였습니다.10월 26일 토요일 세션첫째날에는 노트북을 못 챙겨서 기억나는 대로 짧게 적겠습니다.커뮤니티와 파이썬, 그리고 우리이번에 LLM을 입문하며 한국어 데이터를 받을 때 가끔 보이던 "Beomi", 김준범 님이 발표하는 세션이었습니다. 키노트 세션으로 기억하는데 꽤 공감 가는 성장기였습니다.허깅페이스에서 봤을때 엄청난 프로그래밍 대가처럼 보였던 준범님도 당연히 입문자라 개발이하는게.. 2024. 10. 30. 2024 자동차 데이터 분석 경진대회(프롬프트 엔지니어링) LLM을 배운 지 1개월 정도 됐는데 프롬프트 엔지니어링이 보통 어떤 식으로 이루어지는지 그리고 gpt api는 어떻게 사용하는지 궁금했을 때 이 필요에 딱 맞는 대회라 생각해 공부 겸 참여하였다. 프롬프트 엔지니어링 예제를 찾아봤을때 경진대회에서 사용되는 확실한, 구체적인 예는 많지 않았고 특히 한국어 게시물은 원하는 퀄리티의 예제가 없어 어떤 식으로 구성했는지 공유하고 싶어 이 글을 작성했다.예상독자LLM 입문자: 프롬프트 엔지니어링을 어떤식으로 진행하는지 예시를 알고 싶은 분들문제 정의 2024 자동차 데이터 분석 경진대회 - DACON분석시각화 대회 코드 공유 게시물은 내용 확인 후 좋아요(투표) 가능합니다.dacon.io 문제 자체는 정말 간단했다. 각 데이터에 일정한 길이의 문자열이 포함되어 .. 2024. 10. 19. [Git] git reset --hard 되돌리기 깃을 사용하다 보면 커밋메시지를 바꾼다거나 파일을 더 추가하고 싶다는 이유 등으로 git reset 명령어를 자주 사용한다. reset --soft로 돌아가면 문제없는데 커밋 이후 파일을 변경하면 reset --hard로 급하게 돌아오고 커밋하는 경우도 종종 있다. 문제는 이 과정에 중요한 코드가 누락될 수가 있다는 건데. 이번에는 이걸 되돌리는 방법에 대해 설명해 보겠다.커밋 내역 확인(git reflog)예시를 위해 Commit1~4 순으로 커밋했을 때 get reflog를 통해 위와 같이 커밋한 순서대로 커밋아이디와 커밋 메시지가 적혀있는걸 확인할 수 있다.이후 git reset --hard 305ef51로 과거 버전으로 이동하면 이후 커밋한 내역들(Commit_4)가 사라진걸 확인할 수 있다.gi.. 2024. 10. 12. 이전 1 2 3 4 5 ··· 22 다음
