전체 글90 ImportError: Could not import sentence_transformers python package. Please install it with `pip install sentence-transformers`해결방법 RAG하려고 환경 깔때마다 가끔 나오는 에러였는데 발생 이유를 몰라서 나올때마다 찾아보기 위해 해결법만 정리해보려한다.TL'DRpip install datasets -U문제파악로그로는 sentence-transformers 라이브러리 문제 같은데 다시 깔거나 버전 업을 해도 당연하게도? 해결되지는 않는다. 로그를 쭉 위로 올리다 보면>>이런 느낌의 로그가 있는데 datasets로 인해 발생했다는걸 알 수 있다. 보통 라이브러리 문제는 재설치하면 대부분 해결되므로pip install datasets -U바로 시전한 결과 버전이 1.4.1->3.1.0으로 올랐다. 아마 다른 라이브러리에서 꽤 옛날 버전으로 datasets를 설치한것 같다.결과는 역시나. 원인을 모르겠어도 컴퓨터는 안되면 재설치가 답이다. 2024. 11. 9. Compact Language Models via Pruning and Knowledge Distillation(2024)리뷰 LLM 논문을 분야 가리지 않고 여럿 읽던 중에 Nvidia의 경량화 관련 논문이 나와서 가볍게 읽어보고 리뷰해보려 한다. 이 기법은 nvidia에서 nemotron을 경량화하여minitron을 만드는 데 사용했다고 한다.Abstract&Introduction저자는 이 논문에서 현존하는 LLM을 기존보다 작은(의 데이터셋으로 경량화하고 retraining하는 방법론을 제안 경량화 방법으로는 pruning을 사용했으며 retraining에는 knowledge distillation(KD)를 사용했으며 기존 Nemotron4-15B모델을 8B와 4B로 경량화하였다. 연구의 시작점은 다음과 같은데 LLAMA, GPT 등 최근 LLM 모델들은 대게 7B, 13B, 70B 등 여러 parameter size의 모.. 2024. 11. 5. 파이콘 한국 2024 후기 취업 후 첫 컨퍼런스로 파이콘 2024에 참여했으며 들은 세션에 대한 간단한 정리와 후기를 공유하고자 합니다. 평소 개발행사에 종종 참여하기는 하지만 커뮤니티가 주최하는 컨퍼런스는 처음이었습니다. 파이썬 컨퍼런스답게 공유하고 커뮤니티를 만들어나가며 같이 성장하는 과정 자체를 강조하는 것 같아 한번쯤은 꼭 참여하고 싶은 행사였습니다.10월 26일 토요일 세션첫째날에는 노트북을 못 챙겨서 기억나는 대로 짧게 적겠습니다.커뮤니티와 파이썬, 그리고 우리이번에 LLM을 입문하며 한국어 데이터를 받을 때 가끔 보이던 "Beomi", 김준범 님이 발표하는 세션이었습니다. 키노트 세션으로 기억하는데 꽤 공감 가는 성장기였습니다.허깅페이스에서 봤을때 엄청난 프로그래밍 대가처럼 보였던 준범님도 당연히 입문자라 개발이하는게.. 2024. 10. 30. 2024 자동차 데이터 분석 경진대회(프롬프트 엔지니어링) LLM을 배운 지 1개월 정도 됐는데 프롬프트 엔지니어링이 보통 어떤 식으로 이루어지는지 그리고 gpt api는 어떻게 사용하는지 궁금했을 때 이 필요에 딱 맞는 대회라 생각해 공부 겸 참여하였다. 프롬프트 엔지니어링 예제를 찾아봤을때 경진대회에서 사용되는 확실한, 구체적인 예는 많지 않았고 특히 한국어 게시물은 원하는 퀄리티의 예제가 없어 어떤 식으로 구성했는지 공유하고 싶어 이 글을 작성했다.예상독자LLM 입문자: 프롬프트 엔지니어링을 어떤식으로 진행하는지 예시를 알고 싶은 분들문제 정의 2024 자동차 데이터 분석 경진대회 - DACON분석시각화 대회 코드 공유 게시물은 내용 확인 후 좋아요(투표) 가능합니다.dacon.io 문제 자체는 정말 간단했다. 각 데이터에 일정한 길이의 문자열이 포함되어 .. 2024. 10. 19. [Git] git reset --hard 되돌리기 깃을 사용하다 보면 커밋메시지를 바꾼다거나 파일을 더 추가하고 싶다는 이유 등으로 git reset 명령어를 자주 사용한다. reset --soft로 돌아가면 문제없는데 커밋 이후 파일을 변경하면 reset --hard로 급하게 돌아오고 커밋하는 경우도 종종 있다. 문제는 이 과정에 중요한 코드가 누락될 수가 있다는 건데. 이번에는 이걸 되돌리는 방법에 대해 설명해 보겠다.커밋 내역 확인(git reflog)예시를 위해 Commit1~4 순으로 커밋했을 때 get reflog를 통해 위와 같이 커밋한 순서대로 커밋아이디와 커밋 메시지가 적혀있는걸 확인할 수 있다.이후 git reset --hard 305ef51로 과거 버전으로 이동하면 이후 커밋한 내역들(Commit_4)가 사라진걸 확인할 수 있다.gi.. 2024. 10. 12. STaR: Self-Taught ReasonerBootstrapping Reasoning With Reasoning(2022) 리뷰 최근 o1이 등장하고 직접 써보니 무언가 기존과는 확실히 다른 inference과정을 거친다는게 느껴졌다. 찾아보니 self correctetion이라는 개념이 적용됐을 거라고 추측하는 글이 몇몇 있어 관련 논문을 리뷰해 보기로 했다. https://github.com/teacherpeterpan/self-correction-llm-papers?tab=readme-ov-file#post-hoc-correction GitHub - teacherpeterpan/self-correction-llm-papers: This is a collection of research papers for Self-Correcting Large LanguageThis is a collection of research paper.. 2024. 10. 8. ImageBind: One Embedding Space To Bind Them All(2023) 리뷰 ImageBind by Meta AIA multimodal model by Meta AIimagebind.metademolab.comMeta는 논문을 내면 그와 함께 데모사이트를 내는 경우가 많은데 위의 링크에서 예제를 사용해 본 뒤로 원리가 궁금해져 읽은 논문이다. Multimodal SOTA 같은 실용적인 목적이 아니라 여러 modality를 어떤 식으로 융합하는게 좋을지에 대한 실험적인 논문이라고 생각한다.(MultiModal 논문을 읽은 적이 없어 결과를 나열해도 impact를 못 느낀점도 있다)Abstract&Introduction이 논문은 6개의 다른 모달리티(images, text, audio, depth, thermal, IMU)에 대한 joint embedding을 생성하는 법을 제시한다.. 2024. 9. 29. Transformers[1] 0.GPU 지정아래처럼 쓰는 이유는 python에서 device설정할때 인자로 넘기는 것보다 이게 더 확실하고 편해서그리고 device_map: "auto" 와 조합해서 모두 커버 가능해서import osos.environ["CUDA_VISIBLE_DEVICES"] = "0" # "0"을 원하는 GPU 인덱스로 변경1.AutoClass 불러오기from transformers import AutoTokenizer, AutoModelForSequenceClassification, AutoModelForMaskedLMtokenizer = AutoTokenizer.from_pretrained("google-bert/bert-base-cased")model = AutoModelForSequenceClassifi.. 2024. 9. 24. 이전 1 2 3 4 5 ··· 12 다음
