전체 글85 STaR: Self-Taught ReasonerBootstrapping Reasoning With Reasoning(2022) 리뷰 최근 o1이 등장하고 직접 써보니 무언가 기존과는 확실히 다른 inference과정을 거친다는게 느껴졌다. 찾아보니 self correctetion이라는 개념이 적용됐을 거라고 추측하는 글이 몇몇 있어 관련 논문을 리뷰해 보기로 했다. https://github.com/teacherpeterpan/self-correction-llm-papers?tab=readme-ov-file#post-hoc-correction GitHub - teacherpeterpan/self-correction-llm-papers: This is a collection of research papers for Self-Correcting Large LanguageThis is a collection of research paper.. 2024. 10. 8. ImageBind: One Embedding Space To Bind Them All(2023) 리뷰 ImageBind by Meta AIA multimodal model by Meta AIimagebind.metademolab.comMeta는 논문을 내면 그와 함께 데모사이트를 내는 경우가 많은데 위의 링크에서 예제를 사용해 본 뒤로 원리가 궁금해져 읽은 논문이다. Multimodal SOTA 같은 실용적인 목적이 아니라 여러 modality를 어떤 식으로 융합하는게 좋을지에 대한 실험적인 논문이라고 생각한다.(MultiModal 논문을 읽은 적이 없어 결과를 나열해도 impact를 못 느낀점도 있다)Abstract&Introduction이 논문은 6개의 다른 모달리티(images, text, audio, depth, thermal, IMU)에 대한 joint embedding을 생성하는 법을 제시한다.. 2024. 9. 29. Transformers[1] 0.GPU 지정아래처럼 쓰는 이유는 python에서 device설정할때 인자로 넘기는 것보다 이게 더 확실하고 편해서그리고 device_map: "auto" 와 조합해서 모두 커버 가능해서import osos.environ["CUDA_VISIBLE_DEVICES"] = "0" # "0"을 원하는 GPU 인덱스로 변경1.AutoClass 불러오기from transformers import AutoTokenizer, AutoModelForSequenceClassification, AutoModelForMaskedLMtokenizer = AutoTokenizer.from_pretrained("google-bert/bert-base-cased")model = AutoModelForSequenceClassifi.. 2024. 9. 24. 2024년 SQLD 합격 후기, 3주 공부법 입사 전에 스펙겸 SQLD를 지원했는데 어찌어찌 취업에 성공했고 취업 전에는 도저히 공부할 마음이 들지 않아 취업 직후 3주 동안 최악의 컨디션으로 공부했다. 최근 공부하면서 이정도로 잠이 온 적이 있었나? 싶을 정도로 졸았지만 틈틈이 공부해서 어떻게든 합격은 가능했다. 조금 막힐때마다 시간을 쓰기보다는 더 흡수력 좋은 자료를 찾아내서 시간을 아낄 수 있었던것 같다. 내가 어떤 컨텐츠로 공부했고 각각 어떤 점이 도움이 됐는지 간단히 적어보려 한다. 참고로 나는 AI 개발자로 DB를 다뤄본 경험은 거의 없다. 간단한 select, insert 정도가 전부이고 create가 기존에 사용해본 가장 어려운 문법이었다.학습컨텐츠 정리 SQL 자격검정 실전문제 - 예스24SQL 자격검정 실전문제는 국가공인 S.. 2024. 9. 21. WSL VScode에서 SSH 에러 (Could not establish connection to "ip")해결방법 기존에도 WSL+VS code+SSH를 사용해 원격에 자주 접속한 적이 있어 이번에 회사에서 똑같이 따라하려다 황당한 에러가 나서 해결법은 공유하려 한다. TL;DRvscode에서 IdentityFile에 wsl경로를 리눅스(폴더에 "/" 사용)가 아니라 윈도우로 바꿔주면 해결할 수 있다. 문제파악VScode에서 SSH를 사용할 때 대게 위와 같은 형식을 사용한다.이번에난 에러에서 중간 부분을 잘라왔는데 중간에 기존 IdentityFile로 지정한 id_rsa 파일이 존재하지 않는다고 경고하는걸 볼 수 있다. 폴더 위치를 재확인했을 때 문제가 없어서 무언가 내가 모르는 귀찮은 일이 일어났다는걸 파악했고 바로 검색에 들어갔다.해결과정https://github.com/microsoft/vscode-remot.. 2024. 9. 20. NLP_2 Chapter12Tagging대표적인 태깅 taskNER(개체명 인식): 단어가 사람, 장소, 단체인지 유형 확인POS tagging(품사 태깅): 말 그래도 명상, 동사 형용사 등 품사 확인태깅을 위해서 X의 길이에 맞게 y를 만들어야 하고 이를 시퀀스 라벨링이라고함BIO 표현: 개체명 표현같은거에서 Begin, In, Out을 의미하는듯 각각 시작, 속함, 아무것도 아닌을 의미즉 NER같은 경우 개체당 한 column이 들어가 원핫 느낌이 되는게 아니라 한 차원내에서 모든 개체를 다룸Chapter13BPE:서브워드를 만들어주는 알고리즘 중 하나. 두개의 단어를 하나로 묶는데 순서는 1.빈도수 2. 앞에서부터기존 OOV였던 lowest를 문자 단위로 쪼개고 유사한 문자 집합을 찾아낼 수 있음13-04 .. 2024. 9. 10. NLP_1 Chapter2토큰화(tokenization):자연어는 문서(document)->문장(sentence)->단어(word)->문자(character?) 순서로 데이터를 쪼갤 수 있다.토큰화는 이 중 문장을 단어로 쪼개주는 과정을 의미한다. 주로 띄어쓰기나 품사 단위로 자르는데 한국어는 접미어로 다양한 형태를 가질 수 있으므로 형태소(말의 가장 작은 단위)로 잘라주어야 한다.from nltk.tokenize import word_tokenizeprint('단어 토큰화1 :',word_tokenize("Don't be fooled by the dark sounding name, Mr. Jone's Orphanage is as cheery as cheery goes for a pastry shop."))단어 토.. 2024. 9. 10. Pytorch-GradCAM 치트시트 이번에 신입 프로젝트를 진행하며 처음으로 GradCAM을 써봤는데 그 사용법에 대해 정리해보려 한다. 현재 pytorch에서 GradCAM을 구현한 레포 중 가장 대표적인 건 https://github.com/jacobgil/pytorch-grad-cam 이건데 사용법은 분명 다 나와있는데 조금 직관적이지 않다고 느껴 한 번 정리하고 싶었다.Pytorch GradCAM일단 설치부터 한다.pip install grad-cam 라이브러리 가져오고 적당히 설정을 한 다음import timmimport osimport randomfrom collections import defaultdictfrom importlib import import_moduleimport numpy as npimport pandas a.. 2024. 9. 7. 이전 1 2 3 4 5 ··· 11 다음
