본문 바로가기

분류 전체보기85

STaR: Self-Taught ReasonerBootstrapping Reasoning With Reasoning(2022) 리뷰 최근 o1이 등장하고 직접 써보니 무언가 기존과는 확실히 다른 inference과정을 거친다는게 느껴졌다. 찾아보니 self correctetion이라는 개념이 적용됐을 거라고 추측하는 글이 몇몇 있어 관련 논문을 리뷰해 보기로 했다. https://github.com/teacherpeterpan/self-correction-llm-papers?tab=readme-ov-file#post-hoc-correction GitHub - teacherpeterpan/self-correction-llm-papers: This is a collection of research papers for Self-Correcting Large LanguageThis is a collection of research paper.. 2024. 10. 8.
ImageBind: One Embedding Space To Bind Them All(2023) 리뷰 ImageBind by Meta AIA multimodal model by Meta AIimagebind.metademolab.comMeta는 논문을 내면 그와 함께 데모사이트를 내는 경우가 많은데 위의 링크에서 예제를 사용해 본 뒤로 원리가 궁금해져 읽은 논문이다. Multimodal SOTA 같은 실용적인 목적이 아니라 여러 modality를 어떤 식으로 융합하는게 좋을지에 대한 실험적인 논문이라고 생각한다.(MultiModal 논문을 읽은 적이 없어 결과를 나열해도 impact를 못 느낀점도 있다)Abstract&Introduction이 논문은 6개의 다른 모달리티(images, text, audio, depth, thermal, IMU)에 대한 joint embedding을 생성하는 법을 제시한다.. 2024. 9. 29.
Transformers[1] 0.GPU 지정아래처럼 쓰는 이유는 python에서 device설정할때 인자로 넘기는 것보다 이게 더 확실하고 편해서그리고 device_map: "auto" 와 조합해서 모두 커버 가능해서import osos.environ["CUDA_VISIBLE_DEVICES"] = "0" # "0"을 원하는 GPU 인덱스로 변경1.AutoClass 불러오기from transformers import AutoTokenizer, AutoModelForSequenceClassification, AutoModelForMaskedLMtokenizer = AutoTokenizer.from_pretrained("google-bert/bert-base-cased")model = AutoModelForSequenceClassifi.. 2024. 9. 24.
2024년 SQLD 합격 후기, 3주 공부법 입사 전에 스펙겸 SQLD를 지원했는데 어찌어찌 취업에 성공했고 취업 전에는 도저히 공부할 마음이 들지 않아 취업 직후 3주 동안 최악의 컨디션으로 공부했다.   최근 공부하면서 이정도로 잠이 온 적이 있었나? 싶을 정도로 졸았지만 틈틈이 공부해서 어떻게든 합격은 가능했다. 조금 막힐때마다 시간을 쓰기보다는 더 흡수력 좋은 자료를 찾아내서 시간을 아낄 수 있었던것 같다. 내가 어떤 컨텐츠로 공부했고 각각 어떤 점이 도움이 됐는지 간단히 적어보려 한다.  참고로 나는 AI 개발자로 DB를 다뤄본 경험은 거의 없다. 간단한 select, insert 정도가 전부이고 create가 기존에 사용해본 가장 어려운 문법이었다.학습컨텐츠 정리 SQL 자격검정 실전문제 - 예스24SQL 자격검정 실전문제는 국가공인 S.. 2024. 9. 21.