전체 글92 PseudoCon 2025 후기 평소에도 주기적으로 개발행사나 커뮤니티에 참여하곤 하는데 이번에는 좋은 기회를 얻어 3월부터 진행한 사이드 프로젝트 JobPT의 시연을 위해 PseudoCon 2025에 참여하였다.임베디드 개발자에서 방향을 바꾸고 난 뒤 AI 서비스를 개발하고 시연하는 자리는 이번이 처음이라 꽤 떨렸다. 예상보다 큰 규모에 놀라기도 했고, 부스나 발표들을 깊이 있게 즐기진 못했지만, 프로젝트 발표와 개인 회고를 위해 이렇게 기록을 남겨보려고 한다.발표&부스프로젝트 시연에 신경이 쏠려 전부 듣지는 못했지만 전반적으로 퀄리티 높고 현직 AI 개발자라면 흥미가 갈만한 주제들로 구성되어 있었다. 그중 기억에 남는건 AI 시대의 개발자 역량, Huggingface에 기여하기 그리고 AI 학습 트렌드의 변화 등 기술적인 내용과 트.. 2025. 6. 1. 포트포워딩 없이 로컬 개발환경 공유하기(VScode tunnel) 최근 오프라인에서 사이드 프로젝트 미팅을 할 일이 있었는데 노트북은 클라우드 환경을 접속해서 사용하다 보니 개발환경을 깔려면 wsl부터 세팅해줘야 했다. 또한 구매한지 오래되어 램이 부족해 여러모로 개발에 차질이 있는 상황에 데스크탑을 공유하는 방법을 찾아봤다. 기존에는 외부공유를 위해서는 포트포워딩+SSH를 사용하는게 가장 쉬운 방법이라고 알고있었는데 그것조차 너무 귀찮아서 더 쉬운 방법이 없나 찾아보니말도 안되게 쉬운 방법이 있어 공유하려고한다.VScode tunnel 세팅하기###구글 요약 SSH 터널링:SSH 터널링은 SSH 클라이언트를 사용하여 서버와 연결을 설정하고, 터널을 통해 포트를 전달하는 방식입니다.SSH 클라이언트에서 -L 옵션을 사용하여 포트 포워딩을 설정할 수 있습니다. 예를 들어.. 2025. 4. 28. ColBERT: Efficient and Effective Passage Search viaContextualized Late Interaction over BERT(2020) 리뷰 최근에는 계층적, Agentic, Modular 등의 다양한 RAG 방법론이 나오는데 basic 한 접근방법은 100만 개 이내의 embedding에 대한 exhaustive search 이후 k=1000 정도의 후보군에 대한 rerank를 사용하는 것이다. 흔히 사용되는 Reranker는 보통 Cohere reranker나 오픈소스 모델을 사용하는데 이들의 base가 되는 알고리즘이 ColBERT이다. RAG에서 DPR 정도의 위치에 있다고 보면 될 것 같다.Abstract&Introduction당시 IR에 language model(LM)을 사용하는 방법이 활발히 연구되고 있었지만 이 방법은 하나의 score를 얻기 위해 query, document쌍을 동시에 처리해야 하는 단점이 있다.이러한 단점을.. 2025. 3. 8. Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks(2019) 리뷰 RAG 서비스의 가장 근간이 되는 기술은 embedding 기술 그중 Sentence Transformers 라이브러리는 embedding에서 대체제가 없는 라이브러리라고 느껴졌고 자연스레 관심이 생겨 리뷰해보려 한다.Abstract&Introduction두 개 이상의 sentence pair를 regression하는 Semantic textual similarity(STS)와 같은 task에서는 대게 BERT base의 model들이었다. 하지만 이 model 들은 10000개의 sentence 비교를 위해 약 5000만 번의 필요했다.(모든 pair 간의 연산이므로 n(n+1)/2 약 O(n^2)번) 저자가 제안하는 SBERT는 기존 BERT base model이 65시간 걸리는 계산을 5초 이내에 .. 2025. 1. 19. 신입 AI 개발자 2024년 회고 2024년은 졸업 후 AI 개발자로 취업을 성공한 의미 깊은 해이다. 입사 후 반년도 채 되지 않은 지금 심정을 정리하고 올해를 돌아보려 한다.대학원&취업 준비이번 연도 6월까지는 대학원 입시에만 매진했었다. 나름 열심히 준비했다고 생각했지만 모두 떨어지고 무기력하게 하루하루를 보냈는데 돌이켜보면 당시에 대학원에 입학하고 싶다는 회피성 목표만 있었고 확실한 연구주제나 계획은 없어 실패하는 건 당연했던 것 같다. 한 번 바닥을 보고 나서 그런가 취준은 예상보다 어렵지 않았고 다행히도 2개월 안에 무난한 중소기업에 취업할 수 있었다. 취업도 대학원 입학도 못했던 시기에는 방에 쳐박혀서 뭐 하고 먹고사나 고민뿐이었지만 돌아보면 참 사소한 고민이었고 스스로를 조금 더 챙겼었으면 어땠을까 싶다.취업 이후입사한 .. 2025. 1. 9. A Survey on LLM-as-a-Judge(2024) 리뷰 LLM서비스를 개발하다 보면 fine tuning만을 위한 full dataset이 아니라 다른 포맷의 데이터에서는 잘 작동하는지 외부 데이터 소스를 잘 활용하는지 retrieval은 문제가 없는지 등 여러 시나리오에서 평가용 데이터셋이 필요한 경우가 많고 AI 개발자라 그런지 이런 경우 십중팔구 LLM api를 활용해 benchmark dataset을 만들어 성능을 평가한다. 나도 이러한 상황에 몇 번 처했는데 대부분 원하는 대로 동작했지만 가끔씩 data가 내 의도랑 좀 다르다거나 format이 마음에 들지 않는 등 성가신 상황이 가끔 발생했다.물론 정성들인 prompt engineering이 있다면 대다수의 문제를 해결할 수 있겠지만 조금 더 이 과정을 설득력 있게 해결하고 싶어 찾아본 논문이다... 2025. 1. 6. 2024년 빅분기 실기 합격 후기, 1주 공부법(전공자 기준) 23년도에는 3파트를 손대 못 대고 광탈했었는데 취업 후 빅분기 9회에 재도전해서 다행히 합격했다. 빅분기는 다른 IT 도메인 자격증들 중에 시행 횟수가 꽤 적은 편인데 1년에 두 번 밖에 시행하지 않는다. 그래서 그런지 문제유형도 고정적이지 않고 시중에 풀린 문제도 많지 않다. 이번에는 전공자를 기준으로 내가 어떤 컨텐츠로 공부했는지 적어보려고 한다. 필자는 numpy, pandas 같은 데이터 전처리, ML 라이브러리는 원활히 사용할 줄 알고 3유형에 나오는 통계 문제들은 개념조차 모르는 상태에서 공부를 시작했다. 물론 전공자이므로 책은 구매하지 않겠다는 전제를 깔고 들어갔다.(최근 3유형 문제들이 어느 정도 정형화돼서 귀찮으면 책 하나 떼는 것도 좋은 선택 같다)학습컨텐츠 정리 Kim Tae He.. 2024. 12. 24. Toward Optimal Search and Retrieval for RAG(2024) 리뷰 Abstract&IntroductionRAG 성능은 크게 두 가지에 의존한다. 바로 query로부터 정보를 retrieval하는 retriever와 이를 이용해 문장을 생성하는 reader인데, 이 논문에서는 RAG에서 retriever의 성능을 어떤 식으로 최적화시켜야 할지 여러 실험을 통해 보여준다. 먼저 저자는 이 논문에서 retriever만의 contribution을 측정하기 위해 LLM의 tuning을 진행하지 않는다는 점을 먼저 언급했다. 구리고 보편적인 QA와 attributed QA task에 RAG 성능 평가를 진행했다는데 여기서 attributed QA란 LLM이 생성 시 어떤 document를 참고했는지 언급하는 task를 말한다.Experiment setupLLM instructio.. 2024. 12. 3. 이전 1 2 3 4 ··· 12 다음
