분류 전체보기90 ColBERT: Efficient and Effective Passage Search viaContextualized Late Interaction over BERT(2020) 리뷰 최근에는 계층적, Agentic, Modular 등의 다양한 RAG 방법론이 나오는데 100만 개 이내의 embedding에 대한 basic 한 접근방법은 exhaustive search 이후 k=1000 정도의 후보군에 대한 rerank를 사용하는 것이다. 흔히 사용되는 Reranker는 보통 Cohere reranker나 오픈소스 모델을 사용하는데 이 중 base가 되는 알고리즘이 ColBERT이다. RAG에서 DPR 정도의 위치에 있다고 보면 될 것 같다.Abstract&Introduction당시 IR에 language model(LM)을 사용하는 방법이 활발히 연구되고 있었지만 이 방법은 하나의 score를 얻기 위해 query, document쌍을 동시에 처리해야 하는 단점이 있다.이러한 단점을.. 2025. 3. 8. Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks(2019) 리뷰 RAG 서비스의 가장 근간이 되는 기술은 embedding 기술 그중 Sentence Transformers 라이브러리는 embedding에서 대체제가 없는 라이브러리라고 느껴졌고 자연스레 관심이 생겨 리뷰해보려 한다.Abstract&Introduction두 개 이상의 sentence pair를 regression하는 Semantic textual similarity(STS)와 같은 task에서는 대게 BERT base의 model들이었다. 하지만 이 model 들은 10000개의 sentence 비교를 위해 약 5000만 번의 필요했다.(모든 pair 간의 연산이므로 n(n+1)/2 약 O(n^2)번) 저자가 제안하는 SBERT는 기존 BERT base model이 65시간 걸리는 계산을 5초 이내에 .. 2025. 1. 19. 신입 AI 개발자 2024년 회고 2024년은 졸업 후 AI 개발자로 취업을 성공한 의미 깊은 해이다. 입사 후 반년도 채 되지 않은 지금 심정을 정리하고 올해를 돌아보려 한다.대학원&취업 준비이번 연도 6월까지는 대학원 입시에만 매진했었다. 나름 열심히 준비했다고 생각했지만 모두 떨어지고 무기력하게 하루하루를 보냈는데 돌이켜보면 당시에 대학원에 입학하고 싶다는 회피성 목표만 있었고 확실한 연구주제나 계획은 없어 실패하는 건 당연했던 것 같다. 한 번 바닥을 보고 나서 그런가 취준은 예상보다 어렵지 않았고 다행히도 2개월 안에 무난한 중소기업에 취업할 수 있었다. 취업도 대학원 입학도 못했던 시기에는 방에 쳐박혀서 뭐 하고 먹고사나 고민뿐이었지만 돌아보면 참 사소한 고민이었고 스스로를 조금 더 챙겼었으면 어땠을까 싶다.취업 이후입사한 .. 2025. 1. 9. A Survey on LLM-as-a-Judge(2024) 리뷰 LLM서비스를 개발하다 보면 fine tuning만을 위한 full dataset이 아니라 다른 포맷의 데이터에서는 잘 작동하는지 외부 데이터 소스를 잘 활용하는지 retrieval은 문제가 없는지 등 여러 시나리오에서 평가용 데이터셋이 필요한 경우가 많고 AI 개발자라 그런지 이런 경우 십중팔구 LLM api를 활용해 benchmark dataset을 만들어 성능을 평가한다. 나도 이러한 상황에 몇 번 처했는데 대부분 원하는 대로 동작했지만 가끔씩 data가 내 의도랑 좀 다르다거나 format이 마음에 들지 않는 등 성가신 상황이 가끔 발생했다.물론 정성들인 prompt engineering이 있다면 대다수의 문제를 해결할 수 있겠지만 조금 더 이 과정을 설득력 있게 해결하고 싶어 찾아본 논문이다... 2025. 1. 6. 이전 1 2 3 4 ··· 23 다음
