AI 세미나 Adaptive 램성능 및 성능 업그레이드

Adaptive RAG 기술

RAG(Retrieval-Augmented Generation)란?

  • LLM이 답변을 생성할 때 외부 문서를 검색해 그 결과를 AI에 반영하는 기술이다. 

장점

  • 문서를 기반으로 해 언어 모델의 정확도가 올라간다.
  • 인덱스만 바꿔주면 Adaptation에 용의하다.

Retriever란?

  • RAG의 과정에서 검색의 핵심 기능을 수행하는 역할이다. 
  • 따라서 입력과 관련된 문서를 잘 가져올 수 있도록 Retriever를 학습시켜야 한다.
  • Retriever의 디자이너가 Document를 최적화한다.

Query Encoder란?

  • 사용자의 쿼리를 벡터 형태로 변환하는 역할을 담당한다.
  • 변환된 벡터는 Retriever 단계로 전달되어 데이터베이스에 저정된 문서들의 임베딩 벡터와 유사도 계산을 통해 가장 관련성이 높은 정보를 찾는 데 사용된다.

결론

  • 강력한 LLM과 RAG를 결합해서 사용하는게 이상적이다.


Retrieval의 두 가지 주요 방식 Sparse vs Dense

  • Sparse Retrieval
    • 텍스트 단어 출연 여부에 따라 각 문서/쿼리를 수만~수십만 차원의 벡터로 변환한다.

장점

      • 특정 키워드 매칭에 강하다.
      • 대용량 데이터에 대해 고속 처리를 진행한다.

한계

      • 동의어나 파라프레이즈, 의미적인 유사성 반용이 약하다.
      • 단어가 정확히 일치하지 않으면 관련 문서 검색이 어렵다.
  • Dense Retrieval
    • 딥러닝 모델을 활용해 각 문서/질문을 저차원의 연속적 벡터로 변환한다.

장점

      • 문맥 및 의미적 유사성 반영 능력이 높다
      • 키워드가 없더라도 의미 중심 검색이 가능하다.

한계

      • 많은 연산 자원이 필요하다.
      • 인덱싱/검색 속도가  sparse보다 느리다.
  • Precision
    • 검색 결과 중 실제로 관련 있는 문서의 비율
  • Recall
    • 전체 정답 중 몇 개를 정확히 찾았는지에 대한 비율


Adaptive Context Construction for RAG

  • 쿼리의 특성에 맞춰 정보를 역동적으로 선택, 구성해 RAG 시스템의 성능을 극대화하는 전략
  1. Top-down Hierarchy Indexing
    • Chunking : 문서를 토큰 단위로 겹치게 분할하여 문맥의 연속성 보장
    • Compressing : 문서/청크 중요 부분만 골라 요약해 중복을 제거, 의미 집중 강화
    • Slicing: 최상위에서 최하위까지 계층적으로 분할해 다층 인덱스 구성, 세부 단위는 벡터  DB에 저장, 검색 시 문서도 빠르고 정밀하게 탐색 가능
  1. Botton-up Multi-Scale Adaptive Retrieval
    • 세부 슬라이스 단위로 우선 검색 후, 연관도가 높은 슬라이스의 부모 청크나 상위 계층을 함께 불러 컨텍스트를 확장
    • 쿼리의 모호함 복잡성에 따라 더 넓거나 더 좁은 맥락을 실시간으로 조립
    • 상황에 따라 선택적으로 긴 맥락 구성이 가능하므로 복잡한 연쇄 질의, 대용량 문서, 멀티스텝 리즈닝 등에서 우수한 성능 확보

Reranking

  • 초기 검색에서 얻은 후보 집합을 대상으로 더 고도화된 모델이 정확하게 정답성을 평가해 재정렬
  • listwise reranking : 여러 문서 후보를 한 번에 평가해 전체 순위를 결정
  • litewise reranking : 자원 효율성을 극대화하기 위해, 전체 집합이 아닌 일부 서브셋에서만 부분적으로 리스트기반 재정렬 진행
  • Sliding Windwos : 통산 한 번에 넣을 수 있는 길이가 제한적일 경우, 창을 스크롤듯 문서나 후보들을 조금씩 겹치게 나눠 단계적으로 슬라이싱 평가

Tournament Sort

  • 후보 문서 집합에서 최적의 문서를 찾기 위해 토너먼트 방식으로 여러 라운드를 거쳐 비교, 정렬
  • 우선순위 큐를 활용하여 연산량을 줄이고, 대량 데이터셋에서 실시간 순위 산출에 강점

Multilingual, Multimoodal RAG

  • 다국어 인코더
    • 리트리버의 core encoder가 여러 언어별로 충분히 학습되어 있어야 글로벌 환경에서도 유연하게 매칭이 가능.
    • 최신 연구에서는 하나의 멀티링구얼 인코더가 여러 언어의 의미 공간을 공유하도록 설계, 이를 통해 다양한 언어 문서/질문을 동일한 임베딩 공간에서 효과적으로 검색
  • Multimodal RAG
    • 리트리버 자체가 텍스트, 이미지, 음성에 모두 작동 가능한 Multimodal 임베딩 지원 필요
    • 벡터 인코딩, DB 구축, 쿼리 생성/해석, 리랭커 등이 각 각 도메인에 맞게 설계된 Multimodal System 점차 발전 중
    • 이미지-텍스트 매칭이나 음성-텍스트 정보 검색 분야에서는 크로스모달 임베딩 및 엔드투엔드 시스템 연구가 다수 진행 중

Generator의 중요성 및 Usecase 고려

  • RAG 파이프라인에서 Generator는 리트리브된 정보를 바탕으로 실제 최종 답변을 생성하는 역할 담당
  • Usecase에 따라 답변의 스타일, 응답 속도, 신뢰도 포맷 등이 달라져야 하므로, 도메인별 목적별로 최적화된 Generator을 개발하는 것이 중요