검색 증강 생성 (RAG)편집자 확인

검색 단계는 검색 증강 생성 파이프라인의 첫 번째 단계로, 사용자의 질의와 관련된 정보를 외부 지식 베이스에서 찾아내는 과정이다. 이 단계의 핵심 목표는 생성 모델에 제공할 가장 관련성 높고 신뢰할 수 있는 참조 문서를 효율적으로 선별하는 것이다. 검색의 정확성은 전체 시스템의 출력 품질을 직접적으로 결정한다.

검색 과정은 일반적으로 질의 임베딩 생성과 유사도 검색의 두 단계로 나뉜다. 먼저, 사용자의 입력 질의는 임베딩 모델을 통해 고차원의 벡터 공간에 표현되는 숫자 벡터(임베딩)로 변환된다. 이 임베딩은 질의의 의미적 맥락을 포착한다. 이후, 이 질의 임베딩은 사전에 구축된 벡터 데이터베이스에 저장된 문서 임베딩들과 비교된다. 데이터베이스는 코사인 유사도나 유클리드 거리와 같은 유사도 측정 방식을 사용해 질의와 가장 의미적으로 가까운 문서들을 찾아낸다.

검색 성능을 높이기 위해 다양한 기법이 적용된다. 예를 들어, 질의 확장은 원래 질의에 동의어나 관련 용어를 추가해 검색 범위를 넓힌다. 하이브리드 검색은 의미적 검색(벡터 검색)과 키워드 기반의 전통적 검색(BM25 알고리즘 등)의 결과를 융합하여 정확성과 재현율을 균형 있게 높인다. 최종적으로, 검색기는 상위 k개의 가장 관련성 높은 문서 조각(청크)을 선정하여 다음 생성 단계로 전달한다.

검색 단계에서 제공된 관련 문서 조각들을 바탕으로, 최종 응답을 생성하는 과정이다. 이 단계의 핵심은 검색된 컨텍스트 정보를 효과적으로 활용하여 정확하고 자연스러운 언어를 산출하는 것이다.

생성 단계는 일반적으로 대규모 언어 모델(LLM)이 담당한다. 모델은 사용자의 쿼리와 함께 검색 시스템으로부터 전달받은 참조 문서들을 입력으로 받는다. 이때, 프롬프트 엔지니어링 기법을 통해 "주어진 다음 정보를 바탕으로 질문에 답하라"는 지시와 함께 컨텍스트와 질문이 구조화되어 제공된다[2]. 모델은 제공된 외부 지식에 근거하여 응답을 생성함으로써, 자신의 내부 지식에만 의존할 때 발생할 수 있는 사실 오류(환각 현상)를 줄인다.

생성의 품질은 검색된 문서의 질과 모델의 컨텍스트 통합 능력에 크게 의존한다. 따라서 다음과 같은 기법들이 중요하게 고려된다.

최종적으로, 이 단계는 검색 단계와 긴밀하게 연계되어 하나의 통합된 파이프라인을 이룬다. 생성 모델의 성능 향상과 더불어, 검색된 정보를 어떻게 효과적으로 활용하고 해석할지에 대한 연구가 지속적으로 이루어지고 있다.

검색-생성 통합은 검색 증강 생성 (RAG) 파이프라인의 핵심 단계로, 검색 단계에서 획득한 외부 지식 정보를 생성 모델(LLM)의 문맥에 효과적으로 주입하여 최종 응답을 산출하는 과정을 의미한다. 이 단계는 단순히 정보를 나열하는 것이 아니라, 검색된 문서를 모델이 이해하고 활용할 수 있는 형태로 변환하고 통합하는 것을 목표로 한다.

통합의 일반적인 방식은 검색된 문서나 문서 조각들을 프롬프트 엔지니어링 기법을 통해 생성 모델의 입력 프롬프트에 포함시키는 것이다. 가장 일반적인 패턴은 "지시-문맥-질문" 구조를 따르며, 생성 모델에게 제공된 문맥(검색 결과)을 바탕으로 질문에 답하도록 명시적으로 지시한다. 예시 프롬프트는 다음과 같은 형태를 가진다.

```

다음은 질문에 답변하는 데 도움이 될 수 있는 관련 정보입니다:

[검색된 문서 내용 1]

[검색된 문서 내용 2]

...

위의 제공된 정보를 바탕으로 다음 질문에 답변하세요: [사용자 질문]

정보에 명시적으로 언급되지 않은 내용은 추측하지 마세요.

```

효과적인 통합을 위해 여러 기법이 적용된다. 검색된 여러 문서의 내용을 요약하거나 가장 관련성 높은 부분을 추출하여 문맥의 길이를 최적화할 수 있다. 또한, 각 검색 결과에 출처 메타데이터(예: 문서 제목, 페이지 번호)를 함께 제공하여 생성 모델로 하여금 응답에 출처를 표기하게 함으로써 응답의 신뢰성과 검증 가능성을 높이는 방법도 있다. 일부 고급 구현에서는 생성 모델이 검색 결과를 순차적으로 참조하거나, 자신의 응답에 대한 확신이 낮을 때 추가 검색을 요청하는 등 보다 상호작용적인 통합 방식을 채택하기도 한다.

벡터 데이터베이스는 검색 증강 생성 시스템의 핵심 인프라로, 임베딩된 형태의 지식 데이터를 저장하고 효율적으로 검색하는 역할을 한다. 임베딩은 텍스트, 이미지, 오디오와 같은 비정형 데이터를 고차원의 수치 벡터로 변환하는 과정이다. 이 변환은 딥러닝 모델, 특히 트랜스포머 기반의 언어 모델을 통해 이루어지며, 의미론적으로 유사한 콘텐츠는 벡터 공간에서 가까운 위치에 매핑된다.

벡터 데이터베이스는 이러한 고차원 벡터들을 저장하고, 주어진 질의 벡터와 가장 유사한 벡터들을 빠르게 찾기 위해 특화되어 있다. 이는 전통적인 키-값 검색이나 텍스트 매칭과는 근본적으로 다른 접근법이다. 주요 벡터 데이터베이스로는 Pinecone, Weaviate, Milvus, Qdrant 및 Chroma 등이 있으며, 각각은 대규모 벡터 집합에 대한 근사 최근접 이웃 검색을 최적화한다.

임베딩 모델의 품질은 검색의 정확도를 직접적으로 결정한다. 널리 사용되는 모델로는 OpenAI의 text-embedding-ada-002, Cohere의 임베딩 모델, 그리고 Sentence Transformers와 같은 오픈소스 라이브러리의 모델들이 있다. 이 모델들은 문서나 문장을 수백에서 수천 차원의 밀집 벡터로 변환하며, 변환된 벡터는 원본 텍스트의 의미와 문맥을 압축하여 담고 있다.

RAG 시스템에서의 일반적인 데이터 흐름은 다음과 같다.

이러한 아키텍처는 검색 증강 생성 시스템이 방대한 외부 지식 소스에 실시간으로 접근하고, 생성 모델이 항상 최신의 정확한 참조 정보를 바탕으로 응답을 생성할 수 있도록 한다.

검색기는 검색 증강 생성 (RAG) 시스템에서 검색(Retrieval) 단계를 담당하는 핵심 구성 요소이다. 외부 지식 소스에서 질의와 관련된 정보를 효율적으로 찾아내는 역할을 한다. 검색기의 성능은 최종 생성 결과의 정확성과 신뢰도에 직접적인 영향을 미친다.

검색기는 일반적으로 벡터 데이터베이스에 구축된 임베딩 인덱스를 대상으로 작동한다. 사용자의 질문이 입력되면, 검색기는 먼저 해당 질문을 동일한 임베딩 모델을 사용해 벡터로 변환한다. 이후 코사인 유사도나 유클리드 거리와 같은 유사도 측정 방식을 사용해, 질문 벡터와 가장 유사한 벡터를 가진 문서 청크들을 데이터베이스에서 탐색한다. 이 과정은 최근접 이웃 탐색 알고리즘을 통해 수행된다.

검색기의 설계에는 다양한 전략이 적용될 수 있다. 단순한 밀집 벡터 검색 외에도, BM25와 같은 희소 검색 방식을 결합한 하이브리드 방식을 사용해 정확도를 높이기도 한다[3]. 또한, 검색된 문서의 수(상위 k개)를 조정하거나, 검색 결과를 재정렬하는 리랭커 모듈을 추가하는 등 다단계 검색 접근법도 사용된다.

효과적인 검색기는 관련성이 높은 정보를 빠르게 제공함으로써, 후속 생성 모델(LLM)이 사실에 기반한 응답을 생성할 수 있는 토대를 마련한다. 따라서 검색기의 정밀도와 재현율을 최적화하는 것은 RAG 시스템 성능 향상의 관건이다.

생성 모델은 검색 증강 생성 파이프라인의 최종 단계에서 검색된 정보를 바탕으로 자연어 응답을 생성하는 역할을 담당한다. 이 모델은 일반적으로 대규모 언어 모델을 사용하며, 프롬프트 엔지니어링 기법을 통해 검색된 참조 문서와 사용자 질문을 결합한 특수한 입력을 처리한다.

생성 모델의 주요 임무는 검색 단계에서 제공된 문맥 정보를 활용하여 사실에 기반하고 일관된 응답을 산출하는 것이다. 이를 위해 모델은 주어진 지시사항에 따라 검색된 문서의 내용을 요약, 통합, 재구성하거나, 문서의 내용을 직접 인용하여 응답을 구성한다. 이 과정에서 모델은 단순히 정보를 나열하는 것을 넘어, 질문의 의도에 맞게 정보를 해석하고 논리적으로 구조화한다.

사용되는 모델의 유형과 성능은 전체 RAG 시스템의 품질에 직접적인 영향을 미친다. 일반적으로 파라미터 규모가 크고 사전 학습이 잘된 모델일수록 복잡한 추론과 자연스러운 언어 생성을 더 잘 수행한다. 아래 표는 RAG 시스템에서 주로 활용되는 생성 모델의 몇 가지 예시를 보여준다.

생성 모델의 성능을 극대화하기 위해서는 효과적인 프롬프트 구성이 필수적이다. 일반적인 RAG 프롬프트 템플릿은 시스템 지시사항, 검색된 참조 문맥, 사용자 질문으로 구성된다. 모델은 "주어진 문맥만을 사용하여 답변하라"는 지시를 받고, 문맥에 없는 정보를 생성하는 환각 현상을 최소화하도록 유도된다.

검색 증강 생성 시스템의 파이프라인 설계는 일반적으로 인덱싱과 쿼리 처리라는 두 개의 주요 흐름으로 구성된다. 인덱싱 파이프라인은 지식 소스를 시스템이 활용 가능한 형태로 준비하는 오프라인 과정이다. 반면, 쿼리 처리 파이프라인은 사용자의 질문이 입력될 때 실시간으로 실행되어 최종 응답을 생성하는 온라인 과정이다.

인덱싱 파이프라인은 먼저 다양한 형식의 원본 문서(예: PDF, 웹페이지, 데이터베이스 레코드)를 텍스트로 변환하고 청킹(chunking) 과정을 거쳐 적절한 크기의 조각으로 분할한다. 이후 임베딩 모델을 사용하여 각 텍스트 조각을 벡터 표현으로 변환하고, 이 벡터들을 벡터 데이터베이스에 저장하여 효율적인 유사도 검색이 가능하도록 인덱스를 구축한다. 이 과정에서 메타데이터(출처, 작성일 등)도 함께 저장되어 후속 필터링에 활용된다.

쿼리 처리 파이프라인은 사용자 질의가 입력되면 시작된다. 첫 번째 단계인 검색기 단계에서 질의 문장 역시 동일한 임베딩 모델로 벡터화되고, 벡터 데이터베이스에서 코사인 유사도 등의 척도를 사용해 가장 관련성이 높은 텍스트 조각들을 검색한다. 검색된 문서 조각들은 생성 모델에 대한 프롬프트에 맥락으로 삽입된다. 최종적으로, 생성 모델(예: GPT, LLaMA)은 "주어진 맥락을 바탕으로 질문에 답하라"는 지시를 받고, 검색된 지식을 참조하면서 응답을 생성한다.

효율적인 파이프라인 설계를 위한 고려 사항은 다음과 같다.

인덱싱 단계는 검색 증강 생성 시스템의 지식 기반을 구축하는 과정이다. 이 단계에서는 외부 지식 소스(예: 문서, 웹페이지, 데이터베이스)의 내용을 시스템이 효율적으로 검색할 수 있는 형태로 변환하고 저장한다. 일반적인 과정은 소스 문서를 더 작은 단위의 청크로 분할한 후, 텍스트 임베딩 모델을 사용해 각 청크의 의미를 나타내는 벡터 표현을 생성한다. 이렇게 생성된 벡터와 원본 텍스트 청크는 벡터 데이터베이스에 함께 저장되어, 이후 검색을 위한 인덱스를 형성한다.

쿼리 처리 단계는 사용자의 질문이 입력되었을 때 이 인덱스에서 관련 정보를 찾아내는 과정이다. 시스템은 먼저 사용자 쿼리를 동일한 임베딩 모델을 사용해 벡터로 변환한다. 그런 다음, 벡터 데이터베이스에서 쿼리 벡터와 코사인 유사도가 높은, 즉 의미상 가장 유사한 k개의 텍스트 청크를 검색한다. 이 검색 결과는 맥락으로서 생성 모델에 제공된다.

인덱싱과 쿼리 처리의 성능과 정확도는 여러 요소에 의해 결정된다.

효율적인 쿼리 처리를 위해 근사 최근접 이웃 검색 알고리즘이 자주 사용된다. 이는 정확한 검색보다 빠른 속도로 유사한 결과를 찾아주며, HNSW나 IVF 같은 인덱싱 구조를 통해 대규모 데이터베이스에서도 실시간 검색이 가능하게 한다. 또한, 하이브리드 검색 기법으로서 벡터 유사도 검색과 기존의 키워드 검색(예: BM25) 점수를 융합하여 정확도를 더욱 높이는 방법도 연구되고 있다.

지식 기반 질의응답은 검색 증강 생성의 가장 대표적인 응용 분야이다. 이는 기업 내부의 문서 관리 시스템, 기술 매뉴얼, 연구 논문, 위키 페이지와 같은 대규모의 구조화되지 않은 텍스트 데이터베이스에서 정확한 답변을 추출하는 데 사용된다. 사용자의 자연어 질문에 대해 시스템은 관련 문서 조각을 검색하여 대규모 언어 모델에 제공하고, 모델은 검색된 정보를 바탕으로 문맥에 맞는 응답을 생성한다.

기존의 키워드 기반 검색 엔진은 단순히 관련 문서를 나열하는 데 그쳤지만, RAG 기반 질의응답 시스템은 정보를 종합하고 직접적인 답변을 생성한다. 예를 들어, "작년 4분기 북미 지역의 매출 성장률은 얼마인가?"라는 질문에 대해 시스템은 재무 보고서, 회의록, 시장 분석 자료 등에서 관련 수치와 설명을 찾아내어 "작년 4분기 북미 지역 매출은 전년 동기 대비 15% 성장하였으며, 이는 신제품 X의 출시에 기인한 것으로 분석됩니다."와 같은 구조화된 답변을 제공할 수 있다.

구현 시 고려해야 할 요소는 다음과 같다.

이러한 시스템은 특히 법률, 금융, 의료, 기술 지원과 같이 사실적 정확성이 요구되는 분야에서 유용하다. 단순한 정보 검색을 넘어, 복잡한 질문에 대한 추론과 종합이 필요한 지식 작업의 효율성을 크게 높인다.

검색 증강 생성은 방대한 문서 집합을 대상으로 한 요약과 분석 작업에 효과적으로 적용된다. 기존의 대규모 언어 모델이 가진 컨텍스트 길이 제한과 훈련 데이터 이후의 정보 부재 문제를 해결하여, 최신의 외부 지식 소스를 활용한 정확한 문서 처리를 가능하게 한다.

이 응용 분야에서 RAG 시스템은 일반적으로 두 가지 방식으로 작동한다. 첫째, 단일 장문 문서에 대한 요약이다. 시스템은 문서 전체를 벡터 데이터베이스에 청크 단위로 인덱싱한 후, 사용자의 요약 요청에 따라 핵심 내용과 관련된 가장 관련성 높은 청크들을 검색하여 생성 모델에 제공한다. 이 모델은 검색된 정보를 바탕으로 원문의 맥락을 유지하면서도 간결한 요약문을 생성한다. 둘째, 다중 문서에 대한 비교 분석이다. 예를 들어, 여러 회사의 연차보고서나 관련 연구 논문들을 데이터 소스로 구축하면, 사용자는 특정 주제(예: "ESG 정책")에 대해 각 문서에서 어떻게 다루고 있는지 비교 분석한 결과를 얻을 수 있다[5].

이 접근법의 주요 장점은 요약의 사실성과 객관성을 높인다는 점이다. 생성 모델이 단순히 자신의 사전 지식에 의존해 환각을 생성하는 위험을 줄이고, 실제 문서에서 검증 가능한 정보를 바탕으로 응답을 구성한다. 또한, 분석 작업에서 특정 사실이나 주장이 어떤 문서의 어느 부분에 근거하는지 소스 출처를 함께 제공할 수 있어 결과의 신뢰도를 높인다.

이러한 기능은 기업의 의사결정 지원, 학술 연구 리뷰, 시장 보고서 작성 등 다양한 분야에서 실용적인 가치를 창출한다.

검색 증강 생성은 고객 지원 시스템과 챗봇의 성능을 획기적으로 향상시키는 핵심 기술로 자리 잡았다. 기존의 규칙 기반이나 간단한 자연어 처리 챗봇은 사전 정의된 답변에 의존하거나, 대형 언어 모델 단독 사용 시 발생하는 환각 문제로 인해 정확하지 않거나 유용하지 않은 응답을 제공할 위험이 있었다. RAG 기반 시스템은 실시간으로 회사의 지식 베이스, FAQ, 기술 문서, 이전 대화 기록 등을 검색하여 관련 정보를 찾아낸 후, 이를 바탕으로 생성 모델이 상황에 맞는 정확한 답변을 구성한다. 이는 사용자 질문에 대한 맥락 이해와 사실적 정확성을 동시에 보장한다.

주요 응용 사례는 다음과 같다.

이러한 구현은 고객 대기 시간을 줄이고 지원 에이전트의 업무 부담을 덜어주며, 24시간 연중무휴 서비스를 가능하게 한다. 특히 정보가 자주 업데이트되는 분야(예: 소프트웨어 버전, 정책 변경)에서 RAG는 생성 모델의 지식 한계를 넘어 항상 최신 정보를 바탕으로 응답할 수 있게 한다[6]. 또한, 내부 문서를 검색 대상으로 포함시켜 회사 내부의 특정 프로세스나 비공개 데이터에 대한 질의에도 정확하게 답할 수 있다.

성공적인 RAG 기반 챗봇 구축을 위해서는 고품질의 지식 소스 구축, 사용자 질의의 의도를 정확히 파악하는 검색 쿼리 생성, 그리고 검색된 정보를 자연스럽고 일관된 응답으로 합성하는 생성 모델의 조율이 필수적이다. 검색 단계에서 관련성이 낮은 문서가 다수 포함되면 생성 단계에서 혼란을 초래할 수 있으므로, 재순위화 기법이나 하이브리드 검색(키워드+의미 검색)을 적용하여 검색 품질을 높이는 것이 일반적이다.

검색 증강 생성의 가장 큰 장점은 대규모 언어 모델의 답변 정확성과 사실성을 크게 향상시킨다는 점이다. 기존 생성형 AI는 사전 학습된 지식에만 의존하기 때문에 훈련 데이터에 포함되지 않았거나 최신 정보를 다루지 못하는 한계가 있었다. RAG는 이러한 문제를 외부 지식 소스에서 실시간으로 관련 정보를 검색하여 생성 과정에 반영함으로써 해결한다. 이는 모델이 항상 최신의, 특정 도메인의 정확한 정보에 접근할 수 있도록 보장한다.

또한, RAG는 모델의 환각 현상을 줄이는 데 효과적이다. 생성 모델이 검색된 문서 조각을 근거로 답변을 생성하도록 유도하기 때문에, 응답의 출처를 명시적으로 제공할 수 있고 사실 여부를 검증하기 용이해진다. 이는 금융, 법률, 의료와 같이 높은 정확성이 요구되는 분야에서 특히 중요하다. 사용자는 모델이 단순히 훈련 데이터에서 기억한 내용을 추측하는 것이 아니라, 제공된 증거 문서를 바탕으로 답변을 구성한다는 점을 신뢰할 수 있다.

정확성 향상은 검색 단계의 품질에 직접적으로 의존한다. 효과적인 임베딩 모델과 벡터 데이터베이스는 사용자 질의의 의도를 정확히 파악하고 가장 관련성 높은 문서를 찾아낸다. 이후 생성 모델은 이 검색 결과를 맥락으로 삼아 응답을 합성한다. 이 두 단계의 긴밀한 통합이 최종 출력의 사실성과 신뢰도를 결정하는 핵심 요소이다.

검색 증강 생성의 성능은 검색 단계에서 제공되는 정보의 질에 크게 의존합니다. 검색된 문서가 질문과 관련이 없거나, 정보가 부정확하거나, 최신 정보가 아닌 경우, 생성 모델은 부정확하거나 오래된 내용을 바탕으로 응답을 생성할 수 있습니다. 이는 시스템의 신뢰성을 저해하는 주요 요인입니다. 또한, 검색 결과의 순위나 편향성도 최종 출력에 영향을 미칠 수 있어, 검색 알고리즘의 정밀도와 재현율이 매우 중요합니다.

환각 문제는 대규모 언어 모델이 훈련 데이터에 존재하지 않거나 검색된 문서에서 명시적으로 확인할 수 없는 정보를 마치 사실인 것처럼 생성하는 현상을 말합니다. RAG는 외부 지식을 참조함으로써 이 문제를 완화하지만, 근본적으로 해결하지는 못합니다. 생성 모델이 검색된 문서를 무시하거나, 부분적으로만 참조하며 자신의 내부 지식을 과도하게 사용할 때 환각이 발생할 수 있습니다. 때로는 검색된 여러 문서의 정보를 잘못 종합하거나 모순되는 정보를 조화시키려는 과정에서 새로운 오류를 만들어내기도 합니다.

이러한 한계를 극복하기 위해 여러 기법이 연구되고 있습니다. 검색 단계에서는 재순위 지정 모델을 사용해 관련성 높은 문서를 상위에 배치하거나, 여러 검색기를 조합하는 앙상블 방식을 적용합니다. 생성 단계에서는 생성 모델이 참조한 출처를 명시적으로 표시하도록 유도하거나, 생성된 응답의 각 주장이 검색된 문서의 특정 구절에 기반하는지 검증하는 과정을 추가합니다. 또한, 사용자에게 정보의 불확실성을 알리고 추가 확인을 요청하는 인터페이스도 중요합니다.

검색 증강 생성 시스템의 성능은 검색 단계의 정확도에 크게 의존한다. 이에 따라 기존의 단순한 벡터 유사도 검색을 넘어 다양한 고급 검색 기법이 연구되고 적용된다. 이러한 기법들은 질문의 의도를 더 정확히 이해하거나, 검색된 문서 조각들 간의 관계를 고려하여 최종 맥락의 질을 높이는 것을 목표로 한다.

하이브리드 검색은 밀집 벡터 검색과 희소 벡터 검색을 결합하는 대표적인 방법이다. 밀집 벡터 검색은 임베딩 모델이 생성한 벡터의 의미적 유사도를 기반으로 하지만, 특정 키워드의 정확한 매칭에는 취약할 수 있다. 반면 희소 벡터 검색(예: BM25 알고리즘)은 키워드 빈도와 문서 구조에 기반한 전통적 검색으로, 정확한 용어 일치에 강점을 보인다. 두 방법의 결과를 재랭킹하거나 가중치를 부여해 융합하면 검색의 재현율과 정밀도를 동시에 개선할 수 있다.

질문의 복잡성에 따라 검색 전략을 다층적으로 구성하는 방법도 효과적이다. 예를 들어, 사용자의 원본 질문을 그대로 검색에 사용하는 대신, 쿼리 변환 기법을 적용한다. 여기에는 질문을 더 구체적인 하위 질문으로 분해하거나, 검색기가 이해하기 쉬운 검색어로 재구성하는 작업이 포함된다. 또한, 검색된 여러 문서 조각들 사이에서 중복되거나 모순되는 정보를 걸러내고, 서로 보완적인 정보를 선별하기 위한 문서 후처리 기법이 사용된다. 재귀적 검색과 검증 루프를 도입하여, 초기 생성 결과를 바탕으로 추가 증거 문서를 검색하는 과정을 반복하는 접근법도 연구된다.

최근에는 검색 과정에 생성 모델 자체의 추론 능력을 더욱 적극적으로 활용하는 추세다. 검색기로 사용될 전용 모델을 미세 조정하거나, 생성 모델이 검색 쿼리 생성을 직접 최적화하도록 유도하는 방법이 있다. 또한, 검색된 문서의 신뢰도를 평가하거나, 서로 다른 출처의 정보를 종합적으로 판단하기 위해 생성 모델에 사고 연쇄나 맥락 내 학습 기법을 적용하는 사례도 늘고 있다.

멀티모달 RAG는 텍스트뿐만 아니라 이미지, 오디오, 비디오 등 다양한 형태의 데이터를 검색 대상으로 포함하고, 이를 바탕으로 생성 모델이 응답을 만들어내는 접근법이다. 기존의 텍스트 기반 검색 증강 생성 시스템을 확장하여, 다중 모드 학습과 교차 모달 검색 기술을 결합한다. 이는 보다 풍부한 맥락 정보를 활용할 수 있게 하여, 질의에 대한 응답의 정확성과 풍부함을 높이는 것을 목표로 한다.

시스템은 일반적으로 텍스트, 이미지 등의 다양한 데이터를 통합된 벡터 공간에 임베딩하여 처리한다. 예를 들어, CLIP[8] 같은 비전-언어 모델은 텍스트 설명과 이미지를 같은 공간에 매핑하여, 텍스트 질의로 관련 이미지를 검색하거나 그 반대의 작업을 가능하게 한다. 멀티모달 검색기는 이러한 임베딩을 기반으로 질의와 관련된 텍스트 청크, 이미지, 표, 동영상 프레임 등을 함께 검색해낸다.

생성 단계에서는 검색된 다중 모달 정보를 대규모 언어 모델이 해석하고 통합하여 최종 응답을 생성한다. 이때 생성 모델은 텍스트뿐 아니라 이미지 캡션, 시각적 정보에 대한 설명, 또는 오디오 트랜스크립트를 참조할 수 있다. 일부 고급 시스템은 생성 모델 자체가 멀티모달(예: GPT-4V)이어서, 검색된 이미지를 직접 입력으로 받아 시각적 내용을 설명에 포함시킬 수도 있다.

이 분야의 주요 과제는 서로 다른 모달리티 간의 의미적 정렬을 정확하게 수행하고, 검색된 이질적인 정보를 생성 모델이 조화롭게 통합하도록 하는 것이다. 또한, 대규모 멀티모달 데이터에 대한 효율적인 인덱싱과 검색 속도도 중요한 연구 주제이다.