9일 엠피닥터에 따르면 오전 9시 36분 현재 비큐AI는 전 거래일보다 7.13%(72원) 오른 1082원에 거래되고 있다.
이날 비큐AI가 최근 뉴스 RAG 모델인 ‘RDP 1’ 클로즈 베타 테스트(CBT)를 마치고, LLM+RAG(Retrieval-Augmented Generation) 시스템 성능을 측정 평가하는 국제적 기준 프레임워크인 RAGAS에서 항목별 평균 0.9 이상, 일부 항목에서는 0.95이상의 높은 성과를 달성, 기술적 우수성을 공식적으로 입증했다고 밝혔다. 이는 ‘RDP 1’ 모델이 상용 수준의 고신뢰 LLM+RAG 시스템으로서 기술적 완성도를 객관적으로 입증하는 결과로 인식할 수 있다.
RAGAS는 RAG 시스템의 응답 품질을 정량적으로 평가하기 위해 설계된 오픈소스 프레임워크다. 기존에는 BLEU, ROUGE, METEOR 같은 생성 기반 지표들이 사용됐지만, 이들은 문서 기반 응답의 사실성(Factuality)을 평가하지 못하는 한계가 있었다.
이에 비해 RAGAS는 생성된 답변이 주어진 문맥에 얼마나 충실한지를 평가해서 할루시네이션(환각)을 최소화하는 Faithfulness(충실성·신뢰성), 생성된 답변이 주어진 질문과 얼마나 관련성이 있는지를 평가해 질문에 대한 명확하고 적절한 답변을 제공하는지를 평가하는 Answer Relevancy(답변 관련성), 질문에 대해 검색된 문맥 정보들 중, 정답에 관련된 문서가 얼마나 상위에 위치하는지를 평가해 정답과 관련된 문서들이 상위에 랭크돼 있는지를 측정하는 Context Precision(문맥 정밀도), 검색된 문서에서 정답에 필요한 정보가 얼마나 포함돼 있는지를 측정하는 Context Recall(문맥 재현율) 등 크게 4가지 지표에 대한 성능을 평가 측정한다.
RAGAS는 문서 기반 사실성과 신뢰도(Faithfulness) 중심 평가, 자동화된 LLM 평가+정량 지표 조합, Retriever+Generator 전체 파이프라인 단위 평가 등이 가능해 Microsoft Azure AI 플랫폼에서 LLM 신뢰성 검증, Moody’s 금융데이터 분석 및 리스크 관리에서 LLM 정확성 검증 도구로 사용되는 등 AWS, Meta, OPEN AI와 같은 글로벌 빅테크들이 LLM 신뢰성 검증과 RAG 시스템 효율성 증가를 위해 사용하는 글로벌 평가 프레임워크다.
RAG 시스템의 자동 평가를 위한 새로운 메트릭을 제안한 RAGAS 논문 등에서는 해당 모델이 벤치마크 테스트에서 Answer Relevance 0.78점, Context Relevance (Context Recall) 0.70점을 기록하며 주목을 받았으나 이번 ‘RDP 1’ 모델은 각각 0.8881점과 0.9222점을 기록하며, RAGAS논문 스코어 대비 △0.1081점 △0.2222점 향상된 성과를 보였다.
뿐만 아니라 Context Precision 0.9697점, Faithfulness 0.8533점 등 다른 핵심 지표에서도 높은 수치를 기록하며 정보의 정합성과 응답의 신뢰도 측면에서 탁월한 성능을 입증했다.
‘RDP 1’이 단순 뉴스 요약 수준을 넘어 사실 기반 자동 응답 시스템으로서의 기술적 완성도와 실용성을 확보하고 있다는 점을 보여줬다. 특히 정보 왜곡 없이 원문에 충실한 응답을 생성한다는 측면에서 ‘RDP 1’이 미디어 및 언론 데이터가 필요한 모든 영역에서 신뢰도 높은 정보를 제공할 수 있는 기반을 마련했다고 볼 수 있다.
비큐AI 관계자는 “실시간 데이터 파이프라인 플랫폼인 RDPLine을 통해 글로벌 뉴스 데이터를 포함한 다양한 데이터 파트너십을 강화하고 데이터를 확장하고 있다”며 “이를 기반으로 금융, 증권, 통신, 빅테크 플랫폼, 자동차 인포테인먼트, 언론 등 산업별 다양한 플랫폼과 디바이스에 대화형 AI 뉴스 서비스를 실시간으로 연결하는 핵심 역할을 RDP 1이 담당할 것”이라고 말했다.
