Eval-RAG 기술 적용…대법원 판례 등을 인용해 답변 관련성·정확성↑
“국내 논문의 국제 학술 무대 발표 의미 커…기술력 높여 시장 혁신”
미국의 생성형 인공지능(AI) 기술 전문 기업 링크(Linq, 구 ‘위커버’)와 국내 리걸테크 기업 로앤굿(Law&Good)이 국제적으로 권위 있는 학술논문 워크숍에서 국내 법률 데이터 기반 AI 논문을 공개해 호평을 받았다.
11일 업계에 따르면, 로앤굿과 링크는 손지용 연세대 교수와의 공동연구를 통해 작성한 생성형 AI 관련 논문을 법률 자연어처리 글로벌 학술논문 워크숍 ‘NLLP 2023(Natural Legal Language Processing 2023)’에서 발표했다. 앞서 로앤굿과 링크는 생성형 AI 기술을 활용해 올해 5월 국내 최초로 AI 법률 상담 챗봇 상용화에 성공한 바 있다.
지난 7일부터 4일간 싱가포르에서 진행된 NLLP는 유럽 대학 AI 연구자들이 조직하고 경제 미디어그룹 블룸버그(Bloomberg)가 후원하며 법률 분야 자연어처리(NLP)의 이론 및 응용 방법을 연구하는 최고 수준의 학술행사다.
이날 공개한 연구는 검색 기반 거대언어모델(LLM)의 결과를 평가해 법률 질문에 대한 답변의 정확도를 높인 것이 특징이다. 최근 리걸테크 업계에선 법률 영역에 GPT 등 AI 모델의 적용 사례가 증가하고 있는 상황에서 AI 모델 정확도를 평가하는 방법이 과제로 떠오르고 있다.
이를 위해 링크와 로앤굿, 연세대 연구진은 자체 개발 이벌-검색증강생성(Eval-RAG) 기술을 적용했다. Eval-RAG는 법적 맥락에서 LLM이 생성한 텍스트의 타당성 평가를 위해 RAG 원리를 활용하는 방법을 제안하는 기술을 뜻한다.
임베딩(Embedding, 자연어 처리 시 기계가 사람이 쓰는 자연어 이해를 위해 벡터로 바꾸는 과정)된 자료에서 질문 관련 문서를 검색하고, 이후 LLM이 생성한 답변을 검색한 문서를 기반으로 평가하고, 출처 표기를 통해 답변과 문서 관련성 및 정확성을 보장해 LLM의 신뢰성을 향상시킨 것이다.
가령 ‘이혼을 통한 부동산 소유권 이전이 양도소득세의 대상인가’라는 질문에 GPT는 ‘이혼을 통한 재산 이전은 양도소득세의 대상이 될 수 있지만 특정조건 하에 면제될 수 있다’고 설명한다. 반면 Eval-RAG 기술을 적용해 질문할 경우 대법원 판례를 인용하면서 ‘양도소득세에 해당하지 않는다’는 답변을 내놓는다. 답변의 신뢰성이 더욱 높아지는 것이다.
민명기 로앤굿 대표는 워크숍에서 “국제 학술 무대에서 국내 AI 연구 논문이 구두 발표 대상으로 선정된 것은 의미가 크다”며 “로앤굿은 아낌없는 연구개발(R&D) 투자를 통해 AI 기술을 고도화해 법률시장을 혁신할 것”이라고 말했다.
한편 로앤굿은 이번 연구 성과와 법률 분야에서의 노하우를 기반으로 자연어 기반 자료 검색 및 유관 문서 업무 등 기능을 제공하는 B2B AI 법률 서비스를 출시해 지난 11월 멕시코 로펌 문두스 아페르투스와 AI 챗봇 개발 업무협약을 체결했고, 다수의 국내외 로펌·공공기관·기업들과도 협약을 조율 중에 있다고 밝혔다.
