지식 정보 기반의 AI 서비스에 필요한 도서 자료 요약
―
Info.
Customer
Location
Seoul, Korea
AI Type
Abstractive Summarization
Task type
Text Summarization
Overview
한국어 생성 요약 데이터를 지식 정보 기반의 인공지능 서비스에 활용하려 합니다.
바이브컴퍼니는 인공지능과 빅데이터 기술 기반 서비스 및 솔루션을 제공하는 IT 기업입니다. 뛰어난 인공지능 기술을 바탕으로 빅데이터 분석 서비스부터 핀테크·AI Solver·AI Assistant·메타버스까지 다양한 서비스를 통해 기업과 사회의 많은 문제를 해결하고 있습니다. 바이브컴퍼니의 핵심 기술은 데이터에서 정보·지식·지혜를 발굴하는 것으로 자연어처리(NLP) 기술을 사용하여 지식베이스를 구축하고 데이터를 분석, 탐색하여 다양한 AI 서비스에 접목하고 있습니다.
세상의 많은 데이터 중에서도 언어로 된 정보를 분석하려면 자연어처리(NLP) 기술이 반드시 필요한데요. 그중에서도 ‘생성 요약(Abstractive Summarization)’은 원문의 가장 중요한 정보를 재가공하여 보여준다는 점에서 활용도가 높은 기술입니다. 온라인의 발달로 텍스트 정보는 기하급수적으로 늘어났지만, 그중에서 내가 원하는 정보가 무엇인지를 매번 확인하기는 너무 어렵기 때문이죠. 도서·뉴스·논문·법률 문서 등 다양한 문서를 요약하는데 활용할 수 있는가 하면, 기업의 지식관리시스템(KMS)이나 온라인 큐레이션 서비스, 미디어 모니터링, 지식 기반 검색 서비스 등 활용 형태는 무궁무진합니다.
바이브컴퍼니는 NIA 인공지능 학습용 데이터 구축 사업 중에서 도서자료 요약 사업의 주관 기업으로 참여하여 저작권이 만료된 도서 자료를 생성 요약 데이터로 구축했는데요. 먼저 사회과학·기술과학·철학·법학 등 주제별로 도서를 선정하여 데이터 다양성을 확보했습니다. 그리고 레이블러를 이용하여 원문 도서를 적당한 길이로 분절·정제하고 그렇게 만들어진 20만 개 원문에 대한 요약문을 작성하는 방식으로 과제를 진행했습니다.
Problem
정답이 없는 요약문의 품질은 어떻게 판단할 수 있을까요?
문제에 대한 답이 명확하게 정해지지 않고, 사람의 주관적 판단에 의해 달라지는 ‘정성 평가’는 어려운 태스크로 여겨지는 경우가 많아요. 특히 요약문 작성처럼 분명한 품질 차이가 존재하는 태스크라면 더욱 그렇습니다. 어떤 요약문끼리는 품질 차이가 분명하지만, 또 어떤 요약문은 비슷한 품질을 가지고 있을 수 있어요. 그렇다면 어떤 요약문이 ‘좋은’ 요약문인지는 어떻게 판단할 수 있을까요? 그리고 그에 대한 판단은 누구에게 맡겨야 할까요?
도서 자료 요약도 같은 문제를 가지고 있었습니다. 한국어를 제1언어로 사용하는 사람이라도 어떤 사람은 능숙하게 요약문을 작성하지만, 어떤 사람은 글의 주제를 파악하는 일도 어려워할 수 있어요. 사회과학·기술과학·철학·법학 등 다소의 전문지식이 필요한 글이라면 어려움은 더 강해집니다. 최소한의 배경지식이 있어야 글의 의미를 파악할 수 있거든요. 좋은 요약문을 작성하려면 문서를 잘 이해하는 독해력과 주제에 맞춰 글을 재구성할 수 있는 문장력이 필요합니다. 다른 사람이 쓴 요약문에 대한 평가는 그중에서도 더 잘하는 사람들이 맡는 게 적절할 거예요.
하지만 20만 개에 이르는 원문을 요약하고 평가할 사람들을 찾아서 교육·관리하는 일은 쉽지 않습니다. 이왕이면 한국어·문학 전공자들을 섭외하면 좋겠지만, 필요한 작업자 수가 수백 명에 이른다면 현실적으로 쉽지 않을 거예요. 만약 충분한 전공자를 모집하지 못한다면 요약문을 작성할 수 있는 사람들을 좀 더 폭넓게 찾아야 합니다. 당연히 적절한 능력을 갖추었는지를 확인하는 검증 절차가 있어야 하고, 기초적인 맞춤법 오류부터 저품질 요약문을 제대로 필터링할 수 있는 방법도 필요하겠죠.
도서 자료의 분할·정제부터 시작한 데이터를 관리하는 일도 또 다른 어려움 중 하나입니다. 시중에 존재하는 도구를 사용해서 수백 명의 작업자들이 사용하게 하려면 관리에만 엄청난 시간과 비용이 소모될 거예요. 몇백 페이지에 이르는 책 한 권이 분할되어 요약문 작성 태스크의 원문으로 들어가려면 적절한 저작도구와 유기적인 데이터 관리 시스템이 있어야 효과적인 처리가 가능합니다.
Solution
정답이 없는 태스크에서 더 효과적으로 품질을 컨트롤하는 방법
생성 요약문의 품질은 두 가지 방식으로 접근하여 관리할 수 있습니다. 하나는 저품질 데이터를 필터링하는 것이고, 다른 하나는 ‘더 좋은’ 품질의 요약문을 수집하는 것인데요. 두 가지 방식이 모두 적용되어야 고품질의 생성 요약 데이터를 구축할 수 있습니다.
레이블러 AI Assistant ‘레이(Lay)’의 오토 리뷰 기능을 사용하면 저품질 요약문을 자동으로 필터링할 수 있습니다. ‘레이’는 원문 내용을 그대로 복사한 저품질 요약문을 편집거리(Levenshtein Distance) 측정 알고리즘을 사용하여 자동으로 탐지합니다. 탐지한 요약문을 자동으로 반려 처리하여 데이터에서 삭제하거나, 애초에 제출되지 않게 만들 수도 있습니다. 생성 요약은 원문의 주제를 담아내면서도 새로운 표현을 사용하는 것을 권장하는 방식으로, 원문을 그대로 복사한 요약문은 저품질에 해당하기 때문이죠. 맞춤법 검사 오토 리뷰를 통해 철자·문법 오류가 많은 요약문을 자동으로 스크리닝 하는 방법을 추가할 수도 있습니다.
글의 주제를 제대로 담아내지 못한 요약문은 어떻게 확인할 수 있을까요? ‘레이’를 통해 제시된 원문과 작성된 요약문의 STS(Semantic Textual Similarity)를 계산하여 의미적 유사성이 너무 떨어지는 작업을 확인하여 추가 검수할 수 있습니다. 혹은 반대로 의미적 유사성이 과도하게 높게 나온 작업을 별도로 살펴볼 수도 있죠. 객관적 기준을 만족했다면, ‘더 좋은’ 요약문은 어떻게 찾아낼까요? 1개 원문에 대해 여러 개의 요약문을 작성하여 상호 평가하게 만들 수도 있습니다. 두 명, 혹은 세 명이 작성한 요약문을 상호 비교하여 가장 높은 점수를 받은 요약문을 선택하는 것이죠.
이런 다양한 옵션은 레이블러의 유연하고 강력한 워크플로우인 ‘엘라스틱 워크플로우(Elastic Workflow, EWF)’가 있어서 가능합니다. 레이블러 EWF가 태스크 유형에 따라 달라지는 최적화된 처리 방식을 제공하기 때문인데요. 사람과 AI, 사람과 사람이 협력하여 가장 효과적인 방식으로 사람 지능이 필요한 태스크를 처리하는 것이라고 할 수 있죠. 레이블러 EWF는 ‘레이’를 통해 AI 기술을 접목하거나 결과물이 나오는 과정을 유연하게 변경하여 최적의 결과를 이끌어냅니다. 같은 요약 태스크라고 해도 AI 제품이나 서비스 목적에 따라 세부 사항은 모두 다를 수 있으니까요.
여기에 레이블러 AQC가 자격 검증을 통한 품질 관리를 자동화합니다. 샘플 데이터를 사용해서 자격 검증 태스크(Qualification Task)를 명확하게 정의하고, 초기 검증을 통과한 사람만 본 작업에 진입하게 만드는 것인데요. 본 작업을 진행하는 도중에도 수시 검증을 랜덤하게 제시하여 작업 도중에 품질이 하락하는 일을 미연에 방지합니다. 작업 결과가 좋은 사람들에게 더 많은 작업을 제시하거나, 그들에게만 평가 작업을 맡길 수도 있습니다. 자격 검증 태스크를 부여하고 평가하는 모든 과정은 레이블러 AQC에 탑재된 인공지능이 자동으로 처리합니다. 매번 나에게 필요한 사람을 선발하거나 관리할 필요가 없는 것이죠.
Result
2천 명 이상이 참여한 생성 요약 데이터를 안정적인 품질로 구축했습니다.
바이브컴퍼니는 레이블러를 이용하여 원문·요약문으로 구성된 최종 20만 건의 데이터셋을 구축했습니다. 해당 과제를 통해 수백 권의 책이 수십 만 개의 원문으로 분할되고 각각의 요약문이 생성되었는데요. 이 과정은 레이블러의 태스크 유형별 맞춤형 저작도구와 워크플로우를 통해 원활하게 진행될 수 있었습니다. 구축된 데이터는 한국정보통신기술협회(TTA) 품질 검증 결과, 목표치인 90%를 초과한 99.08%를 달성했습니다.
수천 명이 참여한 요약문의 품질을 관리하기 위해 일일이 필요한 작업자를 찾아다니거나 관리할 필요는 없었습니다. 가장 좋은 결과를 내기 위한 과정을 레이블러가 이미 제공하고 있기 때문입니다. 레이블러는 새로운 방식의 AIOps로써 시간과 비용을 절약하여, 고객이 가장 중요한 AI 제품과 서비스 개발에 집중할 수 있도록 지원합니다.
지식 정보 기반의 AI 서비스에 필요한 도서 자료 요약
―
Info.
Customer
Location
Seoul, Korea
AI Type
Abstractive Summarization
Task type
Text Summarization
Overview
한국어 생성 요약 데이터를 지식 정보 기반의 인공지능 서비스에 활용하려 합니다.
바이브컴퍼니는 인공지능과 빅데이터 기술 기반 서비스 및 솔루션을 제공하는 IT 기업입니다. 뛰어난 인공지능 기술을 바탕으로 빅데이터 분석 서비스부터 핀테크·AI Solver·AI Assistant·메타버스까지 다양한 서비스를 통해 기업과 사회의 많은 문제를 해결하고 있습니다. 바이브컴퍼니의 핵심 기술은 데이터에서 정보·지식·지혜를 발굴하는 것으로 자연어처리(NLP) 기술을 사용하여 지식베이스를 구축하고 데이터를 분석, 탐색하여 다양한 AI 서비스에 접목하고 있습니다.
세상의 많은 데이터 중에서도 언어로 된 정보를 분석하려면 자연어처리(NLP) 기술이 반드시 필요한데요. 그중에서도 ‘생성 요약(Abstractive Summarization)’은 원문의 가장 중요한 정보를 재가공하여 보여준다는 점에서 활용도가 높은 기술입니다. 온라인의 발달로 텍스트 정보는 기하급수적으로 늘어났지만, 그중에서 내가 원하는 정보가 무엇인지를 매번 확인하기는 너무 어렵기 때문이죠. 도서·뉴스·논문·법률 문서 등 다양한 문서를 요약하는데 활용할 수 있는가 하면, 기업의 지식관리시스템(KMS)이나 온라인 큐레이션 서비스, 미디어 모니터링, 지식 기반 검색 서비스 등 활용 형태는 무궁무진합니다.
바이브컴퍼니는 NIA 인공지능 학습용 데이터 구축 사업 중에서 도서자료 요약 사업의 주관 기업으로 참여하여 저작권이 만료된 도서 자료를 생성 요약 데이터로 구축했는데요. 먼저 사회과학·기술과학·철학·법학 등 주제별로 도서를 선정하여 데이터 다양성을 확보했습니다. 그리고 레이블러를 이용하여 원문 도서를 적당한 길이로 분절·정제하고 그렇게 만들어진 20만 개 원문에 대한 요약문을 작성하는 방식으로 과제를 진행했습니다.
Problem
정답이 없는 요약문의 품질은 어떻게 판단할 수 있을까요?
문제에 대한 답이 명확하게 정해지지 않고, 사람의 주관적 판단에 의해 달라지는 ‘정성 평가’는 어려운 태스크로 여겨지는 경우가 많아요. 특히 요약문 작성처럼 분명한 품질 차이가 존재하는 태스크라면 더욱 그렇습니다. 어떤 요약문끼리는 품질 차이가 분명하지만, 또 어떤 요약문은 비슷한 품질을 가지고 있을 수 있어요. 그렇다면 어떤 요약문이 ‘좋은’ 요약문인지는 어떻게 판단할 수 있을까요? 그리고 그에 대한 판단은 누구에게 맡겨야 할까요?
도서 자료 요약도 같은 문제를 가지고 있었습니다. 한국어를 제1언어로 사용하는 사람이라도 어떤 사람은 능숙하게 요약문을 작성하지만, 어떤 사람은 글의 주제를 파악하는 일도 어려워할 수 있어요. 사회과학·기술과학·철학·법학 등 다소의 전문지식이 필요한 글이라면 어려움은 더 강해집니다. 최소한의 배경지식이 있어야 글의 의미를 파악할 수 있거든요. 좋은 요약문을 작성하려면 문서를 잘 이해하는 독해력과 주제에 맞춰 글을 재구성할 수 있는 문장력이 필요합니다. 다른 사람이 쓴 요약문에 대한 평가는 그중에서도 더 잘하는 사람들이 맡는 게 적절할 거예요.
하지만 20만 개에 이르는 원문을 요약하고 평가할 사람들을 찾아서 교육·관리하는 일은 쉽지 않습니다. 이왕이면 한국어·문학 전공자들을 섭외하면 좋겠지만, 필요한 작업자 수가 수백 명에 이른다면 현실적으로 쉽지 않을 거예요. 만약 충분한 전공자를 모집하지 못한다면 요약문을 작성할 수 있는 사람들을 좀 더 폭넓게 찾아야 합니다. 당연히 적절한 능력을 갖추었는지를 확인하는 검증 절차가 있어야 하고, 기초적인 맞춤법 오류부터 저품질 요약문을 제대로 필터링할 수 있는 방법도 필요하겠죠.
도서 자료의 분할·정제부터 시작한 데이터를 관리하는 일도 또 다른 어려움 중 하나입니다. 시중에 존재하는 도구를 사용해서 수백 명의 작업자들이 사용하게 하려면 관리에만 엄청난 시간과 비용이 소모될 거예요. 몇백 페이지에 이르는 책 한 권이 분할되어 요약문 작성 태스크의 원문으로 들어가려면 적절한 저작도구와 유기적인 데이터 관리 시스템이 있어야 효과적인 처리가 가능합니다.
Solution
정답이 없는 태스크에서 더 효과적으로 품질을 컨트롤하는 방법
생성 요약문의 품질은 두 가지 방식으로 접근하여 관리할 수 있습니다. 하나는 저품질 데이터를 필터링하는 것이고, 다른 하나는 ‘더 좋은’ 품질의 요약문을 수집하는 것인데요. 두 가지 방식이 모두 적용되어야 고품질의 생성 요약 데이터를 구축할 수 있습니다.
레이블러 AI Assistant ‘레이(Lay)’의 오토 리뷰 기능을 사용하면 저품질 요약문을 자동으로 필터링할 수 있습니다. ‘레이’는 원문 내용을 그대로 복사한 저품질 요약문을 편집거리(Levenshtein Distance) 측정 알고리즘을 사용하여 자동으로 탐지합니다. 탐지한 요약문을 자동으로 반려 처리하여 데이터에서 삭제하거나, 애초에 제출되지 않게 만들 수도 있습니다. 생성 요약은 원문의 주제를 담아내면서도 새로운 표현을 사용하는 것을 권장하는 방식으로, 원문을 그대로 복사한 요약문은 저품질에 해당하기 때문이죠. 맞춤법 검사 오토 리뷰를 통해 철자·문법 오류가 많은 요약문을 자동으로 스크리닝 하는 방법을 추가할 수도 있습니다.
글의 주제를 제대로 담아내지 못한 요약문은 어떻게 확인할 수 있을까요? ‘레이’를 통해 제시된 원문과 작성된 요약문의 STS(Semantic Textual Similarity)를 계산하여 의미적 유사성이 너무 떨어지는 작업을 확인하여 추가 검수할 수 있습니다. 혹은 반대로 의미적 유사성이 과도하게 높게 나온 작업을 별도로 살펴볼 수도 있죠. 객관적 기준을 만족했다면, ‘더 좋은’ 요약문은 어떻게 찾아낼까요? 1개 원문에 대해 여러 개의 요약문을 작성하여 상호 평가하게 만들 수도 있습니다. 두 명, 혹은 세 명이 작성한 요약문을 상호 비교하여 가장 높은 점수를 받은 요약문을 선택하는 것이죠.
이런 다양한 옵션은 레이블러의 유연하고 강력한 워크플로우인 ‘엘라스틱 워크플로우(Elastic Workflow, EWF)’가 있어서 가능합니다. 레이블러 EWF가 태스크 유형에 따라 달라지는 최적화된 처리 방식을 제공하기 때문인데요. 사람과 AI, 사람과 사람이 협력하여 가장 효과적인 방식으로 사람 지능이 필요한 태스크를 처리하는 것이라고 할 수 있죠. 레이블러 EWF는 ‘레이’를 통해 AI 기술을 접목하거나 결과물이 나오는 과정을 유연하게 변경하여 최적의 결과를 이끌어냅니다. 같은 요약 태스크라고 해도 AI 제품이나 서비스 목적에 따라 세부 사항은 모두 다를 수 있으니까요.
여기에 레이블러 AQC가 자격 검증을 통한 품질 관리를 자동화합니다. 샘플 데이터를 사용해서 자격 검증 태스크(Qualification Task)를 명확하게 정의하고, 초기 검증을 통과한 사람만 본 작업에 진입하게 만드는 것인데요. 본 작업을 진행하는 도중에도 수시 검증을 랜덤하게 제시하여 작업 도중에 품질이 하락하는 일을 미연에 방지합니다. 작업 결과가 좋은 사람들에게 더 많은 작업을 제시하거나, 그들에게만 평가 작업을 맡길 수도 있습니다. 자격 검증 태스크를 부여하고 평가하는 모든 과정은 레이블러 AQC에 탑재된 인공지능이 자동으로 처리합니다. 매번 나에게 필요한 사람을 선발하거나 관리할 필요가 없는 것이죠.
Result
2천 명 이상이 참여한 생성 요약 데이터를 안정적인 품질로 구축했습니다.
바이브컴퍼니는 레이블러를 이용하여 원문·요약문으로 구성된 최종 20만 건의 데이터셋을 구축했습니다. 해당 과제를 통해 수백 권의 책이 수십 만 개의 원문으로 분할되고 각각의 요약문이 생성되었는데요. 이 과정은 레이블러의 태스크 유형별 맞춤형 저작도구와 워크플로우를 통해 원활하게 진행될 수 있었습니다. 구축된 데이터는 한국정보통신기술협회(TTA) 품질 검증 결과, 목표치인 90%를 초과한 99.08%를 달성했습니다.
수천 명이 참여한 요약문의 품질을 관리하기 위해 일일이 필요한 작업자를 찾아다니거나 관리할 필요는 없었습니다. 가장 좋은 결과를 내기 위한 과정을 레이블러가 이미 제공하고 있기 때문입니다. 레이블러는 새로운 방식의 AIOps로써 시간과 비용을 절약하여, 고객이 가장 중요한 AI 제품과 서비스 개발에 집중할 수 있도록 지원합니다.
지식 정보 기반의 AI 서비스에 필요한 도서 자료 요약
―
Info.
Customer
Location
Seoul, Korea
AI Type
Abstractive Summarization
Task type
Text Summarization
Overview
한국어 생성 요약 데이터를 지식 정보 기반의 인공지능 서비스에 활용하려 합니다.
바이브컴퍼니는 인공지능과 빅데이터 기술 기반 서비스 및 솔루션을 제공하는 IT 기업입니다. 뛰어난 인공지능 기술을 바탕으로 빅데이터 분석 서비스부터 핀테크·AI Solver·AI Assistant·메타버스까지 다양한 서비스를 통해 기업과 사회의 많은 문제를 해결하고 있습니다. 바이브컴퍼니의 핵심 기술은 데이터에서 정보·지식·지혜를 발굴하는 것으로 자연어처리(NLP) 기술을 사용하여 지식베이스를 구축하고 데이터를 분석, 탐색하여 다양한 AI 서비스에 접목하고 있습니다.
세상의 많은 데이터 중에서도 언어로 된 정보를 분석하려면 자연어처리(NLP) 기술이 반드시 필요한데요. 그중에서도 ‘생성 요약(Abstractive Summarization)’은 원문의 가장 중요한 정보를 재가공하여 보여준다는 점에서 활용도가 높은 기술입니다. 온라인의 발달로 텍스트 정보는 기하급수적으로 늘어났지만, 그중에서 내가 원하는 정보가 무엇인지를 매번 확인하기는 너무 어렵기 때문이죠. 도서·뉴스·논문·법률 문서 등 다양한 문서를 요약하는데 활용할 수 있는가 하면, 기업의 지식관리시스템(KMS)이나 온라인 큐레이션 서비스, 미디어 모니터링, 지식 기반 검색 서비스 등 활용 형태는 무궁무진합니다.
바이브컴퍼니는 NIA 인공지능 학습용 데이터 구축 사업 중에서 도서자료 요약 사업의 주관 기업으로 참여하여 저작권이 만료된 도서 자료를 생성 요약 데이터로 구축했는데요. 먼저 사회과학·기술과학·철학·법학 등 주제별로 도서를 선정하여 데이터 다양성을 확보했습니다. 그리고 레이블러를 이용하여 원문 도서를 적당한 길이로 분절·정제하고 그렇게 만들어진 20만 개 원문에 대한 요약문을 작성하는 방식으로 과제를 진행했습니다.
Problem
정답이 없는 요약문의 품질은 어떻게 판단할 수 있을까요?
문제에 대한 답이 명확하게 정해지지 않고, 사람의 주관적 판단에 의해 달라지는 ‘정성 평가’는 어려운 태스크로 여겨지는 경우가 많아요. 특히 요약문 작성처럼 분명한 품질 차이가 존재하는 태스크라면 더욱 그렇습니다. 어떤 요약문끼리는 품질 차이가 분명하지만, 또 어떤 요약문은 비슷한 품질을 가지고 있을 수 있어요. 그렇다면 어떤 요약문이 ‘좋은’ 요약문인지는 어떻게 판단할 수 있을까요? 그리고 그에 대한 판단은 누구에게 맡겨야 할까요?
도서 자료 요약도 같은 문제를 가지고 있었습니다. 한국어를 제1언어로 사용하는 사람이라도 어떤 사람은 능숙하게 요약문을 작성하지만, 어떤 사람은 글의 주제를 파악하는 일도 어려워할 수 있어요. 사회과학·기술과학·철학·법학 등 다소의 전문지식이 필요한 글이라면 어려움은 더 강해집니다. 최소한의 배경지식이 있어야 글의 의미를 파악할 수 있거든요. 좋은 요약문을 작성하려면 문서를 잘 이해하는 독해력과 주제에 맞춰 글을 재구성할 수 있는 문장력이 필요합니다. 다른 사람이 쓴 요약문에 대한 평가는 그중에서도 더 잘하는 사람들이 맡는 게 적절할 거예요.
하지만 20만 개에 이르는 원문을 요약하고 평가할 사람들을 찾아서 교육·관리하는 일은 쉽지 않습니다. 이왕이면 한국어·문학 전공자들을 섭외하면 좋겠지만, 필요한 작업자 수가 수백 명에 이른다면 현실적으로 쉽지 않을 거예요. 만약 충분한 전공자를 모집하지 못한다면 요약문을 작성할 수 있는 사람들을 좀 더 폭넓게 찾아야 합니다. 당연히 적절한 능력을 갖추었는지를 확인하는 검증 절차가 있어야 하고, 기초적인 맞춤법 오류부터 저품질 요약문을 제대로 필터링할 수 있는 방법도 필요하겠죠.
도서 자료의 분할·정제부터 시작한 데이터를 관리하는 일도 또 다른 어려움 중 하나입니다. 시중에 존재하는 도구를 사용해서 수백 명의 작업자들이 사용하게 하려면 관리에만 엄청난 시간과 비용이 소모될 거예요. 몇백 페이지에 이르는 책 한 권이 분할되어 요약문 작성 태스크의 원문으로 들어가려면 적절한 저작도구와 유기적인 데이터 관리 시스템이 있어야 효과적인 처리가 가능합니다.
Solution
정답이 없는 태스크에서 더 효과적으로 품질을 컨트롤하는 방법
생성 요약문의 품질은 두 가지 방식으로 접근하여 관리할 수 있습니다. 하나는 저품질 데이터를 필터링하는 것이고, 다른 하나는 ‘더 좋은’ 품질의 요약문을 수집하는 것인데요. 두 가지 방식이 모두 적용되어야 고품질의 생성 요약 데이터를 구축할 수 있습니다.
레이블러 AI Assistant ‘레이(Lay)’의 오토 리뷰 기능을 사용하면 저품질 요약문을 자동으로 필터링할 수 있습니다. ‘레이’는 원문 내용을 그대로 복사한 저품질 요약문을 편집거리(Levenshtein Distance) 측정 알고리즘을 사용하여 자동으로 탐지합니다. 탐지한 요약문을 자동으로 반려 처리하여 데이터에서 삭제하거나, 애초에 제출되지 않게 만들 수도 있습니다. 생성 요약은 원문의 주제를 담아내면서도 새로운 표현을 사용하는 것을 권장하는 방식으로, 원문을 그대로 복사한 요약문은 저품질에 해당하기 때문이죠. 맞춤법 검사 오토 리뷰를 통해 철자·문법 오류가 많은 요약문을 자동으로 스크리닝 하는 방법을 추가할 수도 있습니다.
글의 주제를 제대로 담아내지 못한 요약문은 어떻게 확인할 수 있을까요? ‘레이’를 통해 제시된 원문과 작성된 요약문의 STS(Semantic Textual Similarity)를 계산하여 의미적 유사성이 너무 떨어지는 작업을 확인하여 추가 검수할 수 있습니다. 혹은 반대로 의미적 유사성이 과도하게 높게 나온 작업을 별도로 살펴볼 수도 있죠. 객관적 기준을 만족했다면, ‘더 좋은’ 요약문은 어떻게 찾아낼까요? 1개 원문에 대해 여러 개의 요약문을 작성하여 상호 평가하게 만들 수도 있습니다. 두 명, 혹은 세 명이 작성한 요약문을 상호 비교하여 가장 높은 점수를 받은 요약문을 선택하는 것이죠.
이런 다양한 옵션은 레이블러의 유연하고 강력한 워크플로우인 ‘엘라스틱 워크플로우(Elastic Workflow, EWF)’가 있어서 가능합니다. 레이블러 EWF가 태스크 유형에 따라 달라지는 최적화된 처리 방식을 제공하기 때문인데요. 사람과 AI, 사람과 사람이 협력하여 가장 효과적인 방식으로 사람 지능이 필요한 태스크를 처리하는 것이라고 할 수 있죠. 레이블러 EWF는 ‘레이’를 통해 AI 기술을 접목하거나 결과물이 나오는 과정을 유연하게 변경하여 최적의 결과를 이끌어냅니다. 같은 요약 태스크라고 해도 AI 제품이나 서비스 목적에 따라 세부 사항은 모두 다를 수 있으니까요.
여기에 레이블러 AQC가 자격 검증을 통한 품질 관리를 자동화합니다. 샘플 데이터를 사용해서 자격 검증 태스크(Qualification Task)를 명확하게 정의하고, 초기 검증을 통과한 사람만 본 작업에 진입하게 만드는 것인데요. 본 작업을 진행하는 도중에도 수시 검증을 랜덤하게 제시하여 작업 도중에 품질이 하락하는 일을 미연에 방지합니다. 작업 결과가 좋은 사람들에게 더 많은 작업을 제시하거나, 그들에게만 평가 작업을 맡길 수도 있습니다. 자격 검증 태스크를 부여하고 평가하는 모든 과정은 레이블러 AQC에 탑재된 인공지능이 자동으로 처리합니다. 매번 나에게 필요한 사람을 선발하거나 관리할 필요가 없는 것이죠.
Result
2천 명 이상이 참여한 생성 요약 데이터를 안정적인 품질로 구축했습니다.
바이브컴퍼니는 레이블러를 이용하여 원문·요약문으로 구성된 최종 20만 건의 데이터셋을 구축했습니다. 해당 과제를 통해 수백 권의 책이 수십 만 개의 원문으로 분할되고 각각의 요약문이 생성되었는데요. 이 과정은 레이블러의 태스크 유형별 맞춤형 저작도구와 워크플로우를 통해 원활하게 진행될 수 있었습니다. 구축된 데이터는 한국정보통신기술협회(TTA) 품질 검증 결과, 목표치인 90%를 초과한 99.08%를 달성했습니다.
수천 명이 참여한 요약문의 품질을 관리하기 위해 일일이 필요한 작업자를 찾아다니거나 관리할 필요는 없었습니다. 가장 좋은 결과를 내기 위한 과정을 레이블러가 이미 제공하고 있기 때문입니다. 레이블러는 새로운 방식의 AIOps로써 시간과 비용을 절약하여, 고객이 가장 중요한 AI 제품과 서비스 개발에 집중할 수 있도록 지원합니다.