메타버스 3D MAP 구현을 위한 행동 패턴 데이터
―
Info.
Customer
Location
Seoul, Korea
AI Type
VR(Virtual Reality), AR(Augmented Reality), MR(Mixed Reality)
Task type
Image Segmentation, Image Classification, Bounding Box
Overview
현실과 가상의 경계가 사라진 새로운 세상을 위한 영상 인식 데이터가 필요합니다.
매트릭스는 AI·빅데이터 기술을 사용하여 조사 시장의 미래를 대비하는 국가통계 생산 기업입니다. 공공 사회 조사부터 정치 여론 조사, 마케팅 조사, AI 데이터 구축 사업에 이르기까지 넓은 범위의 조사 데이터 비즈니스를 진행하고 있는데요. 그중 AI 데이터 구축 사업은 AI 발전에 반드시 필요한 인프라 사업으로 매트릭스는 텍스트부터 동영상까지 인공지능을 위한 다양한 데이터를 구축하고 있습니다. 그 연장선에서 매트릭스는 NIA 인공지능 학습용 데이터 구축 사업 중에서 일상생활 영상 데이터 사업의 주관 기업으로 참여했는데요.
일상생활 영상 데이터는 한국인의 생애 주기에 맞춰 개인의 일상생활을 시간 유형(필수, 여가, 의무)와 인구통계학적 속성(성별, 연령 등)에 따라 100가지로 분류한 데이터셋입니다. 개인 맞춤형 VR(Virtual Reality, 가상현실), AR(Augmented Reality, 증강현실), MR(Mixed Reality, 혼합현실) 등의 실제 일상에서 인간 행동에 따른 AI 인식이 필요한 서비스에 폭넓게 활용될 수 있습니다. VR/AR/MR 기술은 일상생활 메타버스 구현, 안전 서비스 등 여러 산업 분야에 쓰일 수 있죠. 자율주행 서비스에서 사용하는 3D MAP을 사람의 행동에도 구현할 수 있다면 활용 범위는 무궁무진할 거예요.
가상 세계를 ‘현실’로 인식한다는 것은 무엇을 의미할까요? 현실과 가상 세계의 벽을 허물기 위해서는 무엇보다 현실에 대한 정확한 인식이 필요합니다. 머릿속으로 오늘 하루를 떠올려보세요. 밥을 먹거나, 산책을 하거나, 운동을 하거나, 누군가와 대화를 하는 등의 일상을 보냈을 거예요. 가상 세계를 현실처럼 느끼게 하려면 이런 평범한 일상 행동을 AI가 이해할 수 있어야 합니다. 마치 무언극에서 아무런 대사 없이 팬터마임으로 연기하는 배우를 보는 것과 비슷하죠. 관객은 배우의 동작만 보고도 “지금 밥을 먹고 있구나” 혹은 “강아지와 산책하고 있구나” 등을 직관적으로 알 수 있습니다.
이런 일이 가능한 이유는 특정 동작이 어떤 상황에서 일어나는지를 우리가 무의식중에 알고 있기 때문인데요. 인공지능이 우리처럼 어떤 동작을 보고 지금 무슨 행동을 하는 중인지를 인식할 수 있다면, 우리의 일상을 가상현실에 접목할 수 있을 거예요. 손으로 부채질하는 손님을 보고 ‘더위’를 짐작하여 알아서 선풍기를 틀어주는 집주인처럼 말이죠. 우리의 마음은 행동으로 표현되고, 모든 행동에는 일정한 패턴이 존재합니다. AI가 이런 행동 패턴을 이해할 수 있다면, 내가 원하는 것을 말하기 전에 알아채서 제공하는 서비스도 가능해질 거예요. 매트릭스는 VR/AR/MR 기술을 바탕으로 메타버스 3D MAP 구현에 필요한 일상생활 영상 데이터를 구축하기 위해 레이블러를 이용했습니다.
Problem
영상 수집부터 행동 패턴 라벨링까지… 효과적인 태스크 처리가 가능할까요?
일상생활 행동 패턴 데이터를 구축하기 위해서는 먼저 일상 행동을 촬영한 영상의 수집부터 이뤄져야 했습니다. 총 7천 시간에 이르는 영상 2만 개를 수집하고, 영상에서 특정 행동이 부각된 하이라이트 구간을 선택하여 분리하는 영상 세그멘테이션(Image Segmentation) 작업 후 대표 이미지를 정제하고, 이미지에서 대표 행동과 주요 객체를 바운딩 박스(Bounding Box)로 라벨링하는 과정이 진행되었죠. 1개 태스크를 처리하려면 세부 과정에 따라 적게는 4단계, 많게는 9단계에 걸친 공정이 필요했습니다.
데이터 구축을 위해 복잡한 공정을 거쳐야 한다면, 제일 처음 만날 문제는 각 단계마다 필요한 저작도구가 다르다는 점입니다. 영상 세그멘테이션을 위한 도구는 영상에서 가장 중요한 하이라이트 구간의 시작과 끝을 라벨링 할 수 있어야 하죠. 당연히 동영상 재생 기능과 구간 선택 및 라벨링 기능이 필요합니다. 영상에서 프레임 단위로 추출한 대표 이미지에 대한 바운딩 박스 작업은 완전히 다른 기능이 필요하죠. 특정 개체를 박스 형태로 선택하여 수정할 수 있고, 개체의 명칭 등을 텍스트로 입력할 수 있어야 합니다.
또 다른 어려움은 데이터 관리 문제입니다. 데이터가 전달되는 과정에서 누락이나 오류가 발생할 가능성이 있기 때문인데요. 앞 단계가 완료되기 전에 다음 단계를 시작하기 어렵다는 점에서 일정 관리에 문제가 발생하기도 합니다. 영상 수집이 완료되지 않은 상황에서 하이라이트 구간 라벨링을 진행하거나, 이미지 분류와 바운딩 박스 작업이 동시에 진행될 수도 있습니다. 이 과정에서 필요한 데이터의 수량이 제대로 모니터링되지 않는다면, 카테고리에 따라 불균형하게 데이터가 수집·처리될 가능성도 있죠. 또한, 각 단계마다 여러 형태로 존재하는 데이터가 유기적으로 연결되어 있어야 추후 하나의 태스크로 처리할 수 있을 거예요.
이 복잡한 과정에 참여할 사람들의 선발과 관리 역시 중요한 부분입니다. 단계마다 다른 방식으로 작업이 진행된다면 가이드라인은 물론, 참여자들이 갖춰야 할 능력도 달라지기 마련인데요. 각 단계에 필요한 사람들을 매번 선발하여 교육하고 관리하는 것이 결코 쉽지 않을 것이라는 것은 충분히 예상할 수 있습니다.
Solution
최대 9단계, 복잡한 공정의 데이터셋을 빠르고 효율적으로 처리하기
복잡한 공정이 필요한 데이터를 효과적으로 구축하려면 먼저 각 단계를 빠르고 효율적으로 진행해야 합니다. 어느 한 단계에서 진행이 제대로 되지 않는다면, 다음 단계에도 영향을 주게 되니까요. 당연히 단계마다 적합한 저작도구도 필요합니다. 레이블러는 태스크 유형별로 맞춤형 저작도구를 통해 원활한 작업을 지원합니다. 영상 구간 라벨링부터 구간에 대한 교차 평가, 바운딩 박스까지… 완전히 다른 여러 작업도구를 각 단계별 태스크의 특성에 맞게 사용할 수 있어요.
단계마다 태스크 특성이 다르다면 처리 방법도 달라져야겠죠. 촬영 영상에서 특정 행동이 가장 돋보이는 하이라이트 구간에 대한 판단은 어떨까요? 1분 45초부터 2분 29초까지가 적합할까요, 아니면 1분 50초부터 2분 15초까지가 적합할까요? 둘 다 틀린 것은 아니지만 그중에서 더 나은 답이 있다면 어떻게 판단할 수 있을까요? 만약 이처럼 정답이 없고 개인 주관에 따라 달라질 수 있는 태스크가 있다면 신뢰할 만한 여러 명의 사람들에게 평가를 맡기는 것이 효과적일 수 있습니다.
레이블러의 강력하고 유연한 ‘엘라스틱 워크플로우(Elastic Workflow, EWF)’는 1개의 태스크를 처리하기 위해 사람과 사람, 사람과 인공지능이 협업하는 구조를 만들어냅니다. 2명에서 3명, 혹은 5명에게 판단을 맡겨서 결과에 대한 신뢰도를 확보해 보세요. 수많은 사람들 중에서 작업에 적합한 사람을 찾아내고, 더 많은 사람에게 작업을 할당하는 과정은 인공지능 비서 ‘레이(Lay)’가 알아서 처리합니다. 어떤 옵션이 가장 좋은 결과를 낼지 판단하기 어려운가요? 레이블러 브레인 API는 작게 시작해서 결과를 보고 빠르게 피드백하는 애자일한 AI 개발을 지원합니다. API를 호출하는 간단한 방식으로 작게 실험하며 결과를 보고 최적의 옵션을 찾아보세요. 리스크는 줄이면서 더 빠르고 효율적인 방식으로 대량의 태스크를 처리할 수 있습니다.
단계별 태스크에 적합한 작업자는 고도화된 자격 검증 시스템인 레이블러 AQC를 통해 자동으로 선별·관리됩니다. 샘플 데이터를 이용하여 자격 검증 태스크(Qualification Task)를 정의하면, 초기 검증 태스크를 통과한 사람만 작업에 참여할 수 있죠. 작업 도중에는 수시 검증 태스크를 제시하여 작업 품질을 안정적으로 관리합니다. 모든 단계를 매끄럽게 이어주는 유연하고 안전한 데이터 관리도 빼놓을 수 없습니다. 서로 다른 저작도구 사이를 연결하여 내가 원하는 결과물이 나올 때까지 하나의 흐름으로 처리할 수 있다면 어떨까요? 매 단계마다 데이터가 누락될 걱정 없이 두 단계, 혹은 세 단계의 공정을 하나의 프로세스 안에서 완료해 보세요. 레이블러 EWF의 유연한 워크플로우는 완전히 다른 방식의 태스크를 한 플로우 내에서 처리할 수 있도록 지원합니다.
Result
영상 2만 개, 105가지 행동 패턴 데이터의 안정적 구축
메트릭스는 레이블러를 이용하여 2만 개 영상에서 추출한 이미지 6만 장에 대한 105가지의 행동 패턴 데이터를 안정적으로 구축했습니다. 한국정보통신기술협회(TTA) 품질 검증(구문 정확성, 유효성 등) 결과는 전체 98.97%로 목표치인 90%를 초과했으며, 학습모델 평가 지표도 100% 달성했습니다.
4~9단계에 이르는 복잡한 공정이 필요했던 일상생활 영상 데이터 구축 사업은 기간 내 필요한 데이터 목표 수량을 103% 충족하며 원활하게 진행되었습니다. 이 사업에 참여한 총 640명의 사람들을 일일이 선발하고 관리할 필요도 없었습니다. 안정적인 데이터 구축과 신뢰할 만한 작업자를 찾는 일을 레이블러가 대신했기 때문입니다. 레이블러는 새로운 방식의 AIOps로써, 고객이 시간과 비용을 절약하여 더 중요한 일에 집중할 수 있도록 지원합니다.
메타버스 3D MAP 구현을 위한 행동 패턴 데이터
―
Info.
Customer
Location
Seoul, Korea
AI Type
VR(Virtual Reality), AR(Augmented Reality), MR(Mixed Reality)
Task type
Image Segmentation, Image Classification, Bounding Box
Overview
현실과 가상의 경계가 사라진 새로운 세상을 위한 영상 인식 데이터가 필요합니다.
매트릭스는 AI·빅데이터 기술을 사용하여 조사 시장의 미래를 대비하는 국가통계 생산 기업입니다. 공공 사회 조사부터 정치 여론 조사, 마케팅 조사, AI 데이터 구축 사업에 이르기까지 넓은 범위의 조사 데이터 비즈니스를 진행하고 있는데요. 그중 AI 데이터 구축 사업은 AI 발전에 반드시 필요한 인프라 사업으로 매트릭스는 텍스트부터 동영상까지 인공지능을 위한 다양한 데이터를 구축하고 있습니다. 그 연장선에서 매트릭스는 NIA 인공지능 학습용 데이터 구축 사업 중에서 일상생활 영상 데이터 사업의 주관 기업으로 참여했는데요.
일상생활 영상 데이터는 한국인의 생애 주기에 맞춰 개인의 일상생활을 시간 유형(필수, 여가, 의무)와 인구통계학적 속성(성별, 연령 등)에 따라 100가지로 분류한 데이터셋입니다. 개인 맞춤형 VR(Virtual Reality, 가상현실), AR(Augmented Reality, 증강현실), MR(Mixed Reality, 혼합현실) 등의 실제 일상에서 인간 행동에 따른 AI 인식이 필요한 서비스에 폭넓게 활용될 수 있습니다. VR/AR/MR 기술은 일상생활 메타버스 구현, 안전 서비스 등 여러 산업 분야에 쓰일 수 있죠. 자율주행 서비스에서 사용하는 3D MAP을 사람의 행동에도 구현할 수 있다면 활용 범위는 무궁무진할 거예요.
가상 세계를 ‘현실’로 인식한다는 것은 무엇을 의미할까요? 현실과 가상 세계의 벽을 허물기 위해서는 무엇보다 현실에 대한 정확한 인식이 필요합니다. 머릿속으로 오늘 하루를 떠올려보세요. 밥을 먹거나, 산책을 하거나, 운동을 하거나, 누군가와 대화를 하는 등의 일상을 보냈을 거예요. 가상 세계를 현실처럼 느끼게 하려면 이런 평범한 일상 행동을 AI가 이해할 수 있어야 합니다. 마치 무언극에서 아무런 대사 없이 팬터마임으로 연기하는 배우를 보는 것과 비슷하죠. 관객은 배우의 동작만 보고도 “지금 밥을 먹고 있구나” 혹은 “강아지와 산책하고 있구나” 등을 직관적으로 알 수 있습니다.
이런 일이 가능한 이유는 특정 동작이 어떤 상황에서 일어나는지를 우리가 무의식중에 알고 있기 때문인데요. 인공지능이 우리처럼 어떤 동작을 보고 지금 무슨 행동을 하는 중인지를 인식할 수 있다면, 우리의 일상을 가상현실에 접목할 수 있을 거예요. 손으로 부채질하는 손님을 보고 ‘더위’를 짐작하여 알아서 선풍기를 틀어주는 집주인처럼 말이죠. 우리의 마음은 행동으로 표현되고, 모든 행동에는 일정한 패턴이 존재합니다. AI가 이런 행동 패턴을 이해할 수 있다면, 내가 원하는 것을 말하기 전에 알아채서 제공하는 서비스도 가능해질 거예요. 매트릭스는 VR/AR/MR 기술을 바탕으로 메타버스 3D MAP 구현에 필요한 일상생활 영상 데이터를 구축하기 위해 레이블러를 이용했습니다.
Problem
영상 수집부터 행동 패턴 라벨링까지… 효과적인 태스크 처리가 가능할까요?
일상생활 행동 패턴 데이터를 구축하기 위해서는 먼저 일상 행동을 촬영한 영상의 수집부터 이뤄져야 했습니다. 총 7천 시간에 이르는 영상 2만 개를 수집하고, 영상에서 특정 행동이 부각된 하이라이트 구간을 선택하여 분리하는 영상 세그멘테이션(Image Segmentation) 작업 후 대표 이미지를 정제하고, 이미지에서 대표 행동과 주요 객체를 바운딩 박스(Bounding Box)로 라벨링하는 과정이 진행되었죠. 1개 태스크를 처리하려면 세부 과정에 따라 적게는 4단계, 많게는 9단계에 걸친 공정이 필요했습니다.
데이터 구축을 위해 복잡한 공정을 거쳐야 한다면, 제일 처음 만날 문제는 각 단계마다 필요한 저작도구가 다르다는 점입니다. 영상 세그멘테이션을 위한 도구는 영상에서 가장 중요한 하이라이트 구간의 시작과 끝을 라벨링 할 수 있어야 하죠. 당연히 동영상 재생 기능과 구간 선택 및 라벨링 기능이 필요합니다. 영상에서 프레임 단위로 추출한 대표 이미지에 대한 바운딩 박스 작업은 완전히 다른 기능이 필요하죠. 특정 개체를 박스 형태로 선택하여 수정할 수 있고, 개체의 명칭 등을 텍스트로 입력할 수 있어야 합니다.
또 다른 어려움은 데이터 관리 문제입니다. 데이터가 전달되는 과정에서 누락이나 오류가 발생할 가능성이 있기 때문인데요. 앞 단계가 완료되기 전에 다음 단계를 시작하기 어렵다는 점에서 일정 관리에 문제가 발생하기도 합니다. 영상 수집이 완료되지 않은 상황에서 하이라이트 구간 라벨링을 진행하거나, 이미지 분류와 바운딩 박스 작업이 동시에 진행될 수도 있습니다. 이 과정에서 필요한 데이터의 수량이 제대로 모니터링되지 않는다면, 카테고리에 따라 불균형하게 데이터가 수집·처리될 가능성도 있죠. 또한, 각 단계마다 여러 형태로 존재하는 데이터가 유기적으로 연결되어 있어야 추후 하나의 태스크로 처리할 수 있을 거예요.
이 복잡한 과정에 참여할 사람들의 선발과 관리 역시 중요한 부분입니다. 단계마다 다른 방식으로 작업이 진행된다면 가이드라인은 물론, 참여자들이 갖춰야 할 능력도 달라지기 마련인데요. 각 단계에 필요한 사람들을 매번 선발하여 교육하고 관리하는 것이 결코 쉽지 않을 것이라는 것은 충분히 예상할 수 있습니다.
Solution
최대 9단계, 복잡한 공정의 데이터셋을 빠르고 효율적으로 처리하기
복잡한 공정이 필요한 데이터를 효과적으로 구축하려면 먼저 각 단계를 빠르고 효율적으로 진행해야 합니다. 어느 한 단계에서 진행이 제대로 되지 않는다면, 다음 단계에도 영향을 주게 되니까요. 당연히 단계마다 적합한 저작도구도 필요합니다. 레이블러는 태스크 유형별로 맞춤형 저작도구를 통해 원활한 작업을 지원합니다. 영상 구간 라벨링부터 구간에 대한 교차 평가, 바운딩 박스까지… 완전히 다른 여러 작업도구를 각 단계별 태스크의 특성에 맞게 사용할 수 있어요.
단계마다 태스크 특성이 다르다면 처리 방법도 달라져야겠죠. 촬영 영상에서 특정 행동이 가장 돋보이는 하이라이트 구간에 대한 판단은 어떨까요? 1분 45초부터 2분 29초까지가 적합할까요, 아니면 1분 50초부터 2분 15초까지가 적합할까요? 둘 다 틀린 것은 아니지만 그중에서 더 나은 답이 있다면 어떻게 판단할 수 있을까요? 만약 이처럼 정답이 없고 개인 주관에 따라 달라질 수 있는 태스크가 있다면 신뢰할 만한 여러 명의 사람들에게 평가를 맡기는 것이 효과적일 수 있습니다.
레이블러의 강력하고 유연한 ‘엘라스틱 워크플로우(Elastic Workflow, EWF)’는 1개의 태스크를 처리하기 위해 사람과 사람, 사람과 인공지능이 협업하는 구조를 만들어냅니다. 2명에서 3명, 혹은 5명에게 판단을 맡겨서 결과에 대한 신뢰도를 확보해 보세요. 수많은 사람들 중에서 작업에 적합한 사람을 찾아내고, 더 많은 사람에게 작업을 할당하는 과정은 인공지능 비서 ‘레이(Lay)’가 알아서 처리합니다. 어떤 옵션이 가장 좋은 결과를 낼지 판단하기 어려운가요? 레이블러 브레인 API는 작게 시작해서 결과를 보고 빠르게 피드백하는 애자일한 AI 개발을 지원합니다. API를 호출하는 간단한 방식으로 작게 실험하며 결과를 보고 최적의 옵션을 찾아보세요. 리스크는 줄이면서 더 빠르고 효율적인 방식으로 대량의 태스크를 처리할 수 있습니다.
단계별 태스크에 적합한 작업자는 고도화된 자격 검증 시스템인 레이블러 AQC를 통해 자동으로 선별·관리됩니다. 샘플 데이터를 이용하여 자격 검증 태스크(Qualification Task)를 정의하면, 초기 검증 태스크를 통과한 사람만 작업에 참여할 수 있죠. 작업 도중에는 수시 검증 태스크를 제시하여 작업 품질을 안정적으로 관리합니다. 모든 단계를 매끄럽게 이어주는 유연하고 안전한 데이터 관리도 빼놓을 수 없습니다. 서로 다른 저작도구 사이를 연결하여 내가 원하는 결과물이 나올 때까지 하나의 흐름으로 처리할 수 있다면 어떨까요? 매 단계마다 데이터가 누락될 걱정 없이 두 단계, 혹은 세 단계의 공정을 하나의 프로세스 안에서 완료해 보세요. 레이블러 EWF의 유연한 워크플로우는 완전히 다른 방식의 태스크를 한 플로우 내에서 처리할 수 있도록 지원합니다.
Result
영상 2만 개, 105가지 행동 패턴 데이터의 안정적 구축
메트릭스는 레이블러를 이용하여 2만 개 영상에서 추출한 이미지 6만 장에 대한 105가지의 행동 패턴 데이터를 안정적으로 구축했습니다. 한국정보통신기술협회(TTA) 품질 검증(구문 정확성, 유효성 등) 결과는 전체 98.97%로 목표치인 90%를 초과했으며, 학습모델 평가 지표도 100% 달성했습니다.
4~9단계에 이르는 복잡한 공정이 필요했던 일상생활 영상 데이터 구축 사업은 기간 내 필요한 데이터 목표 수량을 103% 충족하며 원활하게 진행되었습니다. 이 사업에 참여한 총 640명의 사람들을 일일이 선발하고 관리할 필요도 없었습니다. 안정적인 데이터 구축과 신뢰할 만한 작업자를 찾는 일을 레이블러가 대신했기 때문입니다. 레이블러는 새로운 방식의 AIOps로써, 고객이 시간과 비용을 절약하여 더 중요한 일에 집중할 수 있도록 지원합니다.
메타버스 3D MAP 구현을 위한 행동 패턴 데이터
―
Info.
Customer
Location
Seoul, Korea
AI Type
VR(Virtual Reality), AR(Augmented Reality), MR(Mixed Reality)
Task type
Image Segmentation, Image Classification, Bounding Box
Overview
현실과 가상의 경계가 사라진 새로운 세상을 위한 영상 인식 데이터가 필요합니다.
매트릭스는 AI·빅데이터 기술을 사용하여 조사 시장의 미래를 대비하는 국가통계 생산 기업입니다. 공공 사회 조사부터 정치 여론 조사, 마케팅 조사, AI 데이터 구축 사업에 이르기까지 넓은 범위의 조사 데이터 비즈니스를 진행하고 있는데요. 그중 AI 데이터 구축 사업은 AI 발전에 반드시 필요한 인프라 사업으로 매트릭스는 텍스트부터 동영상까지 인공지능을 위한 다양한 데이터를 구축하고 있습니다. 그 연장선에서 매트릭스는 NIA 인공지능 학습용 데이터 구축 사업 중에서 일상생활 영상 데이터 사업의 주관 기업으로 참여했는데요.
일상생활 영상 데이터는 한국인의 생애 주기에 맞춰 개인의 일상생활을 시간 유형(필수, 여가, 의무)와 인구통계학적 속성(성별, 연령 등)에 따라 100가지로 분류한 데이터셋입니다. 개인 맞춤형 VR(Virtual Reality, 가상현실), AR(Augmented Reality, 증강현실), MR(Mixed Reality, 혼합현실) 등의 실제 일상에서 인간 행동에 따른 AI 인식이 필요한 서비스에 폭넓게 활용될 수 있습니다. VR/AR/MR 기술은 일상생활 메타버스 구현, 안전 서비스 등 여러 산업 분야에 쓰일 수 있죠. 자율주행 서비스에서 사용하는 3D MAP을 사람의 행동에도 구현할 수 있다면 활용 범위는 무궁무진할 거예요.
가상 세계를 ‘현실’로 인식한다는 것은 무엇을 의미할까요? 현실과 가상 세계의 벽을 허물기 위해서는 무엇보다 현실에 대한 정확한 인식이 필요합니다. 머릿속으로 오늘 하루를 떠올려보세요. 밥을 먹거나, 산책을 하거나, 운동을 하거나, 누군가와 대화를 하는 등의 일상을 보냈을 거예요. 가상 세계를 현실처럼 느끼게 하려면 이런 평범한 일상 행동을 AI가 이해할 수 있어야 합니다. 마치 무언극에서 아무런 대사 없이 팬터마임으로 연기하는 배우를 보는 것과 비슷하죠. 관객은 배우의 동작만 보고도 “지금 밥을 먹고 있구나” 혹은 “강아지와 산책하고 있구나” 등을 직관적으로 알 수 있습니다.
이런 일이 가능한 이유는 특정 동작이 어떤 상황에서 일어나는지를 우리가 무의식중에 알고 있기 때문인데요. 인공지능이 우리처럼 어떤 동작을 보고 지금 무슨 행동을 하는 중인지를 인식할 수 있다면, 우리의 일상을 가상현실에 접목할 수 있을 거예요. 손으로 부채질하는 손님을 보고 ‘더위’를 짐작하여 알아서 선풍기를 틀어주는 집주인처럼 말이죠. 우리의 마음은 행동으로 표현되고, 모든 행동에는 일정한 패턴이 존재합니다. AI가 이런 행동 패턴을 이해할 수 있다면, 내가 원하는 것을 말하기 전에 알아채서 제공하는 서비스도 가능해질 거예요. 매트릭스는 VR/AR/MR 기술을 바탕으로 메타버스 3D MAP 구현에 필요한 일상생활 영상 데이터를 구축하기 위해 레이블러를 이용했습니다.
Problem
영상 수집부터 행동 패턴 라벨링까지… 효과적인 태스크 처리가 가능할까요?
일상생활 행동 패턴 데이터를 구축하기 위해서는 먼저 일상 행동을 촬영한 영상의 수집부터 이뤄져야 했습니다. 총 7천 시간에 이르는 영상 2만 개를 수집하고, 영상에서 특정 행동이 부각된 하이라이트 구간을 선택하여 분리하는 영상 세그멘테이션(Image Segmentation) 작업 후 대표 이미지를 정제하고, 이미지에서 대표 행동과 주요 객체를 바운딩 박스(Bounding Box)로 라벨링하는 과정이 진행되었죠. 1개 태스크를 처리하려면 세부 과정에 따라 적게는 4단계, 많게는 9단계에 걸친 공정이 필요했습니다.
데이터 구축을 위해 복잡한 공정을 거쳐야 한다면, 제일 처음 만날 문제는 각 단계마다 필요한 저작도구가 다르다는 점입니다. 영상 세그멘테이션을 위한 도구는 영상에서 가장 중요한 하이라이트 구간의 시작과 끝을 라벨링 할 수 있어야 하죠. 당연히 동영상 재생 기능과 구간 선택 및 라벨링 기능이 필요합니다. 영상에서 프레임 단위로 추출한 대표 이미지에 대한 바운딩 박스 작업은 완전히 다른 기능이 필요하죠. 특정 개체를 박스 형태로 선택하여 수정할 수 있고, 개체의 명칭 등을 텍스트로 입력할 수 있어야 합니다.
또 다른 어려움은 데이터 관리 문제입니다. 데이터가 전달되는 과정에서 누락이나 오류가 발생할 가능성이 있기 때문인데요. 앞 단계가 완료되기 전에 다음 단계를 시작하기 어렵다는 점에서 일정 관리에 문제가 발생하기도 합니다. 영상 수집이 완료되지 않은 상황에서 하이라이트 구간 라벨링을 진행하거나, 이미지 분류와 바운딩 박스 작업이 동시에 진행될 수도 있습니다. 이 과정에서 필요한 데이터의 수량이 제대로 모니터링되지 않는다면, 카테고리에 따라 불균형하게 데이터가 수집·처리될 가능성도 있죠. 또한, 각 단계마다 여러 형태로 존재하는 데이터가 유기적으로 연결되어 있어야 추후 하나의 태스크로 처리할 수 있을 거예요.
이 복잡한 과정에 참여할 사람들의 선발과 관리 역시 중요한 부분입니다. 단계마다 다른 방식으로 작업이 진행된다면 가이드라인은 물론, 참여자들이 갖춰야 할 능력도 달라지기 마련인데요. 각 단계에 필요한 사람들을 매번 선발하여 교육하고 관리하는 것이 결코 쉽지 않을 것이라는 것은 충분히 예상할 수 있습니다.
Solution
최대 9단계, 복잡한 공정의 데이터셋을 빠르고 효율적으로 처리하기
복잡한 공정이 필요한 데이터를 효과적으로 구축하려면 먼저 각 단계를 빠르고 효율적으로 진행해야 합니다. 어느 한 단계에서 진행이 제대로 되지 않는다면, 다음 단계에도 영향을 주게 되니까요. 당연히 단계마다 적합한 저작도구도 필요합니다. 레이블러는 태스크 유형별로 맞춤형 저작도구를 통해 원활한 작업을 지원합니다. 영상 구간 라벨링부터 구간에 대한 교차 평가, 바운딩 박스까지… 완전히 다른 여러 작업도구를 각 단계별 태스크의 특성에 맞게 사용할 수 있어요.
단계마다 태스크 특성이 다르다면 처리 방법도 달라져야겠죠. 촬영 영상에서 특정 행동이 가장 돋보이는 하이라이트 구간에 대한 판단은 어떨까요? 1분 45초부터 2분 29초까지가 적합할까요, 아니면 1분 50초부터 2분 15초까지가 적합할까요? 둘 다 틀린 것은 아니지만 그중에서 더 나은 답이 있다면 어떻게 판단할 수 있을까요? 만약 이처럼 정답이 없고 개인 주관에 따라 달라질 수 있는 태스크가 있다면 신뢰할 만한 여러 명의 사람들에게 평가를 맡기는 것이 효과적일 수 있습니다.
레이블러의 강력하고 유연한 ‘엘라스틱 워크플로우(Elastic Workflow, EWF)’는 1개의 태스크를 처리하기 위해 사람과 사람, 사람과 인공지능이 협업하는 구조를 만들어냅니다. 2명에서 3명, 혹은 5명에게 판단을 맡겨서 결과에 대한 신뢰도를 확보해 보세요. 수많은 사람들 중에서 작업에 적합한 사람을 찾아내고, 더 많은 사람에게 작업을 할당하는 과정은 인공지능 비서 ‘레이(Lay)’가 알아서 처리합니다. 어떤 옵션이 가장 좋은 결과를 낼지 판단하기 어려운가요? 레이블러 브레인 API는 작게 시작해서 결과를 보고 빠르게 피드백하는 애자일한 AI 개발을 지원합니다. API를 호출하는 간단한 방식으로 작게 실험하며 결과를 보고 최적의 옵션을 찾아보세요. 리스크는 줄이면서 더 빠르고 효율적인 방식으로 대량의 태스크를 처리할 수 있습니다.
단계별 태스크에 적합한 작업자는 고도화된 자격 검증 시스템인 레이블러 AQC를 통해 자동으로 선별·관리됩니다. 샘플 데이터를 이용하여 자격 검증 태스크(Qualification Task)를 정의하면, 초기 검증 태스크를 통과한 사람만 작업에 참여할 수 있죠. 작업 도중에는 수시 검증 태스크를 제시하여 작업 품질을 안정적으로 관리합니다. 모든 단계를 매끄럽게 이어주는 유연하고 안전한 데이터 관리도 빼놓을 수 없습니다. 서로 다른 저작도구 사이를 연결하여 내가 원하는 결과물이 나올 때까지 하나의 흐름으로 처리할 수 있다면 어떨까요? 매 단계마다 데이터가 누락될 걱정 없이 두 단계, 혹은 세 단계의 공정을 하나의 프로세스 안에서 완료해 보세요. 레이블러 EWF의 유연한 워크플로우는 완전히 다른 방식의 태스크를 한 플로우 내에서 처리할 수 있도록 지원합니다.
Result
영상 2만 개, 105가지 행동 패턴 데이터의 안정적 구축
메트릭스는 레이블러를 이용하여 2만 개 영상에서 추출한 이미지 6만 장에 대한 105가지의 행동 패턴 데이터를 안정적으로 구축했습니다. 한국정보통신기술협회(TTA) 품질 검증(구문 정확성, 유효성 등) 결과는 전체 98.97%로 목표치인 90%를 초과했으며, 학습모델 평가 지표도 100% 달성했습니다.
4~9단계에 이르는 복잡한 공정이 필요했던 일상생활 영상 데이터 구축 사업은 기간 내 필요한 데이터 목표 수량을 103% 충족하며 원활하게 진행되었습니다. 이 사업에 참여한 총 640명의 사람들을 일일이 선발하고 관리할 필요도 없었습니다. 안정적인 데이터 구축과 신뢰할 만한 작업자를 찾는 일을 레이블러가 대신했기 때문입니다. 레이블러는 새로운 방식의 AIOps로써, 고객이 시간과 비용을 절약하여 더 중요한 일에 집중할 수 있도록 지원합니다.