[테크리포트]2023 데이터 키워드②자연어(NLP) 합세한 증강 분석, 실시간 인사이트 시대 연다

기업이 데이터로부터 통찰력을 얻는 방식 자체가 변화

인사이트 자동화로 실시간 인사이트 및 데이터 민주화 구현

그러나 데이터 품질 및 무결성(integrity) 전략 고민해야

2023 데이터 키워드 두번째는 증강 분석(Agmented Analytics)으로, 인공지능/머신러닝(AI/ML)을 이용한 데이터 분석을 뜻한다. 

데이터 분석에 머신러닝과 딥러닝 등 AI 기술 적용은 더 이상 새로운 뉴스는 아니다. 하지만 이 시장은 분석해야 할 데이터가 폭증하고 더 이상 수작업으로는 비즈니스가 원하는 속도에 맞출 수 없다는 점 때문에 지속적인 성장이 기대되고 있다. 나아가 증강 분석은 세 가지 강력한 특징과 함께 움직인다. △데이터 분석의 민주화 △인사이트 자동화(실시간 인사이트) △컨텍스트를 이해하는 자연어(NLP) 기반 데이터 검색이 그것이다.

(이미지 출처 :softengi.com)

기업이 데이터를 관리하고 평가하는 방식은 AI 기반 기술로 급변하고 있다. 가트너 정의에 따르면 증강 분석은 데이터 준비, 인사이트 생성과 설명에 머신러닝, AI 등의 기술을 사용해 ‘분석 및 BI(Analytics and BI, 이하 ABI) 플랫폼’에서 데이터를 탐색하고 분석하는 방식을 강화한 것이다.

전통적인 데이터 분석이 기존에 수집된 사용자 요구 사항에 기반을 두고 사전 정의된 쿼리나 보고서의 형태로 데이터로부터 인사이트를 창출했다면 증강 분석은 머신러닝, 자연어 처리(Natural Language Processing)와 같은 기술을 활용해 분석 보고서를 자동 생성해낸다.

가트너는 2021년 ‘ABI’ 매직쿼드런트 보고서에서 BI 툴의 차별화 요소가 시각화(비주얼라이제이션) 툴에서 증강 분석으로 넘어갈 것으로 주장한 바 있다. “이제 누구나 훌륭한 시각화 툴을 가지고 있다, BI 시장의 차별화는 증강 분석, 또는 머신러닝과 AI를 BI 툴에 얼마나 잘 통합하는지에 달려 있다, 앞으로는 AI/ML 기능이 분석 툴 혹은 ABI 툴과 분리돼 존재하는 대신, ABI 제품 전반적으로 주입된다”는 주장이었다.

 자료:가트너. 자동화와 자연어 등 증강 분석의 고도화는 시민 데이터 사이언티스트 양성으로 이어진다.  

이러한 추세를 반영하듯 지난해 AI/ML 없이 데이터 분석을 말하는 솔루션 및 서비스 사업자는 찾아보기 힘들었다. 2022년부터 ABI 플랫폼은 로코드/노코드 워크플로, 클라우드 에코시스템 및 디지털 워크플레이스 툴과의 연동, 최종 사용자를 위한 시각적 셀프서비스, AI에 의해 강화된 자동화된 인사이트 도출에 중점을 두고 있다.

이러한 특징들은 데이터 분석의 민주화로 이어지는데 가트너는 “증강의 초점이 분석가에게서 소비자 혹은 의사결정자로 점점 이동하고 있다”고 지적했다. 전문 데이터 과학자나 IT의 기술 지원이 일상의 분석 작업에서는 필요하지 않으며, 현업의 데이터 소비자와 의사결정자의 셀프서비스 분석을 더욱 강력하게 지원하고 있다.

시민 데이터 사이언티스트 시대의 도래

증강 분석은 데이터 사이언스, 머신러닝, AI 모델 개발/관리/배포의 많은 부분을 자동화하기 때문에 전문가는 물론 시민 데이터 사이언티스트도 증가시킬 수 있다. 현업 실무자는 데이터 파이프라인을 엔지니어링할 필요 없이 “서울 지역에 할당해야 하는 마케팅 예산”과 같이 임의의 쿼리를 던져도 즉각적으로 답을 받을 수 있다.

이는 궁극적으로 인사이트 도출에 이르는 많은 과정이 자동화됨을 뜻하고 가트너는 이를 자동화된 인사이트(automated insights)라고 표현했다. 즉, 실시간 인사이트의 시대라고 할 수 있다.

하지만 이러한 인사이트 자동화는 통계적 관련성뿐만 아니라 데이터에 기반을 두고 사용자의 목표, 워크플로, 필요한 실행 조치에서의 전후 상황 파악이 필수다. 이는 ABI 플랫폼과 AI 결합의 제2막을 열고 있는데 바로 컨텍스트를 이해하는 자연어 기반 상호작용이다.

전후 맥락을 이해하는 자연어 쿼리, 자연어 응답이 증강 분석에 가세하고 있다.  (자료:가트너)

데이터 분석에서 ‘증강’은 증강은 AI와 머신러닝이 지원하는 데이터 준비, 쿼리 생성 및 통찰력 생성 등 여러 가지 형태로 제공되는데, 최근의 ABI 플랫폼은 더욱 효과적인 사용자 경험을 위해 사용자 행동과 관심사에 대한 더 많은 정보를 포착하려 하고 있다. 예를 들면 자연어 쿼리(NLQ, Natural Language Query) 또는 대화형 분석 인터페이스 등과 같은 상호 작용 방법으로 보완하고 자연어 생성(NLG, Natural Language Generation) 설명으로 응답하는 것이다. 이러한 기술은 다시 의사결정자를 위한 셀프서비스 분석, 데이터 분석의 민주화에 기여한다.

데이터 분석에서 AI의 결합은 머신러닝에 의한 분석 속도와 정확성에서, 자연어 기반 사용자 경험 향상으로 발전해 나가고 있다. 가트너의 매직쿼드런트에서도 이를 반영해 2021년부터 새롭게 등장한 카테고리가 ‘인사이트 엔진(Insight Engines)’이다.

자연어 기반 쿼리와 분석 결과 도출, 데이터 민주화 ‘성큼’

인사이트 엔진(IE)에 대한 가트너의 정의는 “기업 내외부의 모든 콘텐츠 및 데이터 스펙트럼으로부터 실행 가능한 인사이트를 제공하기 위해 검색 기능과 AI를 결합한 것”이다. 인사이트 엔진은 콘텐츠와 데이터를 발견, 분석, 설명 및 구성하는 데 연관성 방법(relevancy methods)을 적용한다. 각각의 비즈니스 모멘트 맥락(컨텍스트)에 맞춰 사람에게는 정보를, 기계(시스템)에게는 데이터를 상호 작용 혹은 사전예측적으로 전달하거나 합성해 제공해주는 것이다. 인사이트 엔진은 리포지터리(저장소), 웹사이트, 데이터베이스 등 다양한 소스와 유형의 데이터를 중앙 인덱스로 가져와 쿼리할 수 있게 해준다.

 가트너 인사이트 엔진 매직쿼드런트 2022. 기업 내외부의 모든 콘텐츠 및 데이터 스펙트럼으로부터 실행 가능한 인사이트를 제공하기 위해 검색 기능과 AI를 결합한 것을 인사이트 엔진으로 정의하고 있다. 

인사이트 엔진은 검색 그 이상의 역할을 하는데, 의사결정과 실행 조치를 지원하기 위한 정보, 자동화를 지원하는 데이터의 매개자 역할을 한다는 게 가트너의 설명이다. 사용자의 질문에 대한 답변, 상황에 맞는 추천(contextual recommendations), 인사이트 도출에서 데이터 소비자들(분석 소비자)의 디지털 경험을 한 단계 더 높여주는 역할을 한다.

지난달(2022년 12월) 발표된 가트너 인사이트 엔진 매직쿼드런트 2022 보고서에서는 리더 그룹에 마인드브리즈(Mindbreeze), 마이크로소프트, 엘라스틱, IBM, 코베오(Coveo) 등이 선정됐다. 비전 완성도 측면에서는 엘라스틱이 가장 높은 점수를 얻었으나 실행 능력 측면에서는 마인드 브리즈, 마이크로소프트가 더 우세했다.

한편 인사이트 엔진, 증강 분석과 함께 눈여겨볼 새로운 가트너 매직쿼드런트 중 하나는 ‘엔터프라이즈 대화형 AI 플랫폼(Enterprise Conversational AI Platforms)’이다. 이 역시 2022년 첫 등장한 것으로, 2021년 출시된 글로벌 챗봇 플랫폼을 평가해 2022년 초에 발표됐다(Gartner Magic Quadrant for Enterprise Conversational AI Platforms 2022).

대화형 AI 플랫폼은 “대화형 자동화의 사용 사례 개발을 구축, 오케스트레이션(조정), 지원하는 데 사용되는 소프트웨어 애플리케이션”이라는 게 가트너의 정의이며 그 목적과 용도는 다양하다고 소개하고 있다. 그 중 하나가 증강 분석일 수 있다.

2022년 엔터프라이즈 대화형 AI 플랫폼 매직쿼드런트에서 가트너는 대화형 AI 플랫폼 제품들이 △자연어 포트폴리오 중심 △비즈니스 자동화 중심 △사용자 경험 중심 세 부류로 나눌 수 있다고 설명했다. 리더 그룹에는 코어.ai(Kore.ai), 아멜리아(Amelia), IBM, 오밀리아(Omilia), 코그니지(Cognigy), 원리치.ai(OneReach.ai)가 선정됐다.

 2022년 초 발표된 가트너의 엔터프라이즈 대화형 AI 플랫폼 매직쿼드런트. 

‘힘들게 일하지 않고 스마트하게’ 데이터 분석의 효율성 강화

해외 미디어인 파이낸스온라인은 2022/2023 분석 트렌드 톱10(10 Top Analytics Trends & Forecasts for 2022/2023 You Should Be Thinking About)에 증강 분석, NLP 및 대화형 분석(Conversational Analytics)을 포함시켰는데 이 중 NLP 및 대화형 분석의 역할이 매우 거대해질 것이며 NLP 대화형 분석 플랫폼의 기능이 기하급수적으로 증가할 것으로 강조했다.

파이낸스온라인에 따르면 이미 많은 소비자들이 스마트홈 기기에서 음성 검색을 사용하고 있는 상황에서 시장 분석, 고객 분석에도 음성 검색이 수반될 수밖에 없다. NLP 변환 분석 툴을 사용해 기본 검색 쿼리만 입력하면 실시간으로 고객 데이터를 쉽게 모니터링하고 분석할 수 있다. 무엇보다 전문가 아닌 일반 비즈니스 유저들이 복잡한 데이터 조합을 신속하게 분석해낼 수 있다.

NLP 및 대화형 분석 또한 데이터 분석의 민주화, 즉 비즈니스 실무자들이 데이터 팀, IT팀에 대한 의존도를 대폭 줄이게 만들며 그에 따라 빠른 인사이트 도출을 수행하는 데 기여한다. 파이낸스온라인은 “누구나 음성이나 텍스트로 더 복잡한 쿼리를 만들어 검색하고 문의해 답변을 받을 수 있다”고 설명한다. 

 파이낸스온라인이 선정한 2022/2023 분석 트렌드 톱10

TDWI(The Data Warehousing Institute)의 경우 2023년의 세 가지 데이터 트렌드 중 첫번째로 데이터 민주화를 꼽기도 했다. 다른 두 가지는 분석의 자동화 가속(Analytics becomes more automated) 및 데이터 메시의 확산(Data mesh popularity increases)로, 이 세 가지 트렌드는 모두 긴밀히 관련돼 있으며 핵심을 관통하는 것은 ‘데이터 액세스 및 분석, 소비의 주체’다.  

이는 올해 ABI 플랫폼과 솔루션의 새 기능을 점쳐볼 수 있는 대목이다. 2021년에는 데이터 시각화, 2022년에는 AI/ML 기반 증강 분석이 ABI 솔루션 시장의 화두이자 경쟁력의 포인트였다면, 올해는 얼마나 사용자 친화적이고 사용하기 쉬운 NLP 및 대화형 분석 기능을 제공하느냐에 달려 있는 것으로 보인다.

증강 분석의 결론은 실시간 인사이트

파운드리(Foundry. 구 IDG)의 ‘2022년 데이터 및 분석(Data&Analytics)’ 보고서에 따르면 설문 조사에 응한 IT의사결정권자 중 88%가 데이터 수집 및 분석을 통해 향후 1~3년 동안 회사의 비즈니스 방식을 근본적으로 바꿀 수 있다는 데 동의했다. 이러한 기업과 조직들은 시장 경쟁 우위를 확보하기 위해 예측 분석, 프로세스 자동화 및 비즈니스 인텔리전스 플랫폼과 같은 툴에 투자하고 있다고 전했다.

이러한 변화는 데이터 급증과 민주화, 데이터의 생성 및 소비 속도에 의해 가속화되고 있다. 기업들이 데이터 중심 조직으로 변화할수록 데이터 분석 결과물이 나오는 속도에 대한 요구 역시 커지고 있다. 증강 분석 기술 없이는 숙련된 데이터 엔지니어와 데이터 사이언티스트라도 비즈니스 인텔리전스를 위한 데이터를 준비하는 데 몇주 혹은 몇 달을 소요한다.

해외 IT미디어인 솔루션 리뷰는 “데이터 수집 시간이 (비즈니스)차별화 요소가 되고 있기 때문에 최고 데이터 책임자(CDO)는 현재 가용할 수 있는 모든 툴과 소스를 동원해 데이터 분석을 효율화해야 한다”고 주장한다. 더 빠른 시간 내에 더 많은 가치를 얻을 수 있도록 하는 것이 AI와 ML로, 특히 AI/ML은 데이터 팀이 “더 열심히가 아니라 더 스마트하게(working smarter, not harder)” 일할 수 있도록 하는 데 핵심 역할을 하고 있다고 전한다. 

즉, 증강 분석의 혜택 중 하나는 데이터 관련 부서의 업무 효율성이다. 데이터 팀이 분석을 위해 데이터를 준비하는 대신 실행 가능한 문제에 집중할 수 있도록 해준다. 데이터 액세스의 흐름을 개선하고 다양한 관점에서 적시에 공통된 시각을 가질 수 있도록 해준다.

글로벌 증강 분석 시장, 2030년까지 평균 30% 성장

해외 시장조사 업체인 리포트&데이터는 글로벌 증강 분석 시장 규모를 2021년 100억6000만달러로 추정하는데 2030년까지 연평균 29.5% 성장해 2030년 말이면 1038억7000만달러(한화 약 129조3100억원) 규모에 이를 것으로 주장하고 있다. 다른 시장조사업체들의 전망 보고서도 대동소이하다. 

자료 : 리포트&데이터 

 

가트너의 ‘증강 분석이 기업을 변화시키는 방법(How Augmented Analytics Will Transform Your Organization)’ 보고서에 따르면 증강 분석은 한 마디로 기업이 데이터로부터 통찰력을 얻는 방식 자체를 바꾸고 있는 것이다. 가트너는 “조직이 데이터를 준비하고, 데이터로부터 인사이트를 찾고, 이러한 인사이트로부터 파악한 것을 공유하는 방식을 증강 분석이 바꿔나가고 있으며, 조직의 데이터(분석) 책임자는 증강 분석이 주류가 될 때까지 기다릴 게 아니라 지금 당장 조치를 취해야 한다”고 역설한다. 

   자료 : 리서치앤마켓

전문가들이 증강 분석에 확신하는 이유는 증강 분석이 사전예측 분석의 다른 말이기도 하기 때문이다. 증강 분석은 숨어 있는 문제 혹은 잠재적 문제를 미리 파악해 사전 대처를 할 수 있도록 해준다.

오늘날 기업들의 분석에 사용될 수 있는 데이터는 이미 차고 넘친다. 데이터는 부족하지 않고, 주요 메트릭으로 업데이트되는 대시보드를 통해 경영과 비즈니스 운영의 모든 측면을 측정하고 모니터링할 수 있다. 하지만 방대한 데이터 속에 사소한 이상 현상이 숨어 있을 수 있고, 일반적으로는 이러한 이상 현상이 문제 있는 이벤트로 노출되기 전에는 거의 발견해낼 수 없다. 이를 해내는 것이 증강 분석으로, 해외 미디어 인포메이션 에이지(information-age)는 건초더미에서 바늘을 찾아내는 것으로 비유한다.

인포메이션 에이지는 증강 분석이 △통찰력 확보 시간 단축 △결제 문제 파악 △사기 및 부정행위 탐지 △고객 경험 개선 등 5가지 방식으로 기업의 수익을 보호한다고 설명했다.

데이터 준비에서 실제 비즈니스 인사이트가 도출되기까지 소요 시간은 적을수록 좋다. 이를 위해 적절한 담당자가 적절한 시기에 올바른 정보를 가지고 있는 게 매우 중요하다. 예를 들어 우리 기업의 커머스 앱에서 특정 지역의 사용자가 로그인할 수 없는 오류가 발생했다면 증강 분석은 최소한의 실패 시도에서 이러한 문제를 조기 식별해내고 이를 해결할 수 있는 담당자에게 즉시 플래그를 지정할 수 있다. 소비자가 클레임하기 전까지는 모르고 있거나 앱 로그인이나 결제 오류가 다수 반복되어서야 인지하는 경우 잠재적 매출 하락과 고객 이탈 등의 손실이 일어날 수 있다.

증강 분석=사전예측 분석, 문제 발생 전에 사전 대처

결제 문제 파악의 경우도 유사하다. 대부분의 글로벌 e커머스는 수백만개의 부분 작업으로 구현되며, 이 중 하나라도 문제가 발생하면 연쇄적으로 장애가 촉발된다. 글로벌 e커머스 사이트들은 수십여 웹사이트들에 걸쳐 다양한 지역, 통화(currencies), 언어, 지불결제 시스템, 법규제 등의 요건을 충족시키도록 설계돼 있고, 증강 분석은 이 모든 데이터 지점 하나하나에서 문제의 초기 징후를 찾아내는 일을 한다.

자료::벤타나 리서치. 응답자들은 빅데이터 분석에서 사전 예측 기능에 가장 큰 점수를 주었다. 

 

한국에서만 선불카드 결제에 문제가 있고 다른 나라에서는 이상 없을 경우, 문제 원인이 한국 지역에만 국한된 것이라면 다행이지만 그렇지 않을 때는 몇주에 걸쳐 조금씩 다른 국가들까지 연쇄적으로 오류가 일어나고 그제서야 해결하려 한다면 이미 매출 누락, 지불 지연, 고객 이탈의 손실이 일어난 후다. 증강 분석은 이상 징후가 발생한 초기에 경고를 보내 문제를 신속히 해결할 수 있다. 데이터 분석과 비즈니스 운영의 ‘깨진 유리창 이론(Broken window theory)’인 셈이다.

사기 탐지와 부정행위 적발에는 이미 증강 분석을 활발하게 사용하고 있다. 온라인 사기는 실제비용 손실은 물론, 조사 비용 등 막대한 손해를 기업에 끼치지만, 기업들은 사기를 당한 사실조차 모르는 경우가 많다.  증강 분석은 알고리즘을 사용해 사기 행위를 식별해낼 뿐 아니라, 취약점을 예측해 사전에 대처할 수 있도록 해준다. ML의 힘을 빌어 데이터의 미세한 부분까지 분석해 범죄 활동을 암시하는 패턴을 찾을 수 있다. 

고객 경험 개선은 모든 산업을 막론하고 받을 수 있는 증강 분석의 수혜다. 증강 분석은 고객 행태 데이터에서 ‘숨겨진’ 추세, 패턴, 이상 징후를 식별해 전통적 대시보드보다 빠른 속도로 기업에게 경고를 보낸다. 고객 경험 개선을 위해 초개인화(Hyper-personalised) 마케팅이 각광받고 있는데, 문제는 초개인화 마케팅의 정확성이다. 증강 분석은 고객의 과거 행동에 대한 자동 분석을 기반으로 정확도 높은 초개인화 마케팅을 가능케 한다.

가트너 2022 분석 및 BI(ABI) 플랫폼 매직쿼드런트. 

 

증강 분석의 다섯번째 사례로 인포메이션 에이지는 완전 가용성(100% uptime)을 들고 있다. 이를 가장 잘 보여주는 것이 제조나 유틸리티 산업에서의 예지보전 솔루션이다. 국내에서도 퓨처메인, 원프레딕트 등 산업AI 기반 예지보전 솔루션 업체들을 볼 수 있는데, 생산시설이나 변전설비에서 IoT 등으로부터 수집한 데이터들에 대해 딥러닝 기반 정밀 분석을 실시해 시설물이나 부품의 결함, 마모 등을 사전 예측하는 것이다. 이를 통해 예기치 못한 다운타임과 그로 인한 비용 피해를 최소화할 수 있다.

다시 문제는 데이터 품질•데이터 무결성

데이터 분석에 ML, NLP 등 AI 기술의 접목은 다채롭게 확산될 것이 분명하다. 그러나 이는 최고 데이터 책임자(CDO)에게 중대한 과제를 안기는 데 바로 데이터 품질이다. 궁극적으로는 데이터 무결성이다.

물론 데이터 품질 관리는 데이터 분석이라는 용어가 사용되기 시작했을 때부터 동반돼온 문제다. 그러나 지금처럼 다양한 유형의 데이터가 기업 내외부에서 대량으로 쏟아져 들어오는 시대에, 자동화된 분석으로 실시간 인사이트를 요구받는 시대에 분석의 토대인 데이터의 품질 검증 중요성은 더욱 중요해지고 있다.

자료:BARC Data, BI & Analytics Trend Monitor 2023. 

 

아무리 많은 데이터를 빠른 속도로 분석해낸다고 하더라도 대상 데이터의 품질에 문제가 있으면 헛수고다. AI 증강 분석에 투입된 비용도 낭비다. 다양한 사용자가 이용할수록 데이터는 여러 시스템에 걸쳐 생성되고 공유되기 때문에 데이터 품질을 유지하는 것은 더욱 어려워진다.

이 때문에 증강분석이 확산될수록 데이터 품질 및 데이터 품질에 직접적인 영향을 주는 메타/마스터데이터 관리가 필수다. 인포매티카, 클라우데라, 클릭 등 ABI 플랫폼 업체들이 데이터 품질, 메타/마스터 데이터 관리에도 꾸준히 강세를 보이는 것도 이를 반영한다.

데이터 품질은 궁극적으로 데이터의 전체적인 정확성, 완전성 및 일관성을 만족시켜야 한다. 이 때문에 증강 분석의 시대에 다시 떠오르고 있는 용어가 데이터 무결성(Data integrity)이다. 데이터 무결성은 나아가 데이터 정보보호 관련 규제 준수 및 보안까지, 데이터의 안전성을 의미한다.

 

데이터의 품질이 우수하고 신뢰할 수 있는 것으로 간주될 때 증강 분석은 실시간 인사이트라는 목표를 완수할 수 있다.

 

 

박현선 기자 hspark@nextdaily.co.kr