불확실성이 급증하고 있는 가운데 빅데이터가 기업들에게 필요한 핵심솔루션으로 급부상하고 있다.빅데이터를 통해 신 사업 개발 및 고객 가치 창출을 위한 기회를 발견할 수 있기 때문이다.과거의 데이터 분석이 CRM(고객관계경영), BI(비즈니스인텔리전스)을 위한 것이었다면, 이제는 비정형 데이터 처리를 통해 예측 및 지능화 서비스를 구현하는데 주목적이 있으며 활용영역은 통신 콘텐츠 금융 등 전분야로 확산되고 있다.KT경제경영연구소의 보고서를 소개한다.<편집자주>

데이터의 활용은 특정 산업에 국한되지 않는다. 통신, 콘텐츠, 금융, 헬스케어 등 다양한 산업 영역에서 빅데이터가 활용될 수 있다.

류성일 KT경제경영연구소 연구원은 "빅데이터 활용을 잘 하기 위해서는, 양질의 데이터와 분석 인프라 및 시각화 기술이 갖추어져야 하고, 역량 있는 데이터 전문가가 필요하다. 그리고 데이터 활용과 개인정보 보호간의 상충되는 이슈 해결도 필요하다"고 설명했다.

불확실성 시대, 빅데이터 분석에서 길을 찾는다

노키아, 소니 등 언제나 굳건할 것만 같았던 일류 기업도 생존을 위협받을 만큼 현시대는 불확실성이 급증한 시대다. 경제학자 존 케네스 캘브레이스는 저서 ‘불확실성의시대’를 통해 앞으로 사회를 주도하는 지도원리가 사라진 불확실한 시대가 도래할 것이라고주장한 바가 있다.

류연구원은 "이러한 변화의 시대에 기업들에게 필요한 것 중의 하나가 빅데이터 분석이다. 변화의 틈새에서 신 사업 개발 및 고객 가치 창출을 위한 기회를 발견하는 노력이 필요하며, 바로 빅데이터 분석에서 그 길을 찾을 수 있기 때문"이라고 지적했다.

최근의 빅데이터는 규모 면에서 폭발적인 증가와 함께 불확실하고 비규격화된 데이터 증가 양상이 특징적으로 나타난다. 이는 최근 스마트폰, IoT(사물인터넷) 장치의 보급으로 보다 다양화되고 개인화된 데이터가 생산되는데 기인한다.

이들 데이터는 사람이 만든(Human-generated) 인간 중심(People-oriented)의 데이터이다.여기에는 사람이 두서 없이 남긴 텍스트 문장, 그리고 사진과 음성 데이터 등 구조화되지 않은 모든 데이터가 포함된다. 대게 이런 데이터들은 과거의 표준화된 수치를 다루었던 통계나 데이터마이닝 방법론으로는 처리가 불가능하였다.

예컨대 누군가가 찍어 올린 사진 몇 장을 입력해 놓고 그 장소가 어디인지, 또는 등장 인물은 누구인지를 파악하는 수준의 분석은 과거 전통적인 방법으로는 접근이 불가능한 영역이었다.

최근의 기술적 진보는 대용량의 데이터 분석을 가능하게 했다. 사실 축적된 데이터로부터 유용한 정보를 캐내는 과정을 일컫는 데이터마이닝의 개념은 소개된 지 십수년의 세월이 지났다. 그러나 과거에는 한정적인 컴퓨팅 자원의 한계와 더불어 저장 및 분석을 위한 스토리지 공간의 제약이 걸림돌이었다. 방대한 데이터의 분석이 금전적으로나 기술적으로 불가능했던 것이다.

그러나 최근 기술의 진보는 이런 제약을 극복할 수 있는 길을 마련해주었다. 이제는 단 수 백 달러의 비용만 지불하면 현존하는 전 세계의 모든 음악을 보관할 수 있는 용량의 하드드라이브를 구입할 수가 있다. 한편 대용량의 데이터를 분석하고 보관하는 일에는 분산 컴퓨팅 파워를 제공하는 클라우드 기술도 많은 기여를 했다.클라우드 컴퓨팅과 스토리지 기술에 힘입어 ’가용한 빅데이터의 시대’가 열린 것이다.

빅데이터 분석의 진화

과거의 데이터 분석은, 전통적인 관계형 데이터베이스 환경에서 고객, 영업, 운영 등의 규격화된 정보에 대해 통계적으로 집계하고 분석하여, CRM(고객관계경영) 또는 BI(비즈니스인텔리전스)를 위한 인사이트를 도출하는 일에 집중됐다.

빅데이터 시대에는 CRM와 BI 분야에 빅데이터 소스를 활용하고 관련 분석 기법을 도입하는 등 더욱 고도화된 수준의 작업을 수행할 수 있게 됐다. 그리고 더 나아가 기존의 인프라로는 다룰 수 없었던 다양한 비정형 데이터를 처리하고 분석할 수 있게 되었는데, 이를 통해 예측 및 지능화 서비스를 구현하게 된다.

최근의 빅데이터 기술은 복잡하고 모호한 양식의 반정형, 비정형 데이터도 분석하여 가용한 의미를 추출하는데 주력하고 있다. 예를 들어 머신러닝이나 딥러닝 기술을 통해 문장의 의미와 문맥을 파악을 파악하거나, 음성인식, 사진과 동영상의 내용을 판단하고 분류하는 등의 분석을 할 수 있다. 기업은 이러한 분석을 활용하여 고객 가치 증대의 기회를 발견하거나 전혀 새로운 지능화 서비스와 신 사업을 발굴 할 수 있다.