[익스플레인: Digital] 데이터 사이언스를 말하다

지난 2월, 한국거래소가 글로벌 상장 기업 시가총액 상위 100개 사의 현황을 조사했다. 조사 결과에서 흥미로운 내용이 있었다. 바로 애플, 알파벳(구글 지주회사), 마이크로소프트(MS), 아마존, 페이스북 등 미국 IT(정보기술) 기업들의 기업가치가 세계 1~5위를 휩쓸었다는 점. 10년 전 시총 10위 안에 드는 IT 기업이 마이크로소프트 단 한 곳뿐이었다는 점을 감안하면 엄청난 변화다.

(단위=십억 달러)

글로벌 시가총액 5대 기업 (2018년 2월 2일 기준) / 출처=한국거래소

전문가들은 글로벌 빅5 기업들의 폭발적인 성장 배경으로 이들이 지닌 ‘빅데이터(Big Data)’에 주목한다. 영국 주간지 이코노미스트도 ”데이터가 빅5 기업에 집중되고 있다”고 지적한 바 있다. 도대체 빅데이터는 무엇일까. 어떤 가치를 지녔길래, 100년 가까이 세계를 이끈 석유, 자동차 등의 산업을 압도하게 만들었을까. 현대카드·현대캐피탈 뉴스룸이 그 해답을 찾아봤다.

빅데이터의 가장 큰 특징은 기존 데이터와 비교조차 할 수 없는 ‘크기(Volume)’에 있다. 빅데이터는 기존 방식으로 저장·관리·분석하기 어려울 정도로 방대한 규모의 데이터를 의미한다. 데이터 표시 단위로 그 크기를 짐작해볼 수 있다. 일반적으로 PC 컴퓨터나 휴대폰 기기에 저장하는 데이터의 양은 GB(기가바이트) 단위를 쓴다. 1GB의 1024배는 1TB(테라바이트)다. 빅데이터는 1TB의 1024배 즉, 1PB(페타바이트, 1시간 분량의 HD급 고화질 영상을 57년간 쉬지 않고 봐야 하는 정도의 데이터 양)를 기본 단위로 한다.

출처=pixabay.com

빅데이터는 형태의 유무 측면에서 크게 ‘정형’과 ‘비정형’으로 구분한다. 정형 데이터는 형태를 갖춘 데이터다. 미리 정의된 모델에 따라 수집된 데이터를 말한다. 신용카드 회사에서 일반적으로 가지고 있는 결제 데이터가 이에 해당한다.

반면, 비정형 데이터는 형태가 명확하게 있지는 않지만, 특별한 의미를 지녔을 것으로 판단되는 모든 데이터다. 데이터베이스에 잘 정리된 데이터가 아닌 웹 문서, 이메일 등이 대표적이다. 현재는 소셜 미디어(SNS) 등에 게시된 동영상, 사진, 텍스트를 포함해 도로, 지하철역 또는 길거리에서도 쉽게 볼 수 있는 무인감시카메라 화상정보까지 여러 형태로 축적되고 있다. 때문에 빅데이터는 규모가 크다는 특징 뿐만 아니라, 수집 되는 정보 ‘형태’가 다양(Variety)하고, 매우 빠른 ‘속도(Velocity)’로 쌓인다는 특징을 지닌다.

빅데이터는 고객들이 어떤 제품과 서비스를 소비하는 지에 대한 모든 정보가 담겨 있어, 이를 명확하게 분석하면 시장을 선도할 수 있다. 글로벌 컨설팅 회사 맥킨지가 “세계 빅데이터 시장은 2015년 1220억 달러에서 2019년 1870억 달러로 성장했다. 성장률은 연평균 11.3%에 달한다”라고 말한 것처럼, 이미 빅데이터는 ‘기업의 핵심 자산’으로 떠오르고 있다. 지난 해 말 블룸버그 통신이 세계 50대 중앙은행 관계자를 대상으로 설문조사를 한 결과, 정책 결정과 감독에서 빅데이터를 핵심자료로 사용한다는 응답자는 35%에 달했다. 그렇다면 기업들은 ‘어떻게’ 빅데이터를 분석하고 있을까.

출처=unsplash.com

최근 빅데이터 분야에서 가장 많이 언급되는 말 중 하나가 ‘데이터 사이언스(Data Science)’이다. 데이터 사이언스란 빅데이터 ‘수집’에 필요한 데이터 마이닝(mining), 프로세싱(processing) 기술을 포함해 ‘분석’을 위한 머신 러닝(machine learning) 기술 등 다량의 데이터에서 패턴을 찾아내고 의미 있는 정보를 뽑기 위한 기술들을 말한다. 쉽게 말해, 빅데이터를 수집하고 분석하기 위해 필요한 모든 기술을 활용해 인사이트를 발견하는 ‘방법론’이다.

물론, 과거에도 데이터를 분석하는 기술은 있었다. 하지만 이를 데이터 사이언스라 부르기는 어려웠다. 기존 데이터 분석은 분석 대상 가운데 일부 표본을 카테고리 별로 선정해 조사하는 방식이었다. 가령, 과거 기업들은 서울 거주자 1000명 정도를 대상으로 연령·성별·나이·지역 등의 카테고리를 나눠 설문조사를 진행하고, 이를 분석해 마케팅 비즈니스 전략을 펼쳤다. 모든 데이터를 수집할 수도 없고, 그 많은 양의 데이터를 분석할 기술도 없었던 시절의 이야기다.

출처=unsplash.com

하지만 데이터 사이언스는 다르다. 머신러닝과 딥러닝을 바탕으로 한 인공지능(AI) 기술이 발달하면서, 어마어마한 양의 빅데이터를 수집하고 분석할 수 있게 됐다. 현대카드는 최근 수치 위주의 정형 데이터 뿐만 아니라 그림·텍스트·영상 등 비정형 데이터도 처리할 수 있는 빅데이터 플랫폼(Big Data Plaform)을 만들었다.

현대카드 Big Data Platform팀 김방현 팀장은 “기존 데이터 분석 업무는 데이터웨어하우스(DW) 시스템으로 진행했고 정형 데이터만 수용할 수 있다는 한계가 있었다”며, “빅데이터 플랫폼 구축을 통해 정형 데이터를 넘어 비정형 데이터를 함께 분석할 수 있을 뿐만 아니라, 머신 러닝 또는 딥 러닝과 같은 인공지능 기술 활용이 가능해졌다”고 말했다.

그렇다면 빅데이터는 실제 비즈니스 현장에서 어떻게 활용될까. 글로벌 핀테크 업체 ‘크레딧테크놀러지(Credit Technology)’ ‘빅데이터스코어링(Big Data Scoring)’ 등은 빅데이터와 데이터 사이언스 기술을 활용해, 새로운 신용평가 모델을 만들었다.

기존 신용평가 모델이 고객 대출액 규모나 연체율 등 금융 거래 이력과 같은 재무적 정보를 기반으로 고객 신용도를 평가했다면, 빅데이터를 활용한 신용평가 모델은 고객들의 소셜미디어(SNS), 소비 행태 등 비재무적 정보까지 함께 고려해 고객 신용도를 판단한다. 예컨대, 대출 신청자의 소셜미디어에서 “부정적인 단어의 사용이 많다”라는 것이 빅데이터 수집, 분석을 통해 도출됐다면 신청자의 신용도에 대해 다시 한 번 고려하게 되는 것.

현재 중국 카드사들 또한 대출 고객의 동의 하에 고객 휴대폰에 담긴 데이터를 철저히 분석해 이 사람이 제대로 직장을 다니는지, 친구 관계는 어떤지, 게임 중독은 아닌지 등을 보고 있다. 중국의 카드론 평균 금리는 18% 수준인데, 휴대폰을 제출한 고객들의 경우 촘촘한 신용평가 덕분에 평균 금리가 12%까지 내려간다고 한다.

현대카드 또한 눈 여겨 볼 사례다. 현대카드는 700만 명 이상의 카드 회원과 250만 개의 가맹점, 연간 14억 건 이상의 거래에서 발생하는 데이터를 지니고 있다.

현대카드는 최근 결제 데이터를 분석해 그 결과를 바탕으로 고객 행동에서 의미 있는 패턴을 찾아내고 있다. 예컨대, 기존에는 서울 유명 호텔에서 식사한 고객이 있어도 단순히 호텔을 좋아하는 것인지, 해당 레스토랑을 선호하는 것인지 파악하기 어려웠다. 하지만, 이제는 데이터 사이언스를 활용해 어떤 취향을 지니고 있는 고객인지를 예측할 수 있다. 현대카드는 이 같은 방식으로 고객 개개인에게 최적화된 서비스를 제공할 계획이다.