IT의 중심에서

나이 든 개발자가 살고 있는 IT 현장 이야기

빅데이터를 의미있게 만들기

가트너 그룹이 발표한 ‘2014년 10대 전략기술’에서 빅데이터가 빠졌습니다.
Gartner Hype Graph를 보면 2014년에는 빅데이터가 ‘환멸의 굴곡Trough of disillusionment’의 시기를 지날 걸로 예상되기 때문입니다. 하지만, 스토리지 비용이 점점 더 내려가고, 분석해야 할 데이터량이 증가하는 것을 고려할 때 빅데이터 기술은 점차 산업 필수 인프라로 자리잡을 것으로 생각됩니다.
이런 시기에 미국의 API 서비스로 유명한 Apigee가 ‘빅데이터를 어떻게 활용할 것인가?’에 대한 내용으로 블로그 게재했네요.

Apigee는 빅데이터 시스템을 만드는 것보다, 그것을 어떻게 활용하고 어떻게 가치있게 만들 것인가에 대해 더 관심을 기울여야 한다고 말합니다. 관련 종사자라면 많이들 공감하고 계실 듯 해서 번역해보았습니다.

※참고: ‘last mile’은 사형수가 집행장으로 걸어가는 마지막 거리를 말합니다. Apigee는 아래에서 데이터분석이 끝난 후에 이것을 실행하는데 옮기는 시간을 last mile로 표현했습니다. 매우 극적이고 재미있는 표현이라 생각되네요. 저는 ‘분석이후의 시간’이라고 번역했습니다.

2014 Gartner Hype Cycle

2014 Gartner Hype Cycle



※ 원문: The Importance of Making Your Big Data System Insightful
※ 저자: KUMAR SRIVASTAVA, 2013.10.13, APIGEE

기업 내의 중요한 데이터들만 만지다보면, 분석을 통해 새로 발견된 것을 굳이 가치있게 만들어야 할 필요성을 못 느끼게 된다.

물론, 데이터 분석을 통해 알게된 사실들이나 관찰결과들은 매우 흥미롭다.
그러나, 그것을 어떤 종류의 가치로 바꾸지 않는다면 사실 그다지 쓸모가 없다.
즉, 제품이나 서비스를 그만 쓰려는 고객들의 경험들을 조절하거나, 악의적 사용자들로부터 트래픽을 차단하기 위한 모델을 만들어야 한다.

기업데이터로부터 이런 보석들을 캐어내는 것은 신비한 예술처럼 보여질 수도 있다.
그러나 사실 그렇지 않다. 이 과정은 단지 수많은 단계와 고민들, 잠재적인 위험요소들 중의 하나일 뿐이다.
그러나, 결정권자들이 이런 프로세스가 어떻게 동작하는지,전략적 고민을 어떻게 데이터 분석에 반영시키는지 알게 되는 것은 매우 중요하다.
그래서, 처음부터 올바른 질문을 하는 것이 중요하다.
만일, 데이터 사이언스가 비즈니스 사이언스로 진화하지 못한다면 고립을 초래하게 되어 위험하다.

“전략을 수립할 때 인사이트 흐름도를 만들어라”

가설로부터 인사이트까지 흐름도를 그려보는 것은, 빠르게 트렌드를 감지하고, 새로운 제품을 만들고, 비즈니스 프로세스를 잘 조정할 수 있게 도와준다.

  • 그것은 ‘분석이후의 시간소모’를 빠르게 줄여준다.
  • 신규 제품이 가치있는 데이터를 기본적으로 만들어낼 수 있도록 ‘데이터 우선 전략’을 구축하라.
  • 사용자경험 개선을 위해 인사이트를 현장에 적용하는데 ‘제휴’가 어떻게 활용할지 고민하라.

1.인사이트 흐름도를 만들어라.

광범위한 비즈니스 목표, 질문, 가설부터 사업적 핵심적 의의까지의 거리를 표현하기 위해 챠트를 통해 인사이트 흐름도를 만들어볼 수도 있다.

이런 질문을 해볼 수 있다.
‘왜 우리는 유럽에서 계속해서 고객을 잃고 있는가?
아니면, iOS 유저의 수익성을 어떻게 증가시킬 수 있는가?’

이런 종류의 질문은 기한제약이나 특별한 기대가 없는 일반적인 데이터 탐구에서 첫번째로 던져야 할 질문이다.
특별한 기대나 기간제약은 ‘개방형 탐색’의 핵심인 ‘우연한 발견’을 어렵게 만들어버린다.

데이터 사이언티스트들은 가치있는 사업적 인사이트를 얻기 위해 이런 종류의 개방형 탐색에 참여한다.
물론, 조사시작 시점에는 어떤 종류의 인사이트를 얻게 될지 알지 못한다.
획득된 인사이트들은 ‘사업적 의사결정권자’들에게 제공되어져 결과가 해석되고 전략적 의사결정에 활용된다.

끝없는 개방형 탐색은 잠재적으로 부정적일 수 있다.
질문 수준이 낮으면 도출된 인사이트들은 불필요해지거나 이미 알고 있는 것이거나 아무런 가치도 없게 된다.
또는 ROI 가 매우 낮거나 아무런 결과도 없을 수 있다.
적절한 지침이 없다면, 데이터 사이언티스트는 숲 속에서 길을 잃어버리게 된다.

반면에, ‘폐쇄형 데이터 탐색’은 매우 정제되어 있고, 너무 사업의 기능 및 질문에 초점이 맞추어져 있다.
예를 들면 이런 이런 구체적인 질문이 가능하다.
‘온라인 상에서 매일 100달러 이상을 쓰는 고객이 있는가? 그들을 VIP로 분류하고 특별대우를 해주고 싶다.’
개방형 탐색에 성공하더라도 최종적으로 결과는 폐쇄형 대쉬보드로 만들어지게 된다.
폐쇄형 분석은 현재 프로세스에 삽입가능한 알고리즘이나 모델기반의 시스템을 만들 수 있게 한다.

위와 같은 질문들은 트래픽 기반의 빠른 의사결정이나 서비스를 가능하게 만들어준다.
만일 제대로 된다면, 추가개발을 하지 않아도 된다.

그러나, 폐쇄형 데이터 분석의 질문들은, 한정된 가치의 인사이트만을 만들어 낸다.
질문이 정해지는 순간부터, ‘인사이트의 부패’ 가 발생될 수 있다.
위의 ‘VIP 고객사례’로 돌아가보자, 인플레이션으로 일당 100달러 고객이 흔해져버린다면 어떻게 될까?
그 인사이트는 구식이 되어버린다. 즉, 지속적으로 결과를 갱신하고 확인할 필요가 있다.

위 사례는 지속적으로 모델을 튜닝하고, 때때로 개방형 탐색 과정에 새로운 질문과 가설을 던져보는 것의 중요성을 말해준다. 예를 들면, 이메일 스팸필터 시스템은 스패머들이 방식을 바꾸게 되면, 금방 효과가 사라져버린다. 반면, 밀폐형 시스템은 작은 변화에 대응하기 위해 전체를 바꾸어야 할 수도 있다.

2.분석이후의 시간을 효율화하라.

의사결정을 내리는 것은 사업에서 가장 도전적인 일이다.
직원들은 매우 편하게 배달되는 보고서를 보거나 여러 정보를 포함한 대쉬보드를 볼 수도 있다.
그러나, 그런 정보에 기반해서 행동 계획을 결정하는 것은 쉽지 않다.
수많은 인사이트, 그러나 한정된 의사결정들은 점차 사업가치를 깍아먹을 수 있는 ‘시간 지연’을 만들어 낸다.

‘분석이후의 시간’이란 선택된 인사이트를 실제 사업에 사용하기 위한 ‘시간과 노력’을 말한다.
당신은 이미 빅데이터에 많은 투자를 했고, 모든 종류의 대쉬보드와 리포트를 받고 있을 수 있다.
그러나, 흥미로운 발견들이 실제 행동으로 이어지지 않아서, 결국 시스템이 쓸모없을 수도 있다.

분석학과 데이터 주도 문화의 가치는, 오직 ‘분석이후의 시간’을 빠르고, 효율적으로 채울 때 이루어진다.
그렇지 못하면, 비즈니스 효율성은 얻지 못하거나, 미실현된 비즈니스 가치는 잃어버리게 된다.

대개, ‘인간적 지연요소’에 책임이 있다.
인간적 지연요소란 1) 직원들이 정보를 모으고, 분석하고, 의사결정권자들에게 인사이트를 전달하는 시간과 2) 의사결정권자들이 행동패턴 내에서 협업 및 행동방침을 결정하는데 걸리는 시간을 말한다.

‘분석이후의 시간’을 효율화하기 위해서는, 데이터 수집, 분석, 의사결정에 이르는 프로세스를 매끄럽게 만드는 노력과 투자가 필요하다.

3.데이터 우선전략을 수행하라.

새로운 제품이나 서비스를 정의하고 설계하는 시점에, 데이터 생성, 수집, 분석, 제품 최적화는 맨 나중에 고민하고 싶을 것이다. 하지만, 반드시 맨 처음에 하라.

데이터 우선 전략은, 사용자 경험을 개선시키기 위한 인사이트를 얻기 위해, (전체 그림에서) 제자리에 적절한 기술을 삽입할 수 있게 만든다. 어떤 종류의 데이터를 수집할지 미리 고민해두는 것은, 신규 제품이나 서비스가 모멘텀을 얻기 시작하는 시점에도 방심하지 않게 해준다.

데이터수집을 위해 고민해야 할 것들이 다음과 같다.

  • 사용자 액션, 인터랙션, 과금 트랜잭션, 정보요청, 메뉴 내비게이션 로그 데이터
  • 사용자, 기업, 제휴사들에게 유용한 정보를 포함하는 사용자 속성 데이터
  • 제품, 서비스, 사용자 위치정보 등에 의해 만들어지는 소셜네트워크 컨텍스트 데이터

데이터 수집하기 위한 ‘방법론’을 정하느라 시간을 보내지 마라.
운영하면서 사용자 경험 개선을 위해 튜닝할 수 있도록 준비하는게 더 낫다.

4.제휴를 고려하라.

사용자 경험을 최적화하고 개선을 통해 회사의 이익을 실현하는데까지 가려면, 수많은 기술과 기능들이 요구되어 진다.
그러나, 일반적으로 이런 수많은 기술들은 핵심 경쟁력이 아니다. 제휴는 사용자 경험을 개선하기 위해 외부로부터 전문성을 빌릴 수 있는 아주 훌륭한 방법이다.

기업이 제휴를 고민해야 할 영역은 다음과 같다.

  • 여러 채널 및 단말, 플랫폼 상에서 고객에게 컨텐츠를 제공하고, 매매, 거래하는 기능
  • 서비스, 제품의 User Transaction History에 접근하는 기능
  • 필요할 때 어디서든 사용자의 위치를 알 수 있는 기능 등

빅데이터 분석이 캐치프레이즈가 되는 이유가 있다.
그것은 사용자 경험과 기업이익을 향상시킬 수 있는 놀랍도록 강력한 도구이기 때문이다.

그러나, 사업 결정권자들이 프로세스와 전략적 고민들을 잘 이해하고, 인사이트가 얻어지면 빠르고 단호하게 움직이는 ‘중요성’을 잘 인지한다는게 더욱 중요하다.
그렇지 않으면, 사업은 가치있는 인사이트를 발견하고, 가치있는 행동을 하기보다, 무의미한 ‘데이터 사이언스’라는 수렁에 빠져버리기 쉽다.

Advertisements

빅데이터를 의미있게 만들기”에 대한 1개의 댓글

  1. Jane
    2014년 2월 16일

    Jaen's Blog에서 이 항목을 퍼감.

답글 남기기

아래 항목을 채우거나 오른쪽 아이콘 중 하나를 클릭하여 로그 인 하세요:

WordPress.com 로고

WordPress.com의 계정을 사용하여 댓글을 남깁니다. 로그아웃 / 변경 )

Twitter 사진

Twitter의 계정을 사용하여 댓글을 남깁니다. 로그아웃 / 변경 )

Facebook 사진

Facebook의 계정을 사용하여 댓글을 남깁니다. 로그아웃 / 변경 )

Google+ photo

Google+의 계정을 사용하여 댓글을 남깁니다. 로그아웃 / 변경 )

%s에 연결하는 중

정보

이 엔트리는 2013년 11월 4일에 님이 API와 기술, 번역글에 게시하였으며 , , 태그가 지정되었습니다.

내비게이션

%d 블로거가 이것을 좋아합니다: