[데이터분석 전문가/준전문가] 과목 1 - 3 장 - 가치 창조를 위한 데이터 사이언스와 전략 인사이트

개인적으로 한국데이터산업진흥원에서 출판한 데이터 분석 전문가 가이드를 읽으면서 정리한 내용입니다.

---

제 1 절 빅데이터 분석과 전략 인사이트

---

1. 빅데이터 열풍과 회의론

• 빅데이터 열풍이 일종의 거품현상으로 우려되는 빅데이터 회의론 시각 존재
• 빅데이터 성공사례로 설명하고 있는 많은 사례는 기존의 분석 프로그램을 포장해놓은 것이 대다수
• 빅데이터 회의론이 발생하는 이유?
→ 데이터에서 가치, 즉 통찰을 끌어내 성과를 창출하는 것이 관건이지만, 이를 달성하기 어려움

2. 왜 싸이월드는 페이스북이 되지 못했나?

※ 문제점: 싸이월드 내의 데이터 분석 기반 경영 문화의 부재
•데이터 분석에 기초해 전략적 통찰력을 얻고 효과적인 의사결정을 내리고 구체적인 성과를 만들어내는 체계의 부재
•페이스북, 링크드인의 경우 데이터 분석이 내부 의사결정에 중요한 영향을 미치는 반면, 싸이월드의 경우, 직관에 근거하여 의사결정을 하였음
•싸이월드 역시 OLAP와 같은 분석 인프라는 갖추고 있었지만, 분석 데이터가 직관을 토대로 내린 의사결정을 보조하는 수준에서 활용됨

※ 분석 기반 경영을 도입하지 못하는 이유
(1) 기존 관행을 그냥 따를 뿐 중요한 시도를 하지 않음
(2) 경영진의 의사결정은 정확성이나 공정한 분석을 필요로 하지 않으며, 오히려 정반대로 직관적 결정을 귀한 재능으로 칭송
(3) 분석적 실험을 갈망하거나 능숙하게 해내는 사람이 거의 없어, 적절한 방법조차 제대로 익히지 못한 사람들에게 분석 업무가 주어짐
(4) 사람들은 아이디어 자체보다 아이디어를 낸 사람이 누구인지 관심을 두는 경향이 존재

3. 빅데이터 분석, “Big”이 핵심이 아니다

• “빅”한 데이터를 보유하고 있으면 거기서 뭔가 쓸만한 것을 찾아내고 가치를 창출할 수 있을 것이라고 판단하지만, 더 많은 데이터가 더 많은 가치로 바로 연결된다고 볼 수 없다. 오히려 많은 정보는 혼란을 야기할 수 있다.
• 직관에 의한 의사결정보다 데이터에 기초한 의사결정이 중요함.
• 데이터의 양보다는 데이터의 유형의 다양성이 중요함: 빅데이터가 가져다주는 기회는 데이터의 크기보다는 음성, 텍스트, 로그, 이미지와 같은 다양한 정보 원천을 활용하는 것에 존재
• 데이터는 크기의 이슈가 아니라, 거기에서 어떤 시각과 통찰을 얻을 수 있느냐의 문제이며, 비즈니스의 핵심에 대해 보다 객관적이고 종합적인 통찰을 줄 수 있는 데이터를 찾는 것이 무엇보다 중요함.
• 빅데이터와 관련된 걸림돌: “비용이 아니라 분석적 방법과 성과에 대한 이해 부족 ”

4. 전략적 통찰이 없는 분석의 함정

• 한국의 경영문화는 분석을 국소적인 문제 해결 용도로 사용하는 단계에 머무르고 있으며, “빅”데이터는 고사하고 내부의 “스몰” 데이터도 제대로 활용하지 못하는 경우가 더 많다.
• 데이터 분석에 기초한 전략적 통찰력을 갖춘다는 것은 분석에 탁월한 능력을 가진 기업들도 쉽지 않음
• 자칫 일차원적이고 부분적인 분석을 통해 손쉬운 해결책만을 찾다가 전략적 통찰이 없는 분석이 갖는 함정에 걸릴 수 있다.
• 단순한 분석을 많이 사용하는 것이 곧바로 경쟁 우리를 가져다주지 않는다. 자칫 분석이 경쟁의 본질을 제대로 바라보지 못할 때, 아무짝에도 쓸모없는 분석 결과들만 잔뜩 쏟아내게 된다.

5. 일차적인 분석 vs 전략 도출 위한 가치 기반 분석

(1) 일차적인 분석 영역
• 주기적으로 업계에서 일어나는 일을 조사하고 경쟁사들의 활동을 꼼꼼히 살펴봄
• 일차적인 분석 활용은 중요한 시점에 경고해주고, 경쟁에서 뒤쳐지지 않고 변화화는 고객의 기대를 따라잡기 위해 무엇을 해야 할지 알려줌
• 일차원적인 분석을 통해서도 해당 부서나 업무 영역에서 상당한 효과를 얻을 수 있음
• 문제점: 일차원적인 분석은 대부분 업계 내부의 문제에만 포커스를 두고 있으며, 주로 부서 단위로 관리되기에 전체 비즈니스 성공의 핵심 역할을 기대하기 어려움

산업	분석 애플리케이션
금융 서비스	신용점수 산정, 사기 탐지, 가격 책정, 프로그램 트레이딩, 클레임 분석, 고객 수익성 분석
소매업	판촉, 매대 관리, 수요 예측, 재고 보충, 가격 및 제조 최적화
제조업	공급 사슬 최적화, 수요 예측, 재고 보충, 보증서 분석, 맞춤형 상품 개발, 신상품 개발
운성업	일정 관리, 노선 배정, 수익 관리
헬스 케어	약품 거래, 예비 진단, 질병 관리
병원	가격 책정, 공급, 수요 예측
커뮤니케이션	가격 계획 최적화, 고객 보유, 수요 예측, 생산 능력 계획, 네트워크 최적화, 고객 수익성 관리
서비스	콜센터 직원, 서비스/수익관리
정부	사기 탐지, 사례 관리, 범죄 방지, 수익 최적화
온라인	웹 매트릭스, 사이트 설계, 고객 추천
모든 사업	성과관리

(2) 전략 도출 위한 가치 기반 분석
•사업과 이에 영향을 미치는 트렌드에 대해 큰 그림을 그려야 함
• 인구통계학적 변화, 경제 사회 트렌드, 고객 니즈의 변화 등을 고려하며, 또한 대변화가 어디서 나타날지를 예측

---

제 2절 전략 인사이트 도출을 위한 필요 역량

---

1. 데이터 사이언스의 의미와 역할

• 데이터 사이언스에 대한 명확한 정의는 아직까지 존재하지 않음
• 데이터 사이언스에 대한 간단하게 참고할 만한 정리:  
“데이터 사이언스란 데이터로부터 의미 있는 정보를 추출해내는 학문이다. 통계학이 정형화된 실험 데이터를 분석 대상으로 하는 것에 비해, 데이터 사이언스는 정형 또는 비정형을 막론하고 인터넷, 휴대전화, 감시용 카메라 등에서 생성되는 숫자와 문자, 영상 정보 등 다양한 유형의 데이터를 대상으로 한다. 또한 데이터 마이닝이 주로 분석에 초점에 두고 있는 개념인데 반해, 데이터 사이언스는 분석뿐만 아니라, 이를 효과적으로 구현하고 전달하는 과정까지 포함한 포괄적인 개념이다. 이러한 관점에서 데이터 사이언스는 데이터 공학, 수학, 통계학, 컴퓨터 공학, 시각화, 해커의 사고 방식, 해당 분야의 전문 지식을 종합한 학문으로 정의하기도 한다. 데이터 사이언스가 기존의 통계학과 다른 점은 데이터 사시언스는 총체적 접근법을 사용한다는 점이다.”

• 데이터 사이언스의 개념에 대해, 대중을 포함한 많은 전문가들 역시, “전략, 통찰, 영감, 창조성, 인간에 대한 이해”와 같은 단어보다는 “빅데이터, 데이터 마이닝, 통계” 등을 많이 언급했다.
• 데이터 사이언스는 보다 총괄적이고 총체적인 접근법을 사용한다. 데이터 사이언스는 전략적 통찰력을 추구하고 비즈니스 핵심 이슈에 답을 하고, 사업의 성과를 견인해 나갈 수 있다. 이것이 단순한 데이터 분석과 데이터 사이언스를 가른다. 데이터 사이언티스트의 중요한 역량인 소통력도 사실 바로 여기에 근거해 길러진다.
ex) 링크드인의 “People you may know"

2. 데이터 사이언스의 구성요소

• 데이터 사이언스의 핵심 구성 요소:

핵심 구성 요소	설명
데이터 처리와 관련된 IT 영역들	- 시스널 프로세싱, 프로그래밍, 데이터 엔지니어링, 데이터 웨어하우징, 고성능 컴퓨팅
분석적 영역들	- 수학, 확률모델, 머신러닝, 분석학, 패턴 인식과 학습, 불확실성 모델링
비즈니스 컨설팅 영역	- 커뮤니케이션, 프리젠테이션, 스토리텔링, 시각화

• 데이터 사이언티스트: 빅데이터의 세계에서 의미 있는 발견을 할 수 있도록 훈련된 전문가
• 데이터 사이언티스트가 갖추어야 할 역량들

전문가	제시한 역량
DJ Patil	• 기술적 숙련도: 몇몇 과학 분야에 대한 전문적 지식 • 호기심: - 내부에 숨겨진 것을 알고자 하는 욕구 - 문제 해결을 위해 명확한 가설 집합을 만드는 능력 • 스토리텔링: 이야기를 전달하고 효과적으로 대화하기 위해 데이터를 활용하는 능력 • 영리함: 창의적 방식으로 문제를 다르게 보는 능력
Gartner	• 데이터 관리: 데이터에 대한 이해 • 분석 모델링: 분석론에 대한 지식 • 비즈니스 분석: 비즈니스 요소에 대한 초좀 • 소프트 스킬: 커뮤니케이션, 협업, 리더쉽, 창의력, 규율, 열정
Sunil Shirguppi	• 데이터 자체를 다루기 위한 능력  - 데이터 수집력  - 표준화  - 통계  - 모델링 • 데이터를 분석하여 의미있는 결과를 도출하고 이를 적용하기 위한 능력 - 호기심 - 직관력 - Visualization - Communication
John Rause	• 수학과 공학 능력: 데이터의 분석 및 이를 위한 솔루션 작동을 위해 필요 • 인문학적 소양  - 비판적 시각: 가설 수립 및 검증에 필수  - 글쓰기 능력 및 대화 능력: 분석 결과의 전달과 이해, 설득을 위해 필요 • 호기심 및 행복: 통찰력의 발휘 및 일에 대한 만족과 보람도 필요

• 데이터 사이언티스트의 요구 역량

■ Hard skill 1) 빅데이터에 대한 이론적 지시  : 관련 기법에 대한 이해와 방법론 습득 2)분석 기술에 대한 숙련  : 최적의 분석 설계 및 노하우 축적		■ Soft skill 3) 통찰력 있는 분석: 창의적 사고, 호기심, 논리적 비판 4) 설득력 있는 전달: 스토리텔링, Visualization 5) 다분야간 협력: Communication
	Analytics
IT 전문성		컨설팅 능력

3. 데이터 사이언스: 과학과 인문의 교차로

•  더 높은 가치를 창출해내고 진정한 차별화를 가져오는 것은 사고방식 (habits of mind), 비즈니스 이슈에 대한 감각, 고객들에 대한 공감능력 등 전략적 통찰과 관련된 소프트 스킬이다.
•  데이터 사이언스가 수행하는 전략적 통찰을 주는 분석은 단순한 통계분석, 데이터 처리와 관련된 지식만으로 이루어지지 않음
•  데이터 사이언스는 과학과 인문학의 교차로에 서 있다
  1) 통찰력 있는 분석은 직관과 전략, 경영 프레임워크, 경험 등이 혼합되어야 함
  2) 통찰력 있는 분석을 위해선 보다 큰 그림을 그릴 수 있어야 함
※ 따라서, 데이터 사이언티스트는 스토리 텔링, 커뮤티케이션, 창의력, 열정, 직관력, 비판적 시각, 글쓰기 능력, 대화 능력 등이 필요하다고 강조함.

4. 전략적 통찰력과 인문학의 부활

• 인문학 열풍이 분 이유 분석

이유	설명
단순 세계화에서 복잡한 세계화로의 변화	(a) 과거 세계화의 맥락: 단순 세계화   - 컨버전스(convergence)의 동역학이 작용   - 규모의 경제를 추구   - 글로벌 효율성이 화두   - 표준화 이성화가 주된 키워드 (b) 현재의 세계화   - Divergence의 동역학이 작용하는 복잡한 세계화   - 다양성과 각 사회의 정체성, 그 맥락, 관계, 연결성, 창조성 등이 키워드로 대두
비즈니스 중심이 제품 생산에서 서비스로 이동	(a) 과거 제품 생산 비즈니스   - 효용경제에 기초한 것으로 고장이 나지 않는 뛰어난 품질의 제품을 만드는 것이 핵심 (b) 현재의 비즈니스   - 체험 경제로 맥락이 바뀜   - 얼마나 뛰어난 고객 서비스를 제공하느냐가 더 중요   - 고객과의 관계 및 커뮤니케이션이 우선시   - 고객과의 인터페이스가 확대
경제와 산업의 논리가 생산에서 시장 창조로 바뀜	(a) 과거 단순한 세계화   - 생산과 관련된 기술이 중심에 놓여있음   - 기술을 가지고 대규모 투자를 통해 좋은 품질을 만들어 시장에서 파는 것   - 공급자 중심의 기술경쟁이 핵심   - 짧은 역사적 문화적 기반을 특징으로 함   - 암묵적(관습적) 지식과는 낮은 연관성을 가짐 (b) 현재의 세계화   - 새로운 현지화 패러다임에 근거한 시장 창조로 이동   - 현지 사회나 문화와 관련된 암묵적이고 함축적 지식과 같은 무형 자산이 중요해짐

• 소비자가 어디에서 재미와 편의를 느끼는지 이해하기 위해서는 창조과정에 주목하는 인문학적 통찰력이 필요해짐
• 기존 사고의 틀을 벗어나 문제를 바라보고 해결하는 능력, 비즈니스의 핵심 가치를 이해하고 고객과 직원의 내면적 요구를 이해하는 능력 등 인문학에서 배울 수 있는 역량이 더 절실히 요구됨

5. 데이터 사이언티스트에 요구되는 인문학적 사고의 특성과 역할

• 비판: 인문학의 정수
   - 비판이란 다른 사람의 생각을 헐뜯는 것이 아니라 그런 생각을 할 수 밖에 없도록 만들었던 것을 들춰내는 일을 의미
• 예술: 익숙하던 것들을 낯설게 만들고, 기존의 상식을 뒤집은 곳에서 출발
• 인문학이란?
   - 이미 주어진 지식이나 이를 정리해 주워 담는 것이 아니라, 어떻게 해서 우리가 그 지식으로 세상을 이해한다고 믿는가를 따지는 것, 우리가 어떻게 하다 그런 식으로 생각하게 됐느냐를 집요하게 따지는 것 자체
   - “왜 우리는 여태 이런 식으로 생각했나, 왜 우리는 세상이 그런 것인 줄만 알았나?” 하는 물음을 던지는 것
• 통찰력있는 분석의 요체
   - 계속해 질문들을 찾고, 검증 가능한 가설을 세우고, 실험을 거듭하는 것, 즉 집요하게 따지는 것
• 분석이 통상적으로 다루는 6가지 질문들

	과거	현재	미래
정보	무엇이 일어났는가? - 리포팅(보고서 작성 등)	무슨 일이 일어나고 있는가? - 경고	무슨 일이 일어날 것인가? - 추출
통찰력	어떻게, 왜 일어났는가? - 모델링, 실험 설계	차선 행동은 무엇인가? - 권고	최악 또는 최선의 상황은 무엇인가? - 예측, 최적화, 시뮬레이션

 

6. 데이터 분석 모델링에서 인문학적 통찰력의 적용 사례

• 인간을 바라보는 3가지 관점

관점	설명
타고난 성향의 관점	• 인간을 변하지 않는 존재로 상정
행동적 관점	• 현재의 신용리스크 모델은 인간을 행동적 관점에서 바라보고 있음
상황적 관점	• 통상적으로 특정 행동을 거듭하는 사람은 그 행동을 반복할 가능성이 높음 • 깨진 유리창의 법칙 • 인간을 보다 정확하게 판단하기 위해서는 단순하게 그 사람의 행동만을 관찰해서는 안되며, 그 사람이 놓여있는 상황과 맥락을 고려해야함

---

제 3절 빅데이터 그리고 데이터 사이언스의 미래

---

1. 빅데이터의 시대

전 세계에서 생성된 디지털 정보량이 2011년 기준으로 1.8 제타바이트
= 대한민국 모든 사람이 18만년도안 쉬지않고 1분마다 트위터에 3개의 글을 게시하는 양

2. 빅데이터 회의론을 넘어: 가치 패러다임의 변화

• 가치 페러다임의 측면:
경제와 산업의 근저에는 다양한 가치 원천이 존재한다. 이러한 가치는 무작위로 작용하는 것이 아니라, 특정 기간 지배적으로 작용한다. 이러한 가치 원천은 일정기간 패러다임적인 존재로 강력한 힘을 행사하다가 효력이 다하면 다음의 가치 패러다임에게 지배적인 지위를 넘겨준다. 많은 신기술, 신상품, 서비스들은 이러한 가치 패러다임의 작용 원리에 맞아 떨어질 때에 성공을 거두게 된다. 따라서 가치 패러다임은 부의 원천으로 작용한다고 볼 수 있다.

• 가치 패러다임의 3단계 구분

가치 패러다임의  변화 단계	설명
1. 디지털화 (Digitalization)	• 아날로그의 세상을 어떻게 효과적으로 디지털화하는가가 이 시대의 가치를 창출해내는 원천 ex) 빌게이츠의 워드, 파워포인트 등의 디지털화의 도구
2. 연결 (Connection)	• 새로운 시대에서 디지털화된 정보와 대상들은 서로 연결되기 시작함 - 이 연결을 얼마나 효과적이고 효율적으로 제공하느냐가 이 시대의 성패를 가름함 ex) 구글의 검색원리 - 학술논문의 평가 방식을 웹에 적용
3. Agency	• 복잡한 연결을 얼마나 효과적이고 믿을 만하게 관리해주는가? - 사물인터넷의 성숙과 함께 앞으로는 연결이 더 증가하고 복잡해질 것 ex) 에플워치, 구글 글래스 - 해당 기기들은 “에이전트 기능을 얼마나 잘 수행하느냐”를 핵심으로 함 • 에이전트 기능을 제대로 활용하기 위해선, 데이터 사이언스와 관련된 능력이 필수

3. 데이터 사이언스의 한계와 인문학

• 데이터 사이언스의 한계
1) 숫자들 역시 그것을 만들어 낸 사람들과 마찬가지로 거짓말을 할 수 있음
2) 분석 과정에서 가정 등 인간의 해석이 개입되는 단계를 반드시 거치게 됨
  - 특정 마케팅의 제안에 대한 응답률 15%: 해석하는 사람의 관점에 따라 중요도가 결정됨
3) 정량적인 분석이더라도 모든 분석은 가정에 근거함
  - 샘플의 무작위 선별, 데이터의 정규분포에 대한 믿음 등은 모두 일종의 가정
  - 대다수 모델들은 수집된 데이터의 범위 내에서만 정확하므로, 모델 범위 바깥에 있는 요인들을 판단하려다가는 큰 곤경에 처할 가능성 존재
  - ex) 2008년 글로벌 금융위기
4) 데이터 분석은 완벽하지 않음

※ 훌륭한 데이터 사이언티스트는 인문학자들처럼 모델의 능력에 대해 항상 의구심을 가지고, 가정들과 현실의 불일치에 대해 끊임없이 고찰하고, 분석 모델이 예측할 수 없는 위험을 살피기 위해서 현실 세계를 쳐다봐야 한다. 큰 그림을 그리고 경험과 세상에 대한 통찰력과 함께 분석을 활용하는 것을 잊지 말아야 한다.