1. 빅데이터 분석 방안 수립
(1) 데이터 분석 기획의 이해
- 실제 분석을 실행하기 전 분석 과제를 정의하고 의도한 결과를 도출할 수 있도록 관리방안을 사전에 계획하는 것
- 데이터 분석의 3요소 : 데이터, 분석 모델, 분석가
- 4가지 분석 주제 발굴 방법 : 최적화, 솔루션, 통찰력, 발견
| 구분 | 분석 대상 인지 : 하향식 접근법 | 분석 대상 미인지 : 상향식 접근법 |
| 분석 방법 인지 | 최적화 | 통찰력 |
| 분석 방법 미인지 | 솔루션 | 발견 |
- 분석 기획 시 고려 사항 : 가용 데이터, 활용 방안 및 유스케이스, 장애 요소 사전 계획 수립
- 방해 요소 : 고정 관념, 편향된 생각, 프레이밍 효과(인식의 왜곡)
(2) 데이터 분석 마스터 플랜
- 수행과제 도출 > 우선 순위 도출 > 단기 세부 이행 계획 > 중장기 분석 로드맵 수립
- 분석 마스터 플랜 : 분석 과제의 우선 순위, 적용 범위 및 방식 결정
(3) 분석 문제 정의
- 분석 과제 탐색 방법 : 하향식(Top-Down), 상향식(Bottom-up)
- 하향식 접근법 : 비즈니스 모델 탐색 기법, 분석 기회 발굴 범위 확장, 외부 모델 참조 문제 탐색, 분석 Use Case
- 상향식 접근법 : 지도 학습, 비지도 학습, 프로토타입
- 하향식 접근법 순서 : 문제 탐색 > 문제 정의 > 해결방안 탐색 > 타당성 검토
- 문제 탐색 단계
① 비즈니스 모델 탐색 기법 : 캔버스 9 block을 5가지로 단순화한 탐색 기법, 감사와 규제, 지원 인프라 영역에 대한 기회 도출
② 분석 기회 발굴 범위 확장 : 기업 내부의 문제에서 벗어나서 거시 환경과 산업 환경까지 감안하여 기회를 도출하는 방법
③ 외부 모델 참조 문제 탐색 및 유스케이스 : 같은 업계에서 생긴 문제를 탐색(브레인스토밍), 분석을 적용했을 때 업무의 흐름상 발생하는 문제를 시나리오화하여 정의
- 문제 정의 단계 : 식별된 비즈니스 문제를 데이터의 문제로 변환, 정의하는 단계
| 구분 | 기존 시스템으로 가능 | 기존 시스템으로 불가능 |
| 분석 역량이 있음 | 기존 시스템과 인력으로 수행 | 시스템 고도화 |
| 분석 역량이 없음 | 역량 확보 : 교육, 채용 | 전문 업체 아웃 소싱 |
- 타당성 검토 단계 : 경제적 타당성(시스템, 인력, 유지보수와 경제적 가치 비교), 데이터 및 기술적 타당성(분석 수행 가능성 확인)
- 상향식 접근법 : 분석 대상을 모를 경우, 원천 데이터로부터 통찰과 지식을 얻는 접근 방법
- 상향식 접근법 순서 : 프로세스 분류 > 프로세스 흐름 분석 > 분석 요건 식별 > 분석 요건 정의
- 프로세스 : 가치 사슬-메가 프로세스-메이저 프로세스-단위 프로세스
① 지도 학습 : 정답이 있는 데이터를 활용하여 분석 모델 학습, 머신러닝/의사결정 트리/분류 분석/인경신경망 모형
② 비지도 학습 : 정답이 없는 데이터를 활용하여 분석 모델 학습, 비슷한 특징을 가진 데이터로 군집화, 장바구니 분석/군집 분석
③ 프로토 타입 분석 : 시행착오 해결법, 문제 정의가 불명확하고 새로운 경우 활용, 한번의 분석으로 의도한 결과가 나오기 어려운 빅데이터 분석 환경에서 유용
(4) 우선 순위 평가
- 우선 순위 선정 절차 : 분석 과제 도출 > 우선순위 평가 > 우선 순위 조정 및 확정
- 전략적 중요도(필요성, 시급성), 실행 용이성(투자, 기술)
- ROI를 이용한 우선 순위 평가 : 시급성(비즈니스 가치), 난이도(투자 비용 요소 : 데이터 규모, 종류, 처리 속도)
- ISP(Information Strategic Planning) : 조직 내외부 환경과 사용자의 요구를 분석하여 시스템 구축 우선순위를 정하는 중장기 마스터 플랜 수립 절차
- SI(System Integration) : 시스템 구축의 의미, 전산 시스템을 필요로 하는 원청사업자로부터 아웃소싱을 받아 기획 개발 유지보수하는 업종
- SM(System Management) : 시스템 운영 및 유지보수
(5) 데이터 분석 로드맵
- 분석 체계 도입 > 유효성 검증 > 확산 및 고도화
- NCS 기반 절차 : 분석 요건 정의 > 데이터 확보 > 데이터 탐색 > 모델링 > 결과 적용
(6) 데이터 분석 방법론
- 주어진 과제를 해결하기 위해서 조직이 수행해야 할 절차
- 절차, 방법, 도구와 기법, 탬플릿과 산출물
- 형식화 > 체계화 > 내제화
- 폭포수 모델 : 순차적 진행, 오류 발생 시 발생한 과정으로 회귀하여 재진행
- 프로토 타입 모델 : 사용자 중심 개발, 고객 요구 시스템의 주요 기능 일부분을 우선 구현한 초기모델 개발
- 나선형 모델 : 개발 단계를 반복적으로 수행, 위험을 최소화, 많은 시간이 소요되고, 관리가 어려움
- 데이터 분석 방법론 : 통계적 방법론, 데이터 마이닝 방법론, 빅데이터 방법론
- KDD(Knowledge Discovery in DataBase) : 데이터 세트 선택 > 데이터 전처리 > 변환 > 마이닝 > 결과 평가
- CRIST-DM : 업무 이해 > 데이터 이해 > 데이터 준비 > 모델링 > 평가 > 전개
- 계층적 프로세스 모델(3단계) 단계 < 태스크 < 스탭
- 빅데이터 분석 방법론 5단계 절차 : 분석 기획 > 데이터 준비 > 분석 > 시스템 구현 > 평가 및 전개
- 주요 산출물 : 요구사항 정의서, 업무 분업구조(WBS), 프로그램 목록, 데이터 정의서, 개체-단계 다이어그램(ERD), 클라우드 자원 명세서
(7) 데이터 분석 프로젝트 관리
- 분석 프로젝트 특성 : 분석가의 목표, 조정가 역할, 프로젝트 관리 방안 필요
- 관리 속성 : 데이터 양, 데이터 복잡성, 분석 속도, 분석 복잡성, 정확도, 정밀도
- 관리 영역 : 통합, 이해 관계자, 범위, 자원, 시간, 원가, 리스크, 품질, 조달, 의사소통
2. 빅데이터 분석 작업 계획
(1) 데이터 확보 계획
- 데이터 확보 고려사항 : 데이터 위치, 데이터 유형, 수집 기술, 분석 방법, 비식별화
- 분석 데이터 확보 계획 : 목표 정의 > 요구사항 도출 > 예산안 수립 > 데이터 확보 계획 수립
(2) 데이터 분석 절차
- 분석 기획 : 비즈니스 이해 및 범위 설정 > 프로젝트 정의 및 계획 수립 > 프로젝트 위험 계획 수립
- 분석 기획 세부 단계 : 비즈니스 이해, 프로젝트 범위 설정, 프로젝트 정의, 프로젝트 계획 수립, 프로젝트 위험 계획 수립
- 데이터 준비 : 필요 데이터 정의 > 데이터 스토어 설계 > 데이터 수집 및 정합성 점검
- 데이터 준비 세부 단계 : 데이터 정의, 데이터 획득 방안 수립, 정형 데이터 스토어 설계, 비정형 데이터 스토어 설계, 데이터 수집 및 저장, 데이터 정합성 검증
- 데이터 분석 : 데이터 준비 > 텍스트 분석 > 탐색적 분석 > 모델링 > 모델 평가 및 검증 > 운영 방안 수립
- 데이터 분석 세부 단계 : 비즈니스 룰 확인, 분석용 데이터 세트 준비, 텍스트 데이터 확인 및 추출, 분석, 탐색적 데이터 분석, 데이터 시각화, 데이터 분할, 데이터 모델링, 모델 적용 및 운영방안 작성, 모델 평가, 모델 검증, 운영 방안 수립
- 시스템 구현 : 설계 및 구현 > 시스템 테스트 운영
- 시스템 구현 세부 단계 : 시스템 분석 및 설계, 시스템 구현, 시스템 테스트, 시스템 운영 계획, 모델 발전 계획 수립, 프로젝트 성과 평가, 프로젝트 종료
- WBS(Work Breakdown Structure) 주요 특징 : 세분화, 진척관리, 가시성, 선후 관계 정의, 산출물 중심