데이터 마이닝 : 데이터 시각화

데이터 마이닝 과정 

1. 목적결정

2. 데이터 수집

3. 데이터 탐색 및 정제 ( 데이터 시각화 )

4. 데이터 마이닝 방법 결정 ( 분류 )

5. 최종 모델 결정

6. 성능 평가

7. 적용

 

시각화 기술

• 데이터 마이닝 과정의 전처리 단계에 사용
• 데이터 클리닝 (Data Cleaning)
• 변수 생성과 선택 : 비슷한 변수끼리 묶어 새로운 변수, 필요없는 변수 삭제
• 추가적인 데이터 수집에서 유용한 변수, 측정치를 미리 선별하여 비용을 줄인다.

데이터 탐색을 위한 그래프

기본 차트 (범주)  : 데이터의 구조, 변수의 양과 유형, 실측값의 크기*유형파악에 유용 - 선 그래프  : 시계열에서 자주 사용 - 막대 차트 (단일 변량)  : 평균, 개수, 비율과 같은 통계치를 집단별로 비교 - 산점도  : 두 변수는 숫자 값을 가져야한다. 비지도 학습에서 두 가지 수치형 변수간의 정보 중복, 군집 식별과 같은 연관성을 밝히는 데 도움이 됨.

분포도 (분포) - 박스플롯   : y축은 변수, 박스는 데이터의 50%를 가지고 있다.   25위, 50위, 75위, '+'=평균,   박스 위아래 연장선은 데이터 범위의 나머지,   아웃라이어는 점으로 표시,  - 히스토그램(수치형 변수의 전체분포)  : 모든 x값의 출현 빈도를 나타냄.

선 그래프                                                 막대 차트                                                             산점도

 박스 플롯                                                                                    히스토그램                

 

 

 

다차원적 시각화

 

히트맵(Heatmaps) : 색으로 정보 전달

상관 관계, 결측 데이터

상관 관계	결측 데이터
색이 짙을 수록, 숫자의 절대값이 클수록 => 변수 사이 연관성이 높음 0.7=> 비례 / -0.7 =>반비례	결측값(값이 없는 것)만 색칠

• 변수 추가 : 색상, 크기, 모양, 멀티 패널, 애니메이션
• 차트 조절 : 스케일 조절, 집계와 계층구조, 확대*축소와 패닝
• 참고사항 :  추세선과 레이블
• 스케일 업 : 대용량 데이터 세트
• 다변량 차트 : 평행좌표계 차트
• 대화형 시각화

=>데이터를 더 높은 차원으로 표현하지 않고, 정보 이해를 돕는다.

범주형 - 색조 , 모양, 멀티 패널

수치형 - 색상 강도, 크기

시간 - 애니메이션

 

 

- 변수추가

색이 더해진 산점도                                      막대차트 멀티 패널                            산점도 매트릭스

 

 

- 차트 조절

밀접 형상 제거 , 변수사이의 선형 관계 드러냄.

 

- 스케일 업 : 대용량 데이터 세트

1. 샘플링 : 샘플을 무작위로 추출해서 차트를 그리는데 사용

2. 마커 사이즈를 줄임 ●→ ·

3. 투명한 마커 색을 사용 ●

4. 데이터를 분리해서 서브세트를 만듦 ( 멀티 패널 사용 )

5. 집계를 사용

6. 지터링을 사용 (지터링 : 소규모 난수로 마커 이동 -> 더 많은 마커가 보이도록하여 데이터의 밀집현상 제거)

 

 

- 다변량 차트 : 평행 좌표계 차트