본문 바로가기

728x90

데이터 마이닝

(5)

공공데이터 오픈API 사용하기(OPEN API)-[XML]코로나19 시*도 발생현황 google colab을 사용해서 python으로 데이터를 가져와보도록 하겠습니다! https://www.data.go.kr/tcs/dss/selectApiDataDetailView.do?publicDataPk=15043378 공공데이터활용지원센터_보건복지부 코로나19 시·도발생 현황 코로나19감염증으로 인한 시.도별 신규확진자,신규사망자,격리중인환자수,격리해제환자수등에 대한 현황자료 (이 제공자료는 관련 발생 상황에 대한 정보를 신속 투명하게 공개하기 위한 것으 www.data.go.kr 저는 '공공데이터활용지원센터_보건복지부 코로나19 시·도발생 현황' 오픈 API를 사용해보겠습니다. 0. 해당 API 사용을 위해 먼저 '활용신청'을 하기전에! 참고문서를 다운로드하거나, 스크롤을 아래로 내리면 출력결..

csv mysql 데이터 적재, import, insert, LOAD DATA LOAD DATA LOCAL INFILE 'C:User/Downloads/test.csv' INTO TABLE corona FIELDS TERMINATED BY ‘,’ #각 필드 구분 문자(csv의 경우 ','로 구분됨) ENCLOSED BY '"' #문자열 그대로 인서트될 수 있게 백슬래시를 빈 값으로 처리 LINES TERMINATED BY '\n' IGNORE 1 ROWS # 컬럼명이 포함된 첫 번째 줄은 생략 (@date,@type,@region,@new,@total) SET date=STR_TO_DATE(@date,"%Y-%m-%d"),type=@type,region=@region,new=@new,total=@total; 1.ENCLOSED BY '"' =>UNICODE CHARACTER INC..

데이터 시각화 공부 : numpy와 pandas numpy - 1,2,3차원(그 이상 고차원) 배열 처리에 특화 - scipy, pandas, scikitearn등의 데이터 사이언스, 머신러닝 플랙폼의 백본 역할 - TesorFlow, PyTorch등에서 텐서(Tensor)를 이해하는데 중요 pandas - 데이터 엔지니어링, 사이언스의 효과적인 플랫폼 - 그룹화, 조인, 피벗 등 데이터 분석의 강력함 - 머신러닝을 데이터 파이프라인으로서도 역할 Numpy 특징 최적화된 배열 처리 메모리, 오버헤드 최소화 효과적인 인덱싱 벡터화된 배열내 엘리먼트 연산 인터프리터 언어인 파이썬 단점을 극복 => 빠른 속도로 최적의 효율 루프 연산에서 장점 극대화 브로드캐스팅 : 모양(shape)가 다른 배열간 연산을 효과적으로 수행=>크기를 자동으로 맞춤, 확장 구조화..

데이터 마이닝 : 데이터 시각화 데이터 마이닝 과정 1. 목적결정 2. 데이터 수집 3. 데이터 탐색 및 정제 ( 데이터 시각화 ) 4. 데이터 마이닝 방법 결정 ( 분류 ) 5. 최종 모델 결정 6. 성능 평가 7. 적용 시각화 기술 데이터 마이닝 과정의 전처리 단계에 사용 데이터 클리닝 (Data Cleaning) 변수 생성과 선택 : 비슷한 변수끼리 묶어 새로운 변수, 필요없는 변수 삭제 추가적인 데이터 수집에서 유용한 변수, 측정치를 미리 선별하여 비용을 줄인다. 데이터 탐색을 위한 그래프 기본 차트 (범주) : 데이터의 구조, 변수의 양과 유형, 실측값의 크기*유형파악에 유용 - 선 그래프 : 시계열에서 자주 사용 - 막대 차트 (단일 변량) : 평균, 개수, 비율과 같은 통계치를 집단별로 비교 - 산점도 : 두 변수는 숫자 ..

데이터 마이닝 프로세스 개요 정보 가치 사슬(Information Value Chain) ① 데이터 = 객관적 사실(Fact) : 일련의 부호들(symbol)들에 의해 구성된 집합 ② 정보 = 데이터 + 시스템 : 데이터를 가공하여 정보를 생성 -> 정보의 가치는 사용자에 따라 변화(=주관적) ③ 지식 = 정보 + 경험 ④ 지혜 = 지식 + 직관 ⑤ 창조 = 지혜 + 상상력 데이터 마이닝의 핵심 아이디어 분류 ( A /B : 범주형) 예측 (값을 예측) 연관 규칙 (A->B : A이면 B이다.) 데이터 축소 (크기 축소 : 많은 종류를 다루는 것보다 적은 수의 묶음으로 다루는 것이 더욱 효율적) 데이터 탐색 (데이터에 어떤 의미가 내재되어 있는지 => 데이터를 잘 이해하기 위해서는 데이터의 규모, 차원을 축소 =>서로 상관관계가 큰..

이전 1 다음

728x90

티스토리툴바