블로그

가설(Hyphothesis) 모수에 대한 예상, 주장, 또는 단순한 추측 귀무가설 또는 영가설(Null Hypothesis, H0) 통계학에서 처음부터 버릴 것을 예상하는 가설이다. 대립가설(Alternative Hypothesis, H1) 귀무가설에 대립하는 명제이다. 즉, 귀무가설에 반대되는 가설이다. 가설검정 증거를 수집하여 가설이 맞는지 확인하는 단계 유의수준 객관적인 증거가 95% 필요하다. 그런데 그렇다고 해서 꼭 그런것이 아니다. 이럴때 발생하는 것이 오류이다. 유의확률 귀무가설을 가정하였을 때 표본 이상으로 극단덕인 결과를 얻을 확률이다. 실험의 유의확률은 0~1 사이의 값을 가진다. p-value 관찰된 데이터가 귀무가설과 양립하는 정도를 0에서 1사이의 수치로 표현한 것이다. p-val..

데이터 품질 관리 (DQM, Data Quality Management) 데이터 클린징이라고도 불리며, 데이터에서 잘못된 부분을 수정하고 높은 퀄리티를 가지게 관리 및 개선하는 활동 이상감지 (ANOMALY DETECTION) 말 그대로 이상한 것을 찾는 것 시간 또는 순서가 있는 프름에 따른 패턴이 보편적인 상황 또는 보편적이 패턴들과 다른 것들을 찾아내는 것이다. 아웃라이어 감지 (Outlier Detection) 시간과 관련이 없이 대상을 표현하는 숫자들의 위치를 보고 보편적인 대상과 벗어난 것을 찾아내는 것. 출처 http://intothedata.com/02.scholar_category/anomaly_detection/ 2019-04-12

변수 범주형(Factor) : 연산이 가능X ex) 성별, 생년월일 등등 연속형(Numberic) : 연산이 가능O ex) 성적, 키 등등 변수 타입을 사용하는 이유 함수에 따라 적용할 수 있는 변수 타입이 다르기 때문. 다양한 변수 타입 Data Type 의미 값 numberic 실수 1, 12.3 integer 정수 1L, 23L complex 복소수 3 + 2i character 문자 "male", "123" logical 논리 True, FALSE, T, F factor 범주 1, 2, a, b Date 날짜 "2010-12-10", "19870204" 데이터 타입(Data Type)을 사용하는 이유 컴퓨팅 파워를 효율적으로 쓰기위해서 데이터 연산에서 안정성을 확보하기 위해 데이터 구조 데이터 구..

3주차 데이터를 통한 의사결정의 과정데이터 가지고오기 데이터 모양 확인 데이터 타입 확인 데이터 기초 분석 데이터 클랜징데이터 시각화 이러한 과정을 거친 데이터를 가지고 의사결정을 한다. 올바른 데이터 분석의 중요성무인자동차를 예시로 들어보자. 무인자동차는 하루에 4,000GB에 해당하는 데이터를 만들어내고 수집한다. 이렇게 많은 데이터를 중에서 필요한 데이터를 골라낼 수 있어야한다.따라서 올바른 데이터 분석 방법을 익혀야한다. 출처https://www.networkworld.com/article/3147892/one-autonomous-car-will-use-4000-gb-of-dataday.html가천대학교, 이영호 교수님, 확률과 통계

1주차 데이터 시각화(Data Visualization)데이터를 좀더 유용하거나 쉽게 알아보기 위해서는 비교가 필요하다. 데이터 시각화의 중요성 시각화 정보는 일반 텍스트 기사보다 30배 이상의 효과를 준다시각화 정보는 다른 콘텐츠보다 소셜 네트워크 공간에서 40배 이상의 공유 효과를 본다. 데이터 시각화의 예시 수치만 보여주는 것 보다 비교를 통해서 보여주는 것이 훨씬 더 눈에 잘들어온다. 데이터 시각화의 과정 다음과 같은 과정을 통해서 데이터 시각화를 진행한다.이 중 가장 중요한 것이 있는데 바로 EDA!!! EDA(Exploratory Data Analysis, 탐색적 데이터 분석)란?-데이터를 가공하지 않고 있는 자체를 보여주는 것에 초점을 맞추어 분석하는 기법 참고 자료가천대학교, 이영호 교수님..