빅데이터 - 데이터 분석 유형

1. Descriptive analisys 기술적 데이터 분석 주어진 데이터를 요약/집계해서 결과를 도출 과거의 데이터를 단순 계산/집계해서 얻은 사실이므로 분석 결과를 따로 해석하지 않는다 이달의 매출액, 평균 세션 타임, 설문조사의 남녀비율 등 시각화 : 그래프(Pie chart, Box plot, Bar plot), 요약 형식의 테이블 2. Exploratory analysis(EDA) 탐색적 데이터 분석 REF EDA(Exploratory Data Analysis) 탐색적 데이터 분석 데이터를 분석하기 전에 그래프나 통계적인 방법으로 자료를 직관적으로 바라보는 과정 주요 목표 : 여러 변수 간 트렌드나 패턴, 관계를 찾는 것 그래프를 통한 사실 확인이 주된 작업 : 주로 Plot 데이터 분석 초기..

2021.11.13

빅데이터 - 데이터 분석

데이터 분석가 REF 데이터 분석가(Data scientist)에게 꼭 필요한 4가지 역량 (2016.02.26) 데이터 싸이언티스트, 데이터 애널리스트, 데이터 엔지니어, 비즈니스 애널리스트 등 다양한 직군 → 여기에서는 데이터 분석하는 사람을 '데이터 분석가'로 통칭 필요한 역량 데이터에 대한 이해 데이터베이스에서 데이터 추출 능력 : RDBMS(SQL), MongoDB(JSON) 등 통계 및 분석 방법에 대한 이해 데이터 분석을 하기 위해서는 통계적 지식이 필수 다양한 분석 기법 습득 : 온라인 강의 참고{:target='_blank'} 지도학습, 비지도학습 영역 별로 사실 자주 사용되는 기본 분석 방법론 최신 분석 방법 습득 : Kaggle 또는 유명 데이터 분석가 블로그 팔로잉 등 다양한 방법으..

2021.11.13

[seaborn] 그래프 설정

seaborn을 통해 데이터의 시각화 분석을 할 때 조정할 수 있는 설정을 보자. seaborn 호출 %matplotlib inline import seaborn as sns 그래픽 스타일 설정 style whitegrid darkgrid sns.set(style='whitegrid') 그래프 사이즈 설정 import matplotlib.pyplot as plt plt.figure(figsize=(15, 5))

2020.02.05

[pandas] 데이터 출력 시 중복 값 제거하고 출력하기

데이터 값을 다양하게 가공해서 테스트해보고 싶을 때 dataframe을 출력하면 순서대로 처음/끝에서 임의의 데이터 중 일부만 보여준다. 그러면 생각한 규칙을 테스트하기 불편하다. 그래서 여러 경우의 값을 비교해보고 싶어서 중복을 제거해서 다양한 경우의 데이터를 보고 싶어졌다. 기준이 되는 컬럼명으로 중복 제거한 데이터를 보고 싶을 때 아래처럼 사용할 수 있다. 데이터.drop_duplicates('컬럼명', keep='first') Signature: train.drop_duplicates(subset=None, keep='first', inplace=False) Docstring: Return DataFrame with duplicate rows removed, optionally only consi..

2020.02.05

R vs Python

출처 : https://medium.com/@InDataLabs/r-vs-python-729ceaa15620#.r2lkjj362 R과 Python 무엇이 다른가요? R과 PYTHON의 비교 R과 Python은 프로그래밍 언어로, 본인이 학습하고자 하는 분야의 최종 목적(강의 수강 계기)과 결과물을 머릿속에 그려보고(혹은 업무 적용이 가능한가를 가늠해보고), 그것들이 R로 작성되었을 때와 Python으로 작성되었을 때 확장성과 활용성 측면에서 어느 언어와 툴이 더 유리한지를 판단하는 것이 중요합니다. 또한, 프로그래밍 언어가 다르다고 해서 데이터 사이언스 자체의 이론이나 Theory가 변하는 것은 아니니 한 가지를 중점적으로 학습해 놓으면 다른 프로그래밍 언어를 학습하시기에 매우 수월합니다. R R은 연구..

2020.01.19