BIG DATA(17)
-
DataEngineer 03 - AWS 기초
보호되어 있는 글입니다.
2021.11.11 -
DataEngineer 02 - UNIX 환경 및 커맨드
보호되어 있는 글입니다.
2021.11.11 -
DataEngineer 01 - 데이터 아키텍처
보호되어 있는 글입니다.
2021.11.11 -
Jupyter Notebook Extensions
쥬피터 노트북 확장 프로그램 설치 설치 $pip install jupyter_contrib_nbextensions # 라이브러리 설치 $jupyter contrib nbextension install --user # 쥬피터노트북에 등록 설정 extension 설정 접속 http://localhost:8888/nbextensions 기능 추가 체크 박스 해제 : disable configuration for nbextensions without explicit compatibility 원하는 기능 체크 박스 설정해서 추가 확장 프로그램 추가 및 사용 Table of Contents : 쥬피터 노트북 목차 생성 Collapsible Headings : 구간 폴딩 참고 쥬피터노트북 확장 프로그램 설치하기(nb..
2020.02.05 -
[seaborn] 그래프 설정
seaborn을 통해 데이터의 시각화 분석을 할 때 조정할 수 있는 설정을 보자. seaborn 호출 %matplotlib inline import seaborn as sns 그래픽 스타일 설정 style whitegrid darkgrid sns.set(style='whitegrid') 그래프 사이즈 설정 import matplotlib.pyplot as plt plt.figure(figsize=(15, 5))
2020.02.05 -
[pandas] 데이터 출력 시 중복 값 제거하고 출력하기
데이터 값을 다양하게 가공해서 테스트해보고 싶을 때 dataframe을 출력하면 순서대로 처음/끝에서 임의의 데이터 중 일부만 보여준다. 그러면 생각한 규칙을 테스트하기 불편하다. 그래서 여러 경우의 값을 비교해보고 싶어서 중복을 제거해서 다양한 경우의 데이터를 보고 싶어졌다. 기준이 되는 컬럼명으로 중복 제거한 데이터를 보고 싶을 때 아래처럼 사용할 수 있다. 데이터.drop_duplicates('컬럼명', keep='first') Signature: train.drop_duplicates(subset=None, keep='first', inplace=False) Docstring: Return DataFrame with duplicate rows removed, optionally only consi..
2020.02.05 -
[통계학] 개념 정리
통계학(Statistics)의 정의 - 수량적인 비교를 기초로 많은 사실을 관찰하고 처리하는 방법을 연구하는 학문 - 불균형 데이터에서 의미를 찾고 실생활에서 적용 가능한 유용성을 찾아내 수치로 표현 - 특정집단이나 현상의 효율적인 자료를 얻어 합리적인 해석을 하는 것 기술 통계 (Descriptive Statistics) : 데이터를 대표하는 수치나 표, 그래프 등으로 요약하여 전체 특징을 파악하는 통계적 방법 : 표본에 대한 분석 결과의 각종 수치들을 활용하여 집단의 특성을 설명하는 것 eg.성장률, 취업률 등에 적용 가능 추리 통계 (Inferential Statistics) : 일부를 분석하여 관심 대상 전체에 관해 추측하고 일반화시키는 통계적 방법 : 표본을 활용하여 모집단의 특성을 나타내는 것..
2020.01.23 -
맥에서 Anaconda Python 설치 및 Jupyter Notebook 사용하기
Python 설치 데이터 분석이 목적인 경우 아나콘다(Anaconda)로 설치하기를 권장한다. 아나콘다로 설치하면 파이썬과 데이터 분석 관련 패키지의 설치 및 관리가 가능하다. Anaconda 설치 파일 다운로드 - https://www.anaconda.com/distribution/#download-section - version : 3.7 설치 - Anaconda3-2019.10-MacOSX-x86_64.pkg 실행 - 기본 설정값으로 설치 진행 ※ Windows의 경우 Select Installation Type : Just Me로 선택해서 로컬 계정에 설치하라고 한다. 단, 사용자 이름이 한글일 경우 All Users로 C 드라이브에 설치 진행. 다만 All Users로 설치할 경우 권한 문제가 ..
2020.01.19