올리비아 코딩스쿨

데이터 전처리 중 업샘플링, 이상치 탐지, 상관관계 분석, 머신러닝 모델에 입출력을 위한 차원변환에 대해 알아본다.   목차 1. 이상치1) 박스플롯 2) quantile25%위치 : quantile(0.25)75%위치 : quantile(0.75)# iqr = 75% - 25%percentile25 = data.video_like_count.quantile(0.25)percentile75 = data.video_like_count.quantile(0.75)iqr = percentile75 - percentile25# max = 75% +1.5*iqrup_limit  = percentile75 +1.5*iqr# 이상치처리data.loc[data.video_comment_count>up_limit,'vid..

데이터 시각화 위한 다양한 그래프와 구체적인 파라미터를 살펴본다. 목차1. pie 파이차트 1) 단일 파이차트autopct, startangle, legend, locclaim = data2.iloc[:3]opinion = data2.iloc[3:]import matplotlib.pyplot as pltplt.figure(figsize=(10, 5))plt.pie(claim['percent'], labels=claim['author_ban_status'], autopct='%1.2f%%', startangle=90)plt.legend(labels=claim['author_ban_status'], loc='best')plt.show()  2) subplot 그리기fig, ax = plt.subplots(1..

이번 편에서는 pandas가지고 데이터전처리 하는 방법을 공부해본다. 빅분기 ADP 데이터분석 시험 공부 요약 이라고 생각하면 좋다. 시작해보자!   목차 1. null값1) null값 찾기★  isnull()  = isna() : Null인것이 True★  notnull() : NotNull인것이 True 2) 개수 구하기★ sum()axis = 0axis = 1 축의 방향에 따라 sum()의 값이 달라짐 3) 제거★ dropna()axis=0, axis=1 이냐에 따라 제거되는 방향이 달라진다. 기본은 axis=0이다. 누락 행을 삭제axis=1은 누락 열을 삭제 ★ subset= [컬럼이름] 전체가 아니라 특정 열만 한정하는 경우는 subset을 쓴다. ★ how = 'any', 'all' ?any..

이번에는 빅분기 시험 공부, ADP 시험 준비 하며 필수적인 pandas 공부 요약 정리해보도록 한다. 목차# pandas 라이브러리import pandas as pdimport numpy as np# 시각화 라이브러리import matplotlib.pyplot as pltimport seaborn as sns# 행 /열 최대로 보기pd.set_option('display.max_rows',None)pd.set_option('display.max_columns', None)# 경고 무시import warningswarnings.filterwarnings("ignore") 0. 외부파일불러오기1) csvpd.read_csv(" 이름.csv", header=?, index_col= ?)index_col 이용..

목차오늘은 트랜스포머 모델 쉽게 설명 시간을 갖도록 한다. 자연어처리 분야에서 트랜스포머 모델은 아주 자주 쓰이며, 자주 쓰일 수 밖에 없다. 데이터를 모으는 것도, 빅데이터를 처리하는 것도 개인으로서는 아주 힘든 일이기 때문에 전이학습의 일종인 트랜스포머 모델을 쓸 수밖에 없다. 트랜스포머 모델 쉽게 설명하여 어떤 과정으로 언어를 이해하고, 생성해내고 판별하는지 확인해보자.  1. 트랜스포머 모델 아키텍처트랜스포머 transformer를 언어를 이해하고 변환하는 로봇이라고 생각하자. 이 로봇은 두 가지 중요한 도구를 가지고 있다. 인코더와 디코더. 이 두 가지를 이용해 문장을 읽고, 이해하며, 새로운 문장으로 변환한다. 1) encoder- 로봇의 귀와 같은 역할이다. 우리가 평상시 쓰는 언어, 즉 자..