Certificate/ADP 13

[ADP 데이터분석 - 통계편] 시계열분석, 시계열분해, ARIMA, SARIMA, auto SARIMA, 정상성, 정상성검정, ADF test, 신뢰구간 그래프 그리기, 차분

목차 시계열분석 일정한 시간 간격으로 표시된 자료의 특성을 파악하여 미래를 예측하는 분석 방법 종속변수: 연속형 독립변수: 연속형 >> 시간(week, day..) y=ax +b 회귀계수 a와 비슷한 역할을 하는 것: 추세변동, 계절변동, 순환변동, 불규칙변동 시간적 요인 >> ARIMA, SARIMA 로 설명 추세변동 Trend: x(시간)에 따라 y값이 달라지는 것. 계절변동 Seasonality: 특정 주기별로 같은 패턴을 보이는 파동의 형태 ex)기온- 봄>여름>가을>겨울 온도 변화 순환변동: 추세+계절, 일정한 주기를 가지고 추세를 따라간다. 외부 요인 >> 추세와 계절을 제거한 잔차를 가지고 설명 불규칙 변동 Residual: 위의 3가지 방법으로는 설명할 수 없는 변동 ex) 천재지변, 태풍..

Certificate/ADP 2023.10.27

[ADP 데이터분석 전문가- 통계편] 연관분석, run-test, 장바구니분석, apriori, transaction encoder, 연관규칙분석, 향상도, 지지도, 신뢰도

목차 연관분석 (Association analysis) 효과적인 상품 진열, 잘 팔리는 패키지 상품 개발, 교차판매 전략, 프로모션 기획상품 결정 등에 사용 Run-Test 연속적인 관측값을 보고 이것이 통계적으로 유의한지를 검정하는 기법이다. H0: 연속적인 관측값이 임의적이다. H1: 연속적인 관측값이 임의적이 아니다(즉, 연관이 있다) 두 상품 a, b의 구매패턴이 연관성 있는지 검정하시오. 구매패턴: ['b','b','b','b','b','b','a','a','a','a','a','b','b','a','a','a','a','b','b','b'] run test를 하려면 값을 수치형으로 바꿔야 함 또다른 방법 runstest 모듈 불러오기 / 결과해석 - help 참고 연관규칙분석 기업..

Certificate/ADP 2023.10.26

[ADP 데이터분석 전문가- 통계편] 군집분석, SOM, 자기조직화지도, Map, m, n, dim, 오분류표, confusion matrix

목차 SOM 자기조직화지도 Self- organizing Map 대뇌피질과 시각피질의 학습 과정을 모델화한 인공신경망으로 자율 학습에 의한 클러스터링 수행하는 알고리즘 Map size 설정(군집분석으로 SOM 사용할 때는 군집의 수를 차원의 수로 맞추기) 학습을 하며 Map이 수정되며 데이터분포형태에 중심을 이동하며 Map을 데이터에 맞게 근사시킨다. Map m: 그리드의 행, n: 그리드의 열, dim: c차원 SOM(m=3, n=1, dim=4)라면, SOM을 3x1 그리드 형태로 생성하고, 입력 데이터 차원은 4로 설정한다. 입력 데이터를 클러스터링하고, 차원축소하는데 사용한다. SOM은 입력 데이터를 그리드 내에 위치시키고, 학습을 통해 이러한 위치를 조정하며 입력 데이터 간의 유사성을 반영한다 ..

Certificate/ADP 2023.10.26

[ADP 데이터분석 전문가- 통계편] 군집분석, DBSCAN, 혼합분포, GMM, eps

목차DBSCANDensity based Spatial Clustering of Application with Noise밀도 기반 군집화의 대표 알고리즘으로 데이터 분포가 기하학적으로 복잡한 데이터 세트에 효과적임높은 밀도의 데이터 포인트의 군집을 형성하고, 밀도 낮은 지역은 노이즈 처리입실론 주변 영역의 최소 데이터 개수를 포함하는 밀도 기준을 충족시키는 데이터인 핵심 포인트를 연결하면서 군집화를 구성하는 방식알고리즘이 클러스터 개수 자동 지정입실론 eps : 주변 영역의 반경(얼마나 가까운 얘들을 같은 클러스터로 묶을 것인가) Min Pts : 해당 영역 내에 존재하는 최소 데이터 포인트 수 (적어도 몇 개 이상을 하나의 클러스터로 묶겠다는 뜻) 나머지 : 노이즈 처리 핵심 포인트이웃 포인트경계 포인트..

Certificate/ADP 2023.10.25