올리비아 코딩스쿨

목차 오늘은 Azure를 이용해서 자연어처리를 한다. Microsoft Azure에서 cognitive, translator 리소스 추가하기 endpoint, API_key를 각각 받기 한글 문서, 영어 문서 text 문서로 준비하기 jupyter notebook 설치하기 1. 리뷰 문서 보기 review1. txt review2.txt import os # /data/reviews 폴더에 있는 리뷰들을 읽는다. reviews_folder = os.path.join('data', 'text', 'reviews') # ID(파일 이름)과 텍스트 (내용)속성들로 구성된 리뷰들의 컬렉션을 생성한다. reviews = [] for file_name in os.listdir(reviews_folder): revi..

목차 OCR API 광학 문자 인식 Optical character recognition 실시간 반응 다양한 언어도 인식 -텍스트의 위치 검색, 이미지에서 텍스트 추출 CNN -문자 분석 RNN - 소량의 텍스트를 빠르게 인식 - 문자 중심 READ API -비동기적 처리 -대량 문서 처리, 긴 글 중심 리소스 만들기 portal.azure.com 리소스 삭제 마지막에 제일 신경써야 할 것은!! 리소스를 지우는 것이다. 아니면 유료요금 부과..!

Azure를 이용하여 computer vision, custom vision을 연습한다. classification과 detection을 연습한다. 이것은 본인의 기록용으로 사용하는 것이라, 친절한 설명이 되지 않다는 것을 미리 말씀드린다. 아래의 사이트에 접속한다. https://portal.azure.com/ Microsoft Azure portal.azure.com 리소스> computer vision > 만들기 >free F0 key, endpoint 확인하기 같은 형식으로 custom vision 만들기 사이트 접속 https://www.customvision.ai/ Custom Vision - Home Upload Images Bring your own labeled images, or use..

군집은 비지도학습이다. Azure classic에서 지원하는 군집 모델은 k-means 밖에 없다. 결과도 그렇게 좋지 않다. 다양한 random seed와 normalizing 방법, data cleansing을 달리하여 최적의 군집을 찾아내야 한다. 실제로 잘 되지는 않았다. 이전과 차이점은 Train model에서 clustering에 최적화된 train clustering model을 써야하며 data를 군집으로 분류하는 assign data to clusters 을 마지막에 해준다는 점이 다르다.

목차 1. 분류 모델 만들기 ★ dataset 업로드 Datasets> New> diabets.csv upload ★ select columns in dataset -id제외 ★ normalize data- minmax, diabet 제외 ★ split data ★ two-class logistic regression modeling ★ train model ★ score Model -> train 된 모델을 가지고, 데이터를 집어 넣었을 때 예측값과 실제값 비교 여기서는 probabilities 확률값을 기반으로 예측을 한다. ★ evaluate model -> 스탠다드한 roc 커브를 통해 평가를 하는데, ☆ 임계치 thredshold 임계치를 조절하면 아래의 요소들의 값이 변한다는 것을 안다. 즉,..