데이터교육 17

Understanding data format, structuring data

목차 Discovering process 중에 이러한 질문을 던져보자. - 어떻게 이 많은 데이터를 더 작게 그룹짓고 쪼개어서, 더 깊이 이해할 수 있을까? - 내가 세운 가설을 어떻게 증빙할 수 있을까? - 현재 이와 같은 형식으로, 데이터가 내게 제대로 된 정답을 줄 수 있을까? 데이터에서 질문하고, 제대로 된 가정을 세우고, 가정을 테스트 해보는 것으로 데이터에서 유의미한 발견을 할 수 있다. 질문하고 가정을 세우는 과정은 많은 노력과 시간이 필요하지만 이것이 숨겨진 이야기를 발견하는데 결정적인 역할을 해줄 것이다. Organize or alter data 데이터를 조직하고 바꾸기 데이터를 조작해보자. 그룹을 지어보기도 하고, 합쳐보기도, 나눠보기도 한다. 형식을 바꾸기도 해보자. (예시) - Re..

Understanding raw data, 비정형 데이터 이해하기

목차 Understanding raw data 비정형화된 원래의 데이터를 이해해보자. data source, data formats, data types을 이해하는 것은 아래의 두 가지 질문에 대한 유효한 해답을 내놓을 수 있다. 첫째, 데이터를 보았을 때, PACE workflow에 따라 계획한 내용이 적절한가요? 둘째, PACE workflow에 따라 계획한 내용을 하기에 모아진 데이터가 충분한가요? 만약, 두 가지 질문에서 no라고 이야기한다면 data source로 가서 더 많은 데이터를 주문하여 확보해야 한다. 데이터를 통해 유의미한 결과를 내놓는 것은 재료를 가지고 요리하는 것과 같다. 만약 재료가 어디에서 왔는지 원산지를 알고, 재료가 어떻게 포장되어 왔는지 확인하고, 횟감인지 디저트감인지 ..

PACE framework, EDA, EDA process

목차 Data workflow structure ask> prepare> process > analyze> share> act 벤자민 프랭클린은 "By Failing to prepare, you are preparing to fail"이라고 말했다. 실행하기에 앞서 준비하는 작업이 얼마나 중요한 것인지 알려준다. 훌륭한 팀은 대략적인 프레임워크를 짜고, 효율적으로 순서에 맞게 일을 처리한다. 이것은 특정 프로젝트에만 국한되는 것이 아니라, 모든 복잡한 문제를 해결할 때 공통적으로 적용할 수 있다. The best teams I've worked with have adopted a framework to help them focus on the most impaceful actions in the most..

2023 부산 데이터위크 컨퍼런스 - 전미정 마이크로소프트 AI MVP -ChatGPT와 Plugin으로 생산성 120% 높이기

전미정 마이크로소프트 AI MVP ★ 주제: ChatGPT ChatGPT를 좀더 잘쓰고 싶은 분들에게 도움이 될 session이었다. CatGPT는 생성형AI(Generative AI -> GenAI) 중 텍스트 분야와 관련된다. 참고) 서울디지털재단에서 발행한 chatGPT 활용 사례 모음집이 있다고 한다. ★ 챗지피티 잘 사용하는 방법 챗지피티를 잘 사용할 수 있는 방법은 아래와 같다. 1. 업무의 목적을 상세하게 설명하자. Because GPT can't read ur mind. - 작성할 문구의 의도를 명확히 하기 - 요구사항 및 제한사항을 구체적으로 제시하기. - 불필요한 정보를 제외해달라는 요구를 하기 2. 분량을 정하자 3. 레이아웃을 알려주자 4. 정확한 내용이 기술되어있는 문장을 제시하고..

2023 부산 데이터 위크 컨퍼런스- 하대웅 비바리퍼블리카(토스) CPO

하대웅 비바리퍼블리카(토스) CPO ★ 주제: 디지털 전환과 함께하는 고객 경험의 진화 토스에서 현재 AI챗봇을 개발 중이라고 한다. 하대웅 CPO가 부산 데이터위크 컨퍼런스의 발표자로 참석했다. 그는 현재 chatGPT의 성능, 과제 이를 기반으로 학습하여 발전시킨 토스 AI챗봇에 개발 상황에 대해 발표했다. ★ Toss AI Chatbot Beta 약어파악, 의도파악, 스몰토크 소화 -> 자연스러운 대화에 가까워지고 있음 ★ chatGPT 이용 AI챗봇의 성능을 80%에서 100%로 가는 것이 매우 어렵다. 데이터 기반의 학습으로 챗봇의 기능을 향상시키기 위해서는 Data Quality가 Data Quantity보다 중요하다. 또한 챗봇에서 고객의 검색과 이에 따른 분류가 중요하다. 한편, GPT가 ..