전체 글 621

[48-2 Selenium] 특정 HTML 요소 찾기, get, find_element, by 클래스, ID, Class name, css selector, Xpath

셀레늄은 브라우저를 구동한다. 브라우저는 이미 많은 정보를 전송하고 있기 때문에, 코드에 헤더, 패키지 등 상당 부분을 적지 않아도 된다. 뷰티풀 수프보다 더 짧은 코드로, 더 많은 작업을 할 수 있다. 셀레늄은 사람이 실제로 웹사이트를 조작하는 방식과 같게 작동하므로 여러 작업을 보다 효과적으로 처리할 수 있다. get() WebDriver를 가지고 URL에서 정보를 가져오기 위해 get메서드를 쓴다. find_element() 특정 HTML요소를 찾아서 가져오고 싶을 때 쓴다. 우선 아래처럼 By를 임포트한다. from selenium.webdriver.common.by import By By클래스에서 사용할 수 있는 속성은 아래와 같다. ID = "id" NAME = "name" XPATH = "x..

HTML & CSS 2022.10.23

[48-1 Selenium] 셀레늄 설치 및 사용 방법, 웹드라이버, selenium webdriver, close, quit, get

Selenium Webdriver 셀레늄 웹드라이버란? 기본적인 웹 스크래핑을 넘어, 웹브라우저에 타이핑하거나 마우스 클릭, 스크롤하는 역할까지도 할 수 있도록 만들어주는 프로그램이다. 결과적으로 우리가 작성한 코드에 따라 나의 브라우저를 '자동화'해준다. 마치 나만을 위한 로봇이 생긴 것처럼 말이다. 1. 크롬 브라우저 설치하기 만약 크롬 브라우저를 사용하지 않는다면 새로 설치하기 사파리, 엣지 같은 다른 브라우저를 사용해도 되지만, 크롬이 개발자 환경이 잘 갖추어져 있어 사용하기 편리함 https://www.google.com/intl/ko/chrome/ 2. 크롬 버전 확인하기 내가 현재 쓰고 있는 크롬의 버전과 같아야 한다. 오른쪽 상단 점 세개> 도움말>크롬 정보 버전 확인하기 3. 크롬 드라이..

HTML & CSS 2022.10.23

[47-1 BeautifulSoul] 아마존에서 내가 원하는 물견 가격 찾고, 이메일 보내기

아마존에서 내가 원하는 물건의 가격 찾기 import requests from bs4 import BeautifulSoup headers = { "Accept-Language":"ko-KR,ko;q=0.9,en-US;q=0.8,en;q=0.7", "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/106.0.0.0 Safari/537.36" } response =requests.get(url="https://www.amazon.com/GoPro-MAX-Waterproof-Traditional-microSDHC/dp/B07Z7C8BXR/ref=sr_1_4?crid=L9H2IO..

HTML & CSS 2022.10.23

[46-1 BeautifulSoup] 특정 연도의 top100 노래 목록 웹스크래핑하기

특정 연도의 top100 노래 목록 웹스크래핑하기 https://www.billboard.com Billboard Music Charts, News, Photos & Video www.billboard.com # time = int(input("몇 년도로 돌아가고 싶나요? 예)2022-10-20")) URL ="https://www.billboard.com/charts/hot-100/2022-10-22/" import requests from bs4 import BeautifulSoup response = requests.get(URL) content = response.text # print(content) soup = BeautifulSoup(content, "html.parser") a = soup..

HTML & CSS 2022.10.23