ASAC 빅데이터 분석가 4기/Web Crawling

⚙️ Web Crawling 📌 다나와 홈페이지 실습(Selenium & BeautifulSoup) 라이브러리 import from selenium import webdriver from selenium.webdriver.chrome.service import Service from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.chrome.options import Options from selenium.webdriver.support import expected_conditions as ec from selenium.webdriver.c..

⚙️ Web Crawling 📌 Web Crawling 중 403 ERROR 해결 urllib 사용법 import urllib.request url = "https://finance.daum.net/api/search/ranks?limit=10" req = urllib.request.Request( url, data = None, # 개발자도구 > 네트워크 > 해당 정보 확인 : 브라우저에서 요청한 것처럼 변환 headers = {"Referer": "https://finance.daum.net/", "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0...

⚙️ Data Handling 📌 KOBIS Open API 데이터 조작 데이터 불러오기 import requests import pandas as pd base_url = "http://www.kobis.or.kr/kobisopenapi/webservice/rest/movie/searchMovieList.json" my_parmas = { "key": "API Key", "itemPerPage": 40 } res = requests.get(base_url, params=my_parmas) if res.ok: result = res.json() else: print("'Response Error!!!!") **args를 사용한 데이터 처리 directors_list = [] for data in resu..