selenium 이 막힐 경우

selenium 으로 자동화 작업을 하는데, 사이트에서 blocking 되는 경우가 있습니다.

저같은 경우 다음과 같이 설정을 해주니 정상적으로 작동했습니다:

from selenium import webdriver

options = webdriver.ChromeOptions()
options.add_argument("start-maximized")
options.add_experimental_option("excludeSwitches", ["enable-automation"])
options.add_experimental_option('useAutomationExtension', False)
driver = webdriver.Chrome(options=options)
driver.execute_cdp_cmd('Network.setUserAgentOverride', {"userAgent": 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.53 Safari/537.36'})
driver.execute_script("Object.defineProperty(navigator, 'webdriver', {get: () => undefined})")

driver.get("SITE_URL")

관련 내용은 다음 페이지를 참고하시기 바랍니다:

stackoverflow.com/questions/53039551/selenium-webdriver-modifying-navigator-webdriver-flag-to-prevent-selenium-detec/53040904#53040904

Selenium webdriver: Modifying navigator.webdriver flag to prevent selenium detection

selenium.common.exceptions.JavascriptException: