package craw;import java.time.Duration;import java.util.ArrayList;import java.util.Set;import org.openqa.selenium.By;import org.openqa.selenium.Keys;import org.openqa.selenium.WebDriver;import org.openqa.selenium.WebElement;import org.openqa.selenium.chrome.ChromeDriver;import org.openqa.selenium.chrome.ChromeOptions;import org.openqa.selenium.support.ui.ExpectedConditions;import org.openqa.sele..

이번에는 href 태그의 주소를 찾아 해당 링크로 들어가는 것이 아닌태그를 찾아 해당 태그를 클릭해서 페이지를 이동하는 방식으로 진행해보았다. 위 사이트에서 게시판 글 하나 클릭하고 아래 사진에서 글 제목과 내용을가져오는 코드를 작성했습니다. import java.time.Duration;import java.util.ArrayList;import java.util.List;import org.openqa.selenium.By;import org.openqa.selenium.WebDriver;import org.openqa.selenium.WebElement;import org.openqa.selenium.chrome.ChromeDriver;import org.openqa.selenium.support...

Selenium사용중 비동기 처리를 한 사이트에서 크롤링할때 자주 발생하는 오류인StaleElementReferenceException에 대해 알아보자.우선 오류가 난 코드를 확인해보자.List board_list = wait.until(ExpectedConditions.visibilityOfAllElementsLocatedBy(By.cssSelector("div.w-full > ul > li > div.postContent.py-0.font-KoPubWorldDotum"))); for (WebElement webElement : board_list) { webElement.click(); driver.navigate().back(); } 위 코드를 실행하면 StaleElementReferen..

이전에 Selenium 설정을 진행해보았다. 설정을 완료하였으니 직접 사용해보자.import java.time.Duration;import java.util.ArrayList;import java.util.List;import org.openqa.selenium.By;import org.openqa.selenium.WebDriver;import org.openqa.selenium.WebElement;import org.openqa.selenium.chrome.ChromeDriver;import org.openqa.selenium.support.ui.ExpectedConditions;import org.openqa.selenium.support.ui.WebDriverWait;public class Craw..

Selenium설정 방법1. Selenium 공식 사이트 jar 다운로드https://www.selenium.dev/downloads/ DownloadsDownloads Below is where you can find the latest releases of all the Selenium components. You can also find a list of previous releases, source code, and additional information for Maven users.www.selenium.dev 사이트에 접속하여 아래 zip 파일을 다운받아줍니다. 2. Java Web Project에 추가하기zip파일에 selenium-java-4.24.0.jar를 WEB-INF -> lib ..