DevTools
원본 글 보기

[DevTools] IntelliJ + Java + Selenium으로 웹 크롤링하기 1

[Mac] intelliJ + Java + Selenium 웹 크롤링

0. 활용 도구

- Java

- selenium 라이브러리

- chromedriver

- 크롬 브라우저

1. selenium 설치

외부 클래스 사용

상단바 -> File -> Project

2. chromedriver 다운, 설치

1. 크롬 버전 확인

버전 확인하고

아래 사이트에서 chromedriver 다운로드.

https://chromedriver.chromium.org/downloads

꼭! 위에서 확인한 크롬 버전과 같은 버전으로 설치해야한다.

버전이 다르면 에러남.

다운로드.

:: Error :: Error: Unknown command: cask

맥 홈브루(Homebrew)로 chromedriver 설치 명령어

맥에선 홈브루(Homebrew)로 chromedriver 를 설치할 수 있어서 나도 처음에 그렇게 설치했었다.



brew install --cask chromedriver

참고로 구글링해보면 많은 곳에서 홈브루 chromedriver 설치 명령어를 다음과 같이 알려주고 있는데...

"brew cask install chromedriver"

사용방법이 brew install --cask chromedriver 로 변경되었다고 한다.

아무튼,

아 그리고 brew로 설치하면 꼭 설치할 때 버전까지 입력하여 설치해야한다.

여러가지로 까다롭기 때문에 난 그냥 위 사이트에서 받는 것을 추천..!

chromedriver가 잘 설치가 됐다면 설치된 경로를 기억해 둔다.

3. java 파일

# Setting.java

URL 로딩 - 크롤링할 웹 페이지 불러오기



import org.openqa.selenium.WebDriver;
import org.openqa.selenium.chrome.ChromeDriver;
public class Setting {
    WebDriver driver;
    final String WEB_DRIVER_ID = "webdriver.chrome.driver";
    final String WEB_DRIVER_PATH = "/usr/local/bin/chromedriver";
    String base_url;
void init(String input) {
        System.setProperty(WEB_DRIVER_ID, WEB_DRIVER_PATH);

        driver = new ChromeDriver();
        base_url = input;
}
}


#Crawler .java



import org.openqa.selenium.By;
import org.openqa.selenium.WebDriver;
import org.openqa.selenium.WebElement;
public class Crawler {
public static void main(String[] args) {
        Setting setting = new Setting();

        setting.init("https://map.kakao.com/");
        setting.driver.get(setting.base_url);
//System.out.println(setting.driver.getPageSource());
}
}