Selenium(셀레니움) 기본 개념, 문법

(정처기를 준비하면 Selenium은 웹 테스팅 도구로 먼저 접하였다. 인턴을 하면서 웹 크롤링에도 사용된다는 것을 알았다. 아니면 Selenium이란 이름만 같고 다른것일까...?)

"Selenium 셀레늄은 웹 어플리케이션 테스트를 위한 포터블 프레임워크이다."

테스크 스크립트 언어를 학습할 필요없이 기능 테스트를 만들기 위한 플레이백 도구를 제공한다.

수많은 프로그래밍 언들에서 테스트를 작성하기 위한 테스트 도메인 특화언어를 제공한다.

이 테스트들은 웹 브라우저에서 수행이 가능하다.



* 포터블 프레임워크(PSA-Potable Service Abstraction) : 환경의 변화와 관계없이 일관된 방식의 기술로의 접근을 제공하려는 추상화 구조를 말한다. 외부 라이브러리들은 내부 구현이 달라지더라도 동일한 인터페이스, 동일한 구동이 가능하게끔 설계되어 있으며 의존성을 고려할 필요가 없다. 

* 플레이백 도구: GUI 테스팅 도구로 자동화된 GUI 테스트 지원

* 도메인 특화언어 : 특정한 도메인을 적용하는데 특화된 컴퓨터 언어, (HTML-웹페이지 분야에서 널리쓰임, 한정된 분야에서 사용되는 단어도 있다.)



먼저 Selenium을 설치해야한다. Google Colab에서 설치하는 방법은 아래 게시글을 참고하면 된다.

https://chestnutsweetpotato.tistory.com/19

1. Import

import selenium
from selenium import webdriver

2. 불러오기(Driver& Web Load(url))

URL = 'https://www.asos.com/women/new-in/new-in-clothing/cat/?cid=2623&nlid=ww|clothing|shop+by+product|new+in'

driver = webdriver.Chrome(executable_path='/User/Download/chromedriver.exe') // 드라이버 로드하여 'driver'변수에 저장
driver.get(url=URL)

3. 요소 찾기

수집하려는 요소를 찾을지 정하고, 해당 요소 코드에서 우클릭하여 (html, Selector, Xpath)를 복사한다.

그리고 수집하려는 요소의 특징적인 것(class, id, Xpath, selector, html)등을 활용해 찾는다.

 

1. 수집하려는 요소가 한 개 일때

#class로 찾기
a_image=driver.find_element_by_class_name('_3TqU78D')
#selector로 찾기
find_elemenet_css_selector('#product-23767576 > a')
#xpath로 찾기
find_element_by_xpath('//*[@id="product-23767576"]/')
#id로 찾기
find_element_by_id() //예시는 id가 존재하지 않음.

 

2. 수집하려는 요소가 두 개일때

이때는 조금 복잡할 수 있지만, 많이 어렵지 않다!

1 - 수집하려는 요소의 공통된 점을 찾는다.

두 개의 이미지를 감싸고 있는 <a>의 class가 '_3TqU78D'로 동일하다.

from bs4 import BeautifulSoup

html=driver.page_source
soup=BeautifulSoup(html, 'html.parser')
item_img=[]
for i in soup.select('._3TqU78D'): #html 안에 '_3TqU78D' 클래스들에서
	item_img.append('http:'+str(i.find('img')['src']))# img요소를 찾고, src속성값을 item_img에 넣는다.

 

출처
https://grapevine9700.tistory.com/397
https://jins-dev.tistory.com/entry/Spring-PSAPortable-Service-Abstraction%EC%9D%98-%EA%B0%9C%EB%85%90
https://ko.wikipedia.org/wiki/%EC%85%80%EB%A0%88%EB%8A%84_(%EC%86%8C%ED%94%84%ED%8A%B8%EC%9B%A8%EC%96%B4)
https://ko.wikipedia.org/wiki/%EB%8F%84%EB%A9%94%EC%9D%B8_%ED%8A%B9%ED%99%94_%EC%96%B8%EC%96%B4