반응형

파이썬자동화 3

[셀레니움 크롤링] 채용사이트의 채용공고 긁어 보기

파이썬을 이용해 채용사이트에서 내가 원하는 wording의 공고문을 가져오는 스크립트를 작성함우선 크롬에서 개발자 도구를 이용해 내가 가져오기 위한 사이트에 접속을 해봄이번에는 잡코리아에서 채용공고를 가져와 볼까 함https://www.jobkorea.co.kr/ URL을 입력 하면, 다들 아는 것 처럼 잡코리아에 접속 되고 아쉽게도 팝업 창이 딱 떠오름팝업을 종료하는 방법은 여러가지가 있지만, 여기에서는 beautifulsoup4를 이용해 html을 파싱 함위에 캡쳐 화면 처럼 자세히 보면 div 태그에 class를 modal로 사용중인것을 볼 수 있음. 대부분 팝업에 class modal 효과를 주기 위해 사용한 것으로 보이기때문에, modals = soup.find_all(class_="modal"..

검색 쿼리 encode, url 파싱

최근 한경한경 자동화를 또 하고 있어서, 내용을 정리해 봅니다 목표는 오늘자 한경 당잠사 문구를 검색 하여, 조건에 맞는 당잠사 링크를 가지고 옵니다 당잠사 링크를 https://downsub.com/ 링크 내에서 스크립트만 따로 txt 형태로 저장 하는 자동화 스크립트 입니다 # 오늘 날짜를 통해 검색 쿼리를 "날짜", "당잠사"를 검색 해줄수 있게 인코딩 해줍니다 today = datetime.date.today() formatted_date = today.strftime("%m/%d [당잠사]") encoded_date = urllib.parse.quote(formatted_date) def get_htmlParse (): html = driver.find_element(By.ID, 'title-w..

파이썬 스크립트, 젠킨스로 스케줄링 실행 하기

토큰 전송 스크립트를 짜놓은게 아까워 젠킨스를 이용해 파이썬 스크립트를 스케쥴 마다 실행 시켜보기로 했다 테스트 환경에서 20분간격으로 토큰을 전송 시켜 놓으면 블럭에 transaction이 쌓이기도 하고, 나중에 토큰 전송 이력들을 확인 할때도 몇달 전 이력을 안뒤져도 되니 편할것 같다 우선 로컬환경에 구성해 놓은 젠킨스를 접속한다 설치 방법은 구글링 하면 수십만가지 블로그가 떠오르니 생략~ (굳이 원할까봐 하나 검색 했다) https://co-de.tistory.com/16 [Jenkins] 젠킨스 Mac 으로 설치 설치를 해보자! 혹시 homebrew 가 설치되지 않았다면 설치 하자 (brew.sh/index_ko) * homebrew : mac 전용 패키지 관리자 (쉽게 여러 서비스를 설치할 수 ..

728x90
반응형