목록스마트인재개발원 (38)

자신의 일은 스스로하자

[웹 크롤링] #4_2 파이썬 Selenium 모듈을 사용해 컴퓨터 제어 [스마트인재개발원]

2021.06.15 - [웹 크롤링] - [웹 크롤링] #4_1 파이썬 Selenium 모듈을 사용해 컴퓨터 제어 [스마트인재개발원] [웹 크롤링] #4_1 파이썬 Selenium 모듈을 사용해 컴퓨터 제어 [스마트인재개발원] Selenium이란? Selenium은 웹 애플리케이션 테스트를 위한 포터블 프레임워크입니다. 셀레늄은 테스트 스크립트 언어를 학습할 필요 없이 기능 테스트를 만들기 위한 플레이백 도구를 제공합니다. ( oneself.tistory.com 저번 포스팅을 이어 Selenium 모듈을 사용해 컴퓨터 제어하기를 이어가겠습니다. driver = wb.Chrome() url = "https://www.naver.com/" driver.get(url) 위 코드로 네이버에 접근했다면 이번에는 ..
웹 크롤링 2021. 6. 17. 16:50
[웹 크롤링] #4_1 파이썬 Selenium 모듈을 사용해 컴퓨터 제어 [스마트인재개발원]

Selenium이란? Selenium은 웹 애플리케이션 테스트를 위한 포터블 프레임워크입니다. 셀레늄은 테스트 스크립트 언어를 학습할 필요 없이 기능 테스트를 만들기 위한 플레이백 도구를 제공합니다. (셀례늄 IDE) C 샤프, 그루비, 자바, 펄, PHP, 파이썬, 루비, 스칼라 등 수많은 유명 프로그래밍 언어들에서 테스트를 작성하기 위한 테스트 도메인 특화 언어(Selenese)를 제공합니다. 이 테스트들은 현대의 대부분의 웹 브라우저에서 수행이 가능합니다. 웹 페이지를 제어하기 위한 모듈입니다. Selenium 모듈을 사용하기 위해서는 설치가 필요합니다. !pip install selenium 실행했을 때 결과가 위 사진처럼 나왔다면 설치가 된 것입니다. from selenium import web..
웹 크롤링 2021. 6. 15. 11:51
[웹 크롤링] #3 파이썬으로 멜론 차트 TOP 100 데이터 프레임 생성, CSV저장 / pandas [스마트인재개발원]

이전에 수집한 멜론 차트 TOP 100에 대한 데이터 프레임을 생성하겠습니다. 2021.06.07 - [웹 크롤링] - [웹 크롤링] #2 멜론 TOP100 수집 / BeautifulSoup [스마트인재개발원] [웹 크롤링] #2 멜론 TOP100 수집 / BeautifulSoup [스마트인재개발원] ✔ 멜론 차트 TOP 100을 수집해 보겠습니다. import requests as req from bs4 import BeautifulSoup as bs 먼저 Requests와 BeautifulSoup 모듈을 import 해줍니다. BeautifulSoup은 HTML 및 XML 문서를 구문 분.. oneself.tistory.com 수집하는 방법은 이전 포스팅을 봐주세요. 먼저 데이터 프레임을 생성시키기위..
웹 크롤링 2021. 6. 13. 23:13
[웹 크롤링] #2 파이썬으로 멜론 TOP100 수집 / BeautifulSoup [스마트인재개발원]

✔ 멜론 차트 TOP 100을 수집해 보겠습니다. import requests as req from bs4 import BeautifulSoup as bs 먼저 Requests와 BeautifulSoup 모듈을 import 해줍니다. BeautifulSoup은 HTML 및 XML 문서를 구문 분석하기 위한 Python 패키지입니다. HTML에서 데이터를 추출하는 데 사용할 수 있는 구문 분석된 페이지에 대한 구문 분석 트리를 만듭니다. 2021.06.04 - [웹 크롤러] - [웹 크롤러] #1 네이버 / Melon 페이지 정보 불러오기 [스마트 인재개발원] [웹 크롤러] #1 네이버 / Melon 페이지 정보 불러오기 [스마트인재개발원] 웹 크롤러란? 웹 크롤러(wed cralwler)는 조직적, 자동..
웹 크롤링 2021. 6. 7. 17:48
[웹 크롤링] #1 파이썬으로 네이버 / Melon 페이지 정보 불러오기 [스마트인재개발원]

웹 크롤러란? 웹 크롤러(wed cralwler)는 조직적, 자동화된 방법으로 월드 와이드 웹을 탐색하는 컴퓨터 프로그램입니다. 웹 크롤러가 하는 작업을 '웹 크롤링'(web crawling) 혹은 '스파이더 링'(spidering)이라 부릅니다. 검색 엔진과 같은 여러 사이트에서는 데이터의 최신 상태 유지를 위해 웹 크롤링을 합니다. 웹 크롤러는 대체로 방문한 사이트의 모든 페이지의 복사본을 생성하는 데 사용되며, 검색 엔진은 이렇게 생성된 페이지를 보다 빠른 검색을 위해 인덱싱 합니다. 또한 크롤러는 링크 체크나 HTML 코드 검증과 같은 웹 사이트의 자동 유지 관리 작업을 위해 사용되기도 하며, 자동 이메일 수집과 같은 웹 페이지의 특정 형태의 정보를 수집하는 데도 사용됩니다. ※ 크롤링을 하는 프..
웹 크롤링 2021. 6. 4. 16:44
[HTML] #1 Visual Studio Code 다운로드/기본 설정[스마트인재개발원]

HTML이란? HTML(HyperText Markup Language)하이퍼텍스트 마크업 언어는 윕 페이지를 위한 지배적인 마크업 언어입니다. HTML은 제목, 단락, 목록 등과 같은 본문을 위한 구조적 의미를 나타내는 것뿐만 아니라 링크, 인용 등의 항목으로 구조적 문서를 만들 수 있는 방법을 제공합니다. 또한 이미지와 객체를 내장하고 대화형 양식을 생성하는 데 사용될 수 있습니다. 이제 HTML을 시작하기 위해 기본 설정을 해보겠습니다. 1. 크롬 설치 크롬은 현재 가장 많은 HTML 기능을 지원하는 웹 브라우저입니다. 만약 크롬이 설치 되어 있다면 기본 웹 브라우저를 크롬으로 바꿔줍니다. 2. Visual Studio Code 설치 이제 본격적으로 통합 개발 환경을 다운로드 받겠습니다. Visual..
HTML, CSS 2021. 6. 1. 16:06
이전 Prev 1 2 3 4 5 Next 다음