파이썬으로 웹 스크랩하기6/10

파이썬으로 웹 스크랩하기6/10

daum.net의 웹페이지를 확인해보도록 하겠습니다.

크롬에서 daum.net으로 접속해보도록 하겠습니다. 위와같이 웹페이지에 접속하고 F12키를 클릭하면 아래와 같이 개발자 도구가 나타납니다.

상단의 화살표를 클릭하면 화면에 가져다 대면 우측에 해당 하는  html이 오른쪽 화면에 나타나게 됩니다.

HTML을 보면 위에 나와있는 DOM구조처럼. 하이라키 구조를 가지는것을 확인할 수 있습니다.

우측상단의 아이콘을 클릭하고 클릭하면 개발자 도구는 브라우저 윈도우와 떨어져 보기좋게 변경됩니다.

BeautifulSoup을 이용해서 H1의  내용을 알아보도록 하겠습니다.

앞에서 requests모듈을 이용해서 html파일로 저장하는 방법을 알아보았었습니다.

html을 파싱하기 위해 html을 가져오는 방법은 requests를 통해서 직접가져오는 방법과 파일로 저장해서 가져오는 방법이 있을텐데요. 여기서는 url을 통해서 html을 가져와서 BeautifulSoup을 통해서 파싱하는 방법에 대해서 알아보도록 하겠습니다.

위와같이 requests 모듈을 이용해서 html 을 가져와서 BeautifulSoup으로 html을 파싱하기 위한 준비를 마쳤습니다.