[파이썬] 웹 크롤링 vs 웹 스크랩핑

웹 크롤링 vs 웹 스크랩핑

1. 웹 크롤링(Crawling)

 

• 방대한 범위에서 데이터를 정해진 규칙대로 수집, 데이터의 양을 우선으로 한다.
• 웹 크롤러(자동화 봇)가 일정규칙으로 웹페이지 탐색

※ 웹 크롤러: 사이트나 네트워크가 제공할 수 있는 것을 끝없이 탐색하면서 스스로 웹 페이지를 탐색할 수 있는 프로그램

 

2. 웹 스크랩핑(Scraping)

 

• 작은 범위에서 타켓이 되는 데이터를 명확하게 수집한다.
• 웹 사이트 상에서 원하는 정보를 추출하는 기술로 특정 웹 사이트 또는 페이지에서 특정 정보 검색

 

🟩 크롬 개발자 도구

크롬 오른쪽 상단 더보기 탭 - 도구 더보기 - 개발자 도구(Ctrl+Shift+i)

 

 

• CSS Selector - Elements Tab
• HTTP 처리과정 -  Network Tab