개발일기 정답찾기

안녕하세요, 유딩동입니다. 크롤링을 진행하게 되었어요. 퇴근하고 꽤 오랜시간 삽질(?) 하던 프로젝트가 마무리 되어 가요 며칠 안보면 또 까먹더라구요 로그성으로 기억하고자, 기록을 남겨 둡니다. 1. 크롤링이란? 2. 크롤러 만들기 위한 준비 3. 크롤링 라이브러리 4. 크롤링이 필요한 이유 1. 크롤링이란? 알고리즘에 의해 인터넷을 탐색하는 프로그램 동의어 - 스크래퍼, 봇, 스파이더, 지능 에이전트 등 크롤링(crawling) 혹은 스크레이핑(scraping)은 웹 페이지를 그대로 가져와서 거기서 데이터를 추출해 내는 행위다. 크롤링하는 소프트웨어는 크롤러(crawler)라고 부른다. 나무위키도 리그베다 위키를 크롤링해서 시작된 위키며, 나무위키 미러 등은 나무위키를 크롤링한 곳이다. 검색 엔진에서도..