웹 수집 로봇 만들고있는데... 정보
웹 수집 로봇 만들고있는데...본문
개인적인 용도로 수집봇을 제작하고 있습니다 ㅎㅎ;;
데이터가 3만건이 넘어가니 검색 속도가 엄청 느려지네요...
무슨 방법이 없으련지 ㅋㅋ;;;;;;;;;;
그래도 데이터 모이는 속도는 맘에 드네요^^;
댓글 전체
검색어 : 그누보드
뉴스(0 개)
웹문서(0 개)
블로그(0 개)
동영상(0 개)
이미지(0 개)
그누에 대한건 암것도 없네요
뉴스(0 개)
웹문서(0 개)
블로그(0 개)
동영상(0 개)
이미지(0 개)
그누에 대한건 암것도 없네요
그누보드도 수집 시킬까요 ㅋㅋ;;;;;;
당일 인기검색어를 기준으로 수집을 해서 ㅎㅎ
당일 인기검색어를 기준으로 수집을 해서 ㅎㅎ
성인동영상
검색어 : 성인동영상
뉴스(0 개)
웹문서(0 개)
블로그(0 개)
동영상(0 개)
이미지(0 개)
검색해서 나오는게 암것도 없네요 ㅎㅎㅎ
검색어 : 성인동영상
뉴스(0 개)
웹문서(0 개)
블로그(0 개)
동영상(0 개)
이미지(0 개)
검색해서 나오는게 암것도 없네요 ㅎㅎㅎ
lucene이라는 오픈소스 검색엔진을 사용하시면 됩니다.
좀더 사용하기 쉽게 만든것이 solr 또는 elasticsearch 이런것도 있습니다.
좀더 사용하기 쉽게 만든것이 solr 또는 elasticsearch 이런것도 있습니다.
직접 최적화랑 엔진 개발을 하고 싶어서요...
구글 자체를 긁어가는건 어떨까요? 구글 안에는 외부 페이지 링크들이 많이 있자나요ㅎㅎ
구글 문서를 키워드별로 파싱 시키고 있습니다. ㅎㅎ