자동으로 글 퍼오는 것은 어떤 방식으로 구동되는 건가요? 정보
자동으로 글 퍼오는 것은 어떤 방식으로 구동되는 건가요?본문
가끔 어떤 사이트들을 보면 자동으로 글이 올라오더라구요.
예를 들면 관련 뉴스라던가, 자동으로 꾸준히 생성되더라구요.
어떻게 구현하는 건지 궁금하네요. 원리가 어떤건지..
댓글 전체
snoopy 나 curl 를 이용한 파싱 입니다.
원리는 대충 이렇습니다.
우선 먼저 file_get_contents() , curl 등 통해서 페이지를 불러 옵니다. 그다음 정규식 통해서 정리하여 디비에 올립니다.
한번 간단한거 만들어보면 재미있습니다.
하지만 우선 알아두셔야할것은 다른사람의 사이트에 정보을 동의 없이 수집하는 것은 도독에 어긋나는 일입니다.^^
우선 먼저 file_get_contents() , curl 등 통해서 페이지를 불러 옵니다. 그다음 정규식 통해서 정리하여 디비에 올립니다.
한번 간단한거 만들어보면 재미있습니다.
하지만 우선 알아두셔야할것은 다른사람의 사이트에 정보을 동의 없이 수집하는 것은 도독에 어긋나는 일입니다.^^
xml 또는 json 같은 형태로 해당 서비스 업체에서 제공하기도 합니다.
