포스트맨으로 쿠팡
본문
포스트맨으로 쿠팡을 불러오면 Access Denied 가 나옵니다.
그래서 크롬 Request Header 참고해서 헤더를 그대로 적어보아도 안되네요.
크롬에서 시크릿창 열어서 들어가봐도 잘 들어가지는데 포스트맨으로는 왜 안될까요?
뭔가 다른 비밀이 숨어 있나요?
가져오려는 사이트는 상품검색페이지입니다.
도움 좀 주세요.
답변 4
쿠팡은 파싱할려는 사람들이 많아서 기본적인건 대부분 차단 되었을 겁니다.
정 하실려면 셀레니움으로 하셔야 할껍니다.
예전 쿠팡 파싱할때 헤더에 Refere를 google로 보내서 처리했던 기억이 있습니다.
지금은 어떨지 모르겠네요.
요청 헤더에 Accept-Encoding 넣어주시고요
응답 헤더를 보면 컨텐츠가 gzip으로 압축되어서 올 거에요
CURLOPT_ENCODING 옵션을 사용해서 압축된 걸 풀어주면 됩니다
셀레니움 하니 잘 되는군요..
답변을 작성하시기 전에 로그인 해주세요.