본문 바로가기

컴퓨터/Site Parsing

Interpark 도서 정보 한 번에 가져오기 인터파크 도서의 경우, http://book.interpark.com/blog/bookpinion/bookpinionOpenAPIInfo.rdo에서 Open API 탭을 클릭했을 때 나오는 방법을 통해서 공식적으로 도서 검색 API를 제공하고, 하루에 10000개씩의 요청을 할 수 있다고 링크에서 확인할 수 있다. 그러나 어떤 오류인지는 모르겠지만, 이 요청 횟수가 하루마다 초기화가 되지 않고 계속 누적이 되는 문제가 발생하였다. 이 문제에 대해 인터파크 고객센터에 1:1 상담글을 올렸으나 아직까지도 답장이 없다. 아무래도 더 이상 이 API에 대해 지원을 하지 않는다라는 것과 너무 사용하는 사람이 없어서 유지보수를 하지 않아서 이러한 일이 발생했다고 볼 수도 있다. 그리고, 이러한 API는 한 번의 요..
Yes24 가격 정보 가져오기 (2) 앞선 내용에서 하나의 id를 통해서 그것에 해당하는 정보를 가져오는 것을 하였다. 물론 이렇게 하나하나 가져와도 되지만, 대부분의 데이터들은 변하지 않는 데이터이기 때문에 이를 고려하면 이렇게 하나하나씩 데이터를 가져오는 것이 매우 비효율적이라는 것을 알 수 있다. 또한 이 데이터 하나를 가져오는 것만 해도 많은 overhead가 발생하기 때문에 최대한 이것을 줄이는 것이 좋다. '최근본상품'의 배너를 보면, 책 이름과 가격에 대한 정보가 나와 있다. 그래서 이것을 이용하면 책과 그에 해당하는 가격을 쉽게 얻어낼 수 있을 것이라고 생각하고 분석을 시작하였다. 보통 이러한 데이터들은 비동기식으로 처리를 해서 가져오는 것이 일반적인 방법이기 때문에 Chrome의 Network에서 XHR부분만 filterin..
Yes24 가격 정보 가져오기 (1) 인터파크나 알라딘의 경우에는 책에 대한 정보를 가져오는 API를 공식적으로 제공하고 있다. 하지만, Yes24의 경우에는 이와 같은 API가 존재하지 않는다. 그래서 이번 포스팅을 통해서 Yes24에서의 도서나 음반의 가격을 가져오는 방법에 대해서 알아보도록 하겠다. 먼저 Yes24의 도서나 음반의 정보를 보는 url의 형태를 살펴보자.http://www.yes24.com/24/goods/13776831?scode=032&OzSrank=1위에 있는 링크는 이번 학기에 들었던 알고리즘 과목에서 사용한 교재인 Introduction To Algorithms에 대한 상세 설명이 있는 링크이다.http://www.yes24.com/24/goods/20060623?scode=032&OzSrank=1위에 있는 링크..