프로젝트 썸네일형 리스트형 ParseWEB [1-4] yes24 베스트 셀러 파싱 4번째로 하는 크롤링 및 파싱 강좌입니다. 이번 강좌에서는 yes24에서 제공해주고 있는 베스트 셀러에 해당하는 데이터를 가져와 보려고 합니다. 사전 정보 수집 yes24에서 제공하는 베스트 셀러의 경우 이전 강좌였던 네이버 및 다음 실시간 검색어 파싱과 동일하게 메인 홈페이지 소스에서 검색을 하고 해당하는 부분을 가지고 오는 방식으로도 할 수 있다.하지만 이번 강좌에서는 바로 전 강좌인 네이트 실시간 검색어 파싱과 동일하게 xhr 요청을 캡처해서 진행해보도록 하겠다. 먼저 크롬을 통해 yes24 메인 홈페이지로 이동한 다음 F12를 이용해서 개발자 도구를 켜고 Network 탭으로 이동한 다음 xhr로 필터링을 시작한다.그리고 아래 사진처럼 베스트 셀러 부분에서 '국내도서'를 다시 직접 선택해서 서버로.. ParseWEB [1-3] 네이트 실시간 검색어 파싱 사전 정보 수집 네이트 실시간 검색어의 경우에도 네이버와 동일하게 메인 홈페이지에서 보는 것이 가능하므로 네이트 메인 홈페이지 소스를 보고 어느 부분에 실시간 검색어가 들어가 있는지 확인하여 그 부분의 데이터를 가져오는 방식으로 구현하려 한다. 먼저 크롬을 통해 다음 메인 홈페이지로 이동한 다음 F12를 이용해서 개발자 도구를 켠다. 현재 실시간 검색어 1위에 해당하는 키워드를 Elements 탭에서 검색한다.포스팅 작성 기준으로 보면 국가장학금이 1위로 되어 있으므로 "국가장학금"으로 검색한다. 그러면 아래와 같이 해당 검색어가 표시가 되는 것을 볼 수 있다. 하지만 Sources 창에서 해당 내용을 검색한 결과 해당 내용이 나오지 않는 것을 알 수 있었다. 이를 통해서 네이트의 경우 실시간 검색어에 .. ParseWEB [1-2] 다음 실시간 검색어 파싱 사전 정보 수집 다음 실시간 검색어의 경우에도 네이버와 동일하게 메인 홈페이지에서 보는 것이 가능하므로 다음 메인 홈페이지 소스를 보고 어느 부분에 실시간 검색어가 들어가 있는지 확인하여 그 부분의 데이터를 가져오는 방식으로 구현하려 한다. 먼저 크롬을 통해 다음 메인 홈페이지로 이동한 다음 F12를 이용해서 개발자 도구를 켠다. 현재 실시간 검색어 1위에 해당하는 키워드를 Elements 탭에서 검색한다.포스팅 작성 기준으로 보면 우윤근이 1위로 되어 있으므로 "우윤근"으로 검색한다. 그러면 아래와 같이 해당 검색어가 표시가 되는 것을 볼 수 있다. 해당 검색어를 포함하는 태그는 a이고 속성은 class에 link_issue가 할당된 것을 볼 수 있다. 그래서 a.link_issue로 검색을 해보면 총.. ParseWEB [1-1] 네이버 실시간 검색어 파싱 사전 정보 수집 네이버 실시간 검색어의 경우 네이버 메인 홈페이지에서 보는 것이 가능하므로 네이버 메인 홈페이지 소스를 보고 어느 부분에 실시간 검색어가 들어가 있는지 확인하여 그 부분의 데이터를 가져오는 방식으로 구현하려 한다. 먼저 크롬을 통해 네이버 메인 홈페이지로 이동한 다음 F12를 이용해서 개발자 도구를 켠다. 현재 실시간 검색어 1위에 해당하는 키워드를 Elements 탭에서 검색한다.포스팅 작성 기준으로 보면 황교익이 1위로 되어 있으므로 "황교익"으로 검색한다. 그러면 아래와 같이 해당 검색어가 표시가 되는 것을 볼 수 있다. 해당 검색어를 포함하는 태그는 span이고 속성은 class에 ah_k가 할당된 것을 볼 수 있다. 그래서 span.ah_k로 검색을 해보면 총 41개의 태그가 검.. ParseWEB [0] 프로젝트 개요 프로젝트 목적 해당 프로젝트는 크몽과 같은 외주 사이트에서 영감을 얻어서 진행할 프로젝트다.크롤링이나 파싱으로 검색을 해보면 5,000원부터 시작해서 300,000원 이상까지 다양한 가격대로 웹 크롤링 및 파싱기를 판매하고 있는 것을 볼 수 있었다. 다른 사람들이 파싱기를 구현할 때 어떻게 구현했는지는 구매를 해보지 않았으므로 알지 못한다. 내가 파싱기를 구현한다고 하면 기본적인 UI와 자주 사용하는 기능(브루트포스 등)을 구현하여 프로그램의 틀은 동일하게 유지를 시킨다. 그리고 사이트 파싱 로직만 사이트 별로 제작해둔다면 해당 파일을 불러오는 방식으로 파싱기를 동작시킬 수 있지 않을까라는 생각에서 출발하였다. 이렇게 하면 기본 프로그램과 간단한 파싱 예제를 포함해서 판매를 하고 구매자가 요구하는 파싱기.. Project 2.0 카카오톡 자동 응답봇 만들기[4] 저번 시간에는 정적인 응답을 보여주는 방법에 대해서 살펴보았습니다. 이번 시간에는 이러한 정적인 응답을 어떻게 하면 동적인 응답으로 바꾸어서 보여줄 수 있는지에 대해서 살펴보도록 하겠습니다. 동적인 응답의 대표적인 예로 주사위 기능을 추가해보도록 합시다. 먼저 이전에 정적인 응답을 만들 때처럼 로그인을 하고, 버튼 추가하기 링크를 클릭합니다. 그리고 아래와 같이 폼의 내용을 채웁니다. 일단 이렇게 하면 '주사위'에 대한 기능이 추가가 되었지만 카카오톡 상에서는 이 기능을 아직 사용할 수 없습니다. 왜냐하면 우리는 '주사위'에 해당하는 keyboard를 생성하지 않았기 때문이지요. 간단하게 Default keyboard에 '주사위'를 추가하도록 합시다. 이전 강의대로 따라오셨다면, keyboard.conf.. Project 2.0 카카오톡 자동 응답봇 만들기[3] 저번 시간에는 서버에 세팅을 하고 카카오톡 서버와 연결시키는 과정에 대해서 살펴보았습니다. 아직 서버 세팅이 되지 않으신 분은 이전 글을 참조해서 세팅을 하시기 바랍니다. 이번 시간에는 저번 시간에 만들어 놓은 Keyboard 버튼에 따른 응답을 만들어보도록 하겠습니다. 일단 앞 시간에 BASE_URL로 설정해 놓은 주소로 접속하시면 아래와 같은 로그인 화면을 보실 수 있습니다. 여기에서 이전 시간에 입력한 ID와 비밀번호를 입력해서 로그인을 하시면 됩니다. 로그인이 성공했다면 아래와 같이 관리자 페이지를 볼 수 있습니다. 그리고 로그인이 실패했다면 에러가 뜨면서 다시 로그인을 하라는 창이 뜹니다. 만약 계정 정보를 잊어버리신 경우에는 admin.config.php 파일을 열어보시면 ID와 비밀번호에 대.. Project 2.0 카카오톡 자동 응답봇 만들기(未完) 0. 2016/07/15 - [컴퓨터/기타] - Project 2.0 카카오톡 자동 응답봇 만들기[0] - 프로젝트에 대한 간략한 소개 1. 2016/07/16 - [컴퓨터/기타] - Project 2.0 카카오톡 자동 응답봇 만들기[1] - 플러스 친구 가입하기 및 승인 2. 2016/07/17 - [컴퓨터/기타] - Project 2.0 카카오톡 자동 응답봇 만들기[2] - 서버에 파일 설치 및 설정하기 3. 간단한 응답 봇 만들기 4. 사용자별로 다른 응답을 보여주기 5. 오늘 날씨 알려주는 기능 추가하기 6. DB와 연동해서 메시지 로그를 기록하기 7. XE나 Wordpress와 같은 CMS와 연동 하기 이전 1 2 3 다음
