본문 바로가기

분류 전체보기

카카오 오픈빌더 OBT 승인 및 사용기 18년 12월 3일 (월)을 기준으로 카카오톡 오픈빌더 OBT가 시작됨에 따라 더이상 API형으로 된 스마트 채팅을 등록하는 것이 불가능해졌으며 기존에 등록한 계정들도 19년 12월에는 모두 종료한다고 한다. 관련 내용 그래서 해당 내용을 확인하고 12월 8일 날 오픈빌더 OBT를 신청했었다. 신청 링크 위의 사진과 같이 신청자명, 현재 운영하고 있는 플러스친구 URL, 신청 사유를 적는 식으로 신청서가 되어 있었다. 신청자명에는 본인 이름을 넣으면 되고, 플러스친구 URL의 경우 자신이 운영하고 있는 플러스 친구 계정의 URL을 입력하면 되고 사유에는 적당히 입력을 하면 되는 것 같다.나 같은 경우에는 그냥 "자동 API로 된 것들을 Open Builder로 옮기기 위해 신청한다"라는 정도의 내용만 써..
ParseWEB [1-3] 네이트 실시간 검색어 파싱 사전 정보 수집 네이트 실시간 검색어의 경우에도 네이버와 동일하게 메인 홈페이지에서 보는 것이 가능하므로 네이트 메인 홈페이지 소스를 보고 어느 부분에 실시간 검색어가 들어가 있는지 확인하여 그 부분의 데이터를 가져오는 방식으로 구현하려 한다. 먼저 크롬을 통해 다음 메인 홈페이지로 이동한 다음 F12를 이용해서 개발자 도구를 켠다. 현재 실시간 검색어 1위에 해당하는 키워드를 Elements 탭에서 검색한다.포스팅 작성 기준으로 보면 국가장학금이 1위로 되어 있으므로 "국가장학금"으로 검색한다. 그러면 아래와 같이 해당 검색어가 표시가 되는 것을 볼 수 있다. 하지만 Sources 창에서 해당 내용을 검색한 결과 해당 내용이 나오지 않는 것을 알 수 있었다. 이를 통해서 네이트의 경우 실시간 검색어에 ..
ParseWEB [1-2] 다음 실시간 검색어 파싱 사전 정보 수집 다음 실시간 검색어의 경우에도 네이버와 동일하게 메인 홈페이지에서 보는 것이 가능하므로 다음 메인 홈페이지 소스를 보고 어느 부분에 실시간 검색어가 들어가 있는지 확인하여 그 부분의 데이터를 가져오는 방식으로 구현하려 한다. 먼저 크롬을 통해 다음 메인 홈페이지로 이동한 다음 F12를 이용해서 개발자 도구를 켠다. 현재 실시간 검색어 1위에 해당하는 키워드를 Elements 탭에서 검색한다.포스팅 작성 기준으로 보면 우윤근이 1위로 되어 있으므로 "우윤근"으로 검색한다. 그러면 아래와 같이 해당 검색어가 표시가 되는 것을 볼 수 있다. 해당 검색어를 포함하는 태그는 a이고 속성은 class에 link_issue가 할당된 것을 볼 수 있다. 그래서 a.link_issue로 검색을 해보면 총..
ParseWEB [1-1] 네이버 실시간 검색어 파싱 사전 정보 수집 네이버 실시간 검색어의 경우 네이버 메인 홈페이지에서 보는 것이 가능하므로 네이버 메인 홈페이지 소스를 보고 어느 부분에 실시간 검색어가 들어가 있는지 확인하여 그 부분의 데이터를 가져오는 방식으로 구현하려 한다. 먼저 크롬을 통해 네이버 메인 홈페이지로 이동한 다음 F12를 이용해서 개발자 도구를 켠다. 현재 실시간 검색어 1위에 해당하는 키워드를 Elements 탭에서 검색한다.포스팅 작성 기준으로 보면 황교익이 1위로 되어 있으므로 "황교익"으로 검색한다. 그러면 아래와 같이 해당 검색어가 표시가 되는 것을 볼 수 있다. 해당 검색어를 포함하는 태그는 span이고 속성은 class에 ah_k가 할당된 것을 볼 수 있다. 그래서 span.ah_k로 검색을 해보면 총 41개의 태그가 검..
ParseWEB [0] 프로젝트 개요 프로젝트 목적 해당 프로젝트는 크몽과 같은 외주 사이트에서 영감을 얻어서 진행할 프로젝트다.크롤링이나 파싱으로 검색을 해보면 5,000원부터 시작해서 300,000원 이상까지 다양한 가격대로 웹 크롤링 및 파싱기를 판매하고 있는 것을 볼 수 있었다. 다른 사람들이 파싱기를 구현할 때 어떻게 구현했는지는 구매를 해보지 않았으므로 알지 못한다. 내가 파싱기를 구현한다고 하면 기본적인 UI와 자주 사용하는 기능(브루트포스 등)을 구현하여 프로그램의 틀은 동일하게 유지를 시킨다. 그리고 사이트 파싱 로직만 사이트 별로 제작해둔다면 해당 파일을 불러오는 방식으로 파싱기를 동작시킬 수 있지 않을까라는 생각에서 출발하였다. 이렇게 하면 기본 프로그램과 간단한 파싱 예제를 포함해서 판매를 하고 구매자가 요구하는 파싱기..
PHP로 구현한 파일 캐시 클래스 앞선 글에서 캐시가 무엇인지와 캐싱을 사용하는 이유에 대해서 알아보았다. 이 게시물에서는 PHP를 이용해서 파일 캐시를 직접 구현한 클래스를 소개하고자 한다.
캐싱을 하는 이유 캐싱은 동일한 요청이 여러 번 들어 왔을 때 매 요청마다 계산을 한 다음에 보여주는 것이 아닌 기존에 한 번 계산했었던 내용을 저장해서 해당 내용을 보여주는 것이다. 그렇기 때문에 웹서버의 부하를 줄일 수 있는 기술이라고 할 수 있다. 아래는 캐싱을 하지 않았을 경우에 사용자 - 웹서버 - DB 사이에서 사용자에게 요청이 들어왔을 때의 실행 과정이다. 사용자가 웹서버에 요청을 보내면(1), 웹서버는 해당 요청을 읽고 DB에 필요한 내용을 질의한다(2). 그리고 DB는 해당 질의 내용에 대한 응답을 웹서버에 보내주고(3), 웹서버는 해당 내용을 가공해서 사용자에게 출력을 해준다(4). 사용자가 간단한 내용만 질의한다면 캐싱을 하는데 있어서 의미가 없지만 DB 쿼리 내용이 복잡하거나 사이트 파싱과 같은 시간..
네이버 지식iN 수정 요청 外 2017년 12월 6일에 네이버 지식iN에서 추가질문/답변 기능이 추가되었다. 해당 게시물 링크 : 공식 블로그 해당 기능으로 인해서 질문자들이 따로 1:1로 질문을 걸거나 댓글로 답변에 대한 문의를 하지 않는 경우가 많아졌다. 하지만 이 기능을 사용해서 전혀 관련이 없는 질문을 하는 경우가 종종 있다. 이러한 질문들을 무시할 수 있는 방법이 없으며 계속 알림창에 추가 질문이 달렸으니 답변을 해달라는 메시지가 계속 나온다. 그리고 가장 큰 문제점은 추가질문에 대한 답변을 할 경우 각 줄의 앞 부분에 나타나는 공백 문자가 전부 사라지는 버그(?)가 있었다. 그래도 과거에는 HTML 코드의 입력이 가능해서 어떻게든 해결을 할 수 있었지만 신고했었던 XSS에 대한 패치를 진행하면서 HTML 코드의 입력이 아예..