E D R , A S I H C RSS

Meme Harvester


1. 후기

  • 젠장.. 구글에도 이와 비슷한 알리미라는 서비스가 나왔구나.. 내꺼가 먼저 만들어졌는지 이게 먼저 만들어 졌는지는 모르겠지만.. 이것은 사용자가 사이트와 키워드를 입력하는 그러한 번거로움 없이 사용자가 한번 방문한 사이트들에 대해서 자동적으로 업데이트 내용들을 알려주는 방식이었다. 이 방식은 본 받을만 한거 같다.

2. 개요

  • 이것은 EventDrvienRealtimeSearchAgency 의 일종이다.- 싸이월드를 보면 자신의 방명록에 글이 올라오면 바로 알려준다. 이를 모든 웹사이트에 대해서 가능하도록 하는 프로젝트, 물론 단순히 새글이 올라왔다고만 알려주는것은 아니다. 어떠한 새글이 올라왔는지 실시간으로 알려주며 키워드를 입력하면 해당 키워드가 포함된 글이 올라올때만 알려주기도 한다. 활용 예를 보면 어떤 프로젝트인지 잘 이해가 갈 것임..
  • 아래를 보면 기존의 개념들과 비교하여 설명하였다.
범주 기존 엔진 구상한것
데이터 수집 로봇이 모든 웹을 돌아다니면서 데이터 저장 사용자가 특정 웹을 지정하고, 해당 웹에서 사용자가 원하는 키워드가 포함된 글이 올라올 경우나 새 글이 올라올 경우(옵션에 따라) 실시간으로 알려줌, RealTimeSearchEngine
데이터를 보여주는 방식 사용자가 키워드 입력 -> 저장된 데이터를 보여줌.(필요 없는 정보를 포함하여 너무 많이 보여줌) 사용자가 키워드(입력할수도 있고 아닐수도 있고)와 특정 웹사이트들을 입력하면 해당 웹사이트에서 그 시점으로부터 특정 키워드가 새로 올라오면 실시간으로 알려주거나, 그 시점부터 특정 시점까지 바뀐 내역을 보여줌

2.1. 활용 예

분야 활용 방법
주식투자 자신이 특정 회사에 주식을 투자 하고 나서 해당 회사를 키워드로 입력하고, 모니터링 할 관련 웹사이트들(신문사, 경제관련 매체)을 등록해놓으면 해당 회사에 관련된 기사가 올라오면 실시간으로 알려준다.
질문에대한 답글기다림해소 예를 들어서 데브피아에 자신이 궁금한 것을 질문 게시판에 올리고 나서, 해당 게시판과 자신의 질문에 관련된 키워드를 입력해놓으면 자신의 질문에 대한 답글이 올라오면 실시간으로 알수있다. ㅤㄱㅙㄶ이 들락날락 할 필요가 없어진다.
대중 매체 관리 연예인 같은 경우 자신과 관련된 기사가 어디에 새로 올라왔는지 알고 싶을때 자신의 이름을 키워드로 넣고 여러 관련 사이트들을 입력 하면 자신과 관련된 기사가 올라오면 실시간으로 알수 있다. 또한 학교나 기타 기관에서도 자신들의 이름이 어떠한 매체 거론되는지 실시간으로 모니터링을 할 수있다. 예를 들어 우리학교에서도 알바생을 시켜서 각 신문을 뒤적이면서 학교 관련 기사가 나왔는지 찾게 하는데 이런 것들을 자동화 하는게 가능하다.
불필요한 웹서핑 줄이기 자신이 주로 가는 모든 사이트들에 대해서 수시로 들락 날락 할 필요 없이 특정 시점부터 특정 시점까지 바뀐 내역만 한곳에서 모두 볼 수 있다면 편리~
이메일 알림이 자신의 이메일 오는것중 특정인으로부터 오는것이나 특정 제목의 이메일이 오는경우 실시간으로 알려줄수 있는 기능.. 추후 핸드폰 문자 메시지로 알려줄수도 있다.
중고 매매 알선 특정 중고 제품을 원한다고 등록해놓으면 현재 등록되어 있는 중고 사이트중에서 해당 물품이 올라올 경우 사용자에게 실시간으로 알려준다.

2.2. 진행상황

진행상황
날짜 분야 및 담당자 한일
05/12/18 WebDiff - 남상협 타겟 웹 긁어와서 디비에 저장하는것까지 완료
05/12/19 WebDiff - 남상협 비교 하는것까지 완료
05/12/20 WebDiff - 남상협 사이월드 방명록 알림이 기능 테스트..
- WebDiff - 남상협 바뀐 내용 비교 루틴 작성
05/12/25 webDiff - 남상협 서버 완성(쓰레드사용), 정보를(id,비번,비교할 웹사이트 정보) 받으면 바뀐 내역을 클라이언트에게 알려줌
05/12/28 client Agency 로그인 및 등록해놓은 사이트 목록 보여주는것까지 완료
05/12/31 client Agency 기본적인 기능 완료, 서버측도 완료
06/01/07 client Agency, 서버 사이트 및 키워드 추가 삭제 완료, 데이터 필터링 완료(싸이월드 방명록이나, 일반 게시판)
06/01/10 클라이언트, 서버 기본적인 모든 기능 완료
06/01/11 서버 depth가 1 이상인 사이트 가능하도록 함

2.3. ToDoList

ToDoList
로그인이 필요한 사이트 테스트 해보기

3. 최적화 전략

인기 사이트, 중복 요청된 사이트에 대해서는 업데이트 주기가 가장 짧은 서비스만 수행하고,
해당 쓰레드는 요청한 클라이언트들에게 바뀐 데이터를 보낸다.
클라이언트는 바뀐 데이터중에서 원하는 키워드가 포함되었는지 판단하고 사용자에게 보여준다.

4. Thread

  • 추후에는 각 웹들이 자신의 Observer 리스트를 가지고 있으면서 자신의 웹이 바뀔때마다 해당 Observer들에게 간단한 신호를 보내는 식의 표준이 만들어지면 좋을거 같다.
----
검색에이전시_temp
Valid XHTML 1.0! Valid CSS! powered by MoniWiki
last modified 2021-02-07 05:23:45
Processing time 0.0256 sec