1002 ê°€ 만들었ë�˜ 프리첼 앨범í�¼ì˜¤ê¸° 프로ì �트. (10ì›” 20ì�¼ ~ 29ì�¼) 그와 ê´€ë ¨í•œ 프로ì �트 후기.
- 결과물 : http://dolcom.toher.net/~reset/zb/zboard.php?id=gallery
- 소스 :
FreechalAlbumSpider (테스트를 ìœ„í•´ì„ proper.py ìˆ˜ì • í•„ìš”)
작업ë�™ê¸° ¶
프리첼ì�´ ìœ ë£Œí™”ë�˜ë©´ì„œ 주위 사람들ì�´ 게시íŒ�들ì�„ 프리첼로부터 ì�´ì „ì�„ 하기 시작하였다. 주위 아는 êµ�íšŒì„ ë°°ë“¤ì�˜ 경우는 그중 ìˆì‹¤ëŒ€ì—�서 게임방ì�„ ìš´ì˜�하시는 ë¶„ì�´ 있어서 êµ�회사람들 ì „ìš© 서버를 하나 ë§ˆë ¨í•˜ê³ ê²Œìž„ë°©ì—�서 굴리기로 한다. 프리첼 게시íŒ� 변환기ì�˜ 경우 ì�´ë¯¸ 범용ì �ì�¸ ì œë¡œë³´ë“œë‚˜ ì�´ì§€ë³´ë“œì—�서 ì œê³µì�„ 하지만, 앨범ì�´ë‚˜ í™”ì�¼ 백업ì�€ ì§€ì›�하지 않는다. ê·¸ë¦¬ê³ , 게시íŒ� 백업ì�„ í• ë•Œì—” 프리첼 관리ìž�ê°€ 기존 게시íŒ�들ì�˜ ì ‘ê·¼ ê¶Œí•œì •ë�„를 ì¡°ì ˆí•´ì¤˜ì•¼ 한다. 로그ì�¸ì²˜ë¦¬ê°€ 안ë�˜ì–´ìžˆê¸° 때문ì�¸ë�°, ì œë¡œë³´ë“œ 게시íŒ� 변환기를 보니 ì¿ í‚¤ ê´€ë ¨ 처리가 없었다.
마침 ê°œì�¸ì �으로 ìž�주 ì�´ìš©í•˜ëŠ” ClientCookie ê°€ 있기 때문ì—� 쉽게 ìž‘ì„±í• ìˆ˜ 있ì�„것ì�´ë�¼ íŒ�단, ì–´ëŠ�ì •ë�„ 스케줄ì�„ ìž¡ê³ ìž‘ì—… 시작.~
í”„ë¡œí† ì½œ ë¶„ì„� ¶
처ì�Œ 무엇ì�„ 해야 í• ì§€ ê³ ë¯¼ì�„ 해야 하는ë�°, ì�¼ë‹¨ì�€ 'ì�´ë¯¸ì§€ë¥¼ ê°€ì ¸ì˜¤ëŠ”ê²Œ 가능한가?' 를 ë¨¼ì € 하게 ë�˜ì—ˆë‹¤. 프리첼ì�˜ 경우 ì�´ë¯¸ì§€ë¥¼ 얻어오는 방법ì�´ getImage.asp í™”ì�¼ì�„ 통해서만 가능하다. ì�¼ë°˜ JPG ë§�í�¬ê°€ 아니기 때문ì—�, getImage.asp 로 넘겨주는 ì�¸ìž�들ì�„ 알아내야 한다.
1002 는 webdebug 와 Proxomitron ë‘�개를 ì�´ìš©í•˜ëŠ”ë�°, 둘 다 ì�¼ì¢…ì�˜ 프ë¡�시 서버처럼 ì�´ìš©í•˜ì—¬ HTTP 로 ì†¡ìˆ˜ì‹ ë�˜ëŠ” GET/POST, HTTP Header ë�°ì�´í„°ë“¤ì�˜ 로그를 확ì�¸í• 수 있다. 둘ì�„ ì�´ìš©, í”„ë¡œí† ì½œ ë¶„ì„�ì�„ 하였다.
프로그래ë°� ¶
êµ�회 사람ì�´ ìš´ì˜�하는 겜방ì—�서 작업; 금연ì�¸ 겜방ì�´ ì�´ë ‡ê²Œ 좋ì�„수가. 한쪽ì�˜ 세미나실ì�˜ 기ë�…êµ� ê´€ë ¨ 서ì �ì�´ 빼곡하게 ì°¨ 있는 것ì�´ ì�¸ìƒ�ì �.
vi - python - ctags - grep ì¡°í•©ì�´ ì†�ì—� ì°¸ 잘 들어맞는다. 다른 Python 쪽 좋ì�€ IDE들ì�„ 잘 ëª»ì ‘í•´ì„œ 그런지 ê°œì�¸ì �ìœ¼ë¡ ê°€ìž¥ 편한 ì¡°í•©ì�´ ë�˜ì—ˆë‹¤. 타 개발툴들로 ìž‘ì—…í• ë•Œ 하ë�˜ ì�¼ë“¤ì�„ ì�´ê²ƒë“¤ì�˜ 조합으로 ì�˜ì‹�ì �으로 í• ìˆ˜ 있게 ë�œë‹¤.
처ì�Œì—�는 모듈ì—� 대해 Remote Test 를 ë¨¼ì € 진행했다가, Local Test 로서 ì�¼ë‹¨ HTML 문서를 ë°›ì•„ë†“ê³ , ì�´ë¥¼ TDD 로 하면서 ë�°ì�´í„°ë“¤ì�„ 추출하는것ì�´ ë‚«ê² ë‹¤ íŒ�단, Local Html Test 를 작성해나갔다. ì�´ì „ ProjectPrometheus ì—�서 했었ë�˜ 방법과 비슷했었ë�˜ì§€ë�¼, ì�¼ì‚¬ì²œë¦¬ë¡œ ê±°ì�˜ 하루ë�™ì•ˆ ê´€ë ¨ 작업들ì�´ ë��났다.
작업ì�„ 계ì†� 하다 보니, ê°� 모듈들ì—� 대해 BottomUp 스타ì�¼ë¡œ 작성ì�´ ë�˜ì—ˆë‹¤. ê·¼ë�°, 막ìƒ� '다ì�Œì—� 해야 í• ì�¼ì�€?' 질문ì�„ 해보니, 좀 ë©�ë©�해졌다. ì�´ëž˜ì„œëŠ” 안ë�˜ê² ë‹¤ê³ íŒ�단, ì�¼ë‹¨ 만들어놓ì�€ 개개ì�˜ 모듈들ì�„ 근거로 시퀀스 다ì�´ì–´ê·¸ëž¨ì�„ ê·¸ë¦¬ê³ ê·¸ 순서를 잡아나갔다.
ê°� 모듈들ì�´ 서로 ë¶ˆëŸ¬ì ¸ì•¼ í• ìˆœì„œë“¤ì�„ ì •í•˜ê³ ë‚œë’¤, ë‚´ê°€ ë§Œë“ ê°� 모듈들ì�„ ì�¼ì¢…ì�˜ SpikeSolution 처럼 ë�¼ì�´ë¸ŒëŸ¬ë¦¬ 연습하듯ì�´ ì�´ìš©í•´ë³´ì•˜ë‹¤. 그러면서 ìž ì‹œ 놓쳤ë�˜ í��름ì�„ 다시 잡았다. ì�´ëŸ¬í•œ ì�¼ë“¤ì�„ ì�˜ì‹�ì �으로, ê·¸ë¦¬ê³ '무엇ì�„ í• ê¹Œ - ì�´ê²ƒì�„ 하ìž�' ë�¼ê³ ìƒ�ê°�해낼 수 있었ë�˜ 것ì�´ 기분ì�„ ì°¸ 좋게 했다.
초반 3ì�¼ì •ë�„는 TDD 를 í•˜ê³ í›„ë°˜ì�˜ PBI 스타ì�¼ë¡œ 테스트 코드ì�´ 진행했는ë�°, 후반으로 갈수ë¡� 작업 ì§„ì²™ë�„ê°€ ë–¨ì–´ì§€ê³ , 코드ì—� 대한 ì�´í•´ë�„ë�„ 떨어ì§�ì�„ ëŠ�꼈다.
주로 ì œë¡œë³´ë“œ ë�°ì�´í„°ë¡œ 변환하기 위한 ë�°ì�´í„°ë² ì�´ìФ ì €ìž¥ 부분ì�¸ë�°, 첫번째 ì�´ìœ 로는 ì œë¡œë³´ë“œ DB ì�˜ 스키마를 ì œëŒ€ë¡œ 파악하지 못한것ì�´ ë¬¸ì œì˜€ë‹¤. ì�´ ë¬¸ì œëŠ” 프리첼->ì œë¡œë³´ë“œ 컨버터 PHP 소스를 ë³´ê³ ì�´ë¥¼ Python 으로 í�¬íŒ…하였다. ì�´ì „ì—� PHP 프로그래ë°�ì�„ ë§Žì�´ 했기 때문ì—� ì�µìˆ™í–ˆê³ , 어차피 ê°™ì�€ 어족군(?)ì�˜ 언어ì�´ë¯€ë¡œ 별다른 ì–´ë ¤ì›€ì�´ 없었다. 하지만, 테스트 경우를 명확하게 하지 않았기 때문ì—�, ìž‘ë�™ì�´ ì œëŒ€ë¡œ ë�˜ì§€ 않는지ì—� 대해서는 게시íŒ� 변환뒤 매번 웹ì—�서 나온 결과를 확ì�¸í•´ì•¼ 했다.
ë˜�하나 ë¬¸ì œë¡œëŠ” ì�´ìƒ�하게 MySQLdb 모듈ì�´ ë¬¸ì œë¥¼ ì�¼ìœ¼ì¼°ëŠ”ë�°, update query 를 ë‚ ë¦´ë•Œ ì—�러발ìƒ�ì�„ 하는 것ì�´ì˜€ë‹¤. 똑같ì�€ 쿼리문ì�„ 쉘ì—�서 실행했ì�„때는 잘 ë�˜ì—ˆëŠ”ë�°, MySQLdb ì�˜ cursor í�´ëž˜ìŠ¤ë¥¼ ì�´ìš©, 쿼리를 ë‚ ë¦¬ë©´ 실행ì�´ 안ë�˜ëŠ” 것ì�´ì˜€ë‹¤. (DB ì—� ì �ìš©ì�€ ë�˜ëŠ”ë�°, ì—�러가 ë°œìƒ�한다.) ì�´ 부분ì—� 대해서는 ì�¼ë‹¨ try-except 로 땜질처리를 했지만, 그리 기분좋진 않다. ìˆ˜ì •ì�´ 필요하다.
질문 ¶
ì œê°€ pythonì�„ ì „í˜€ 몰ë�¼ì„œ 그러는ë�°ìš”, ì�´ê±° 사용법좀 ì•Œë ¤ ì£¼ì‹œê² ì–´ìš”.
암만 í•´ë�„ 안 ë�˜ì„œìš”.. freechal 앨범용량ì�´ 너무 ì»¤ì ¸ì„œ 앨범ì�˜ ì�¼ë¶€ë¶„ì�„ ì�´ì£¼í•˜ë ¤ê³ 하는ë�°, ì�´ë¯¸ì§€ ê°€ì ¸ì˜¤ëŠ” 부분ì�„ PHP로 하는ë�° 잘 안ë�˜ì„œìš”..
�글� 보면 부�드립니다...
암만 í•´ë�„ 안 ë�˜ì„œìš”.. freechal 앨범용량ì�´ 너무 ì»¤ì ¸ì„œ 앨범ì�˜ ì�¼ë¶€ë¶„ì�„ ì�´ì£¼í•˜ë ¤ê³ 하는ë�°, ì�´ë¯¸ì§€ ê°€ì ¸ì˜¤ëŠ” 부분ì�„ PHP로 하는ë�° 잘 안ë�˜ì„œìš”..
�글� 보면 부�드립니다...
늦게서야 보게 ë�˜ì–´ì„œ..; 지금ë�„ ìž‘ë�™ì�„ í• ëŸ°ì§€ëŠ” 잘 ëª¨ë¥´ê² ìŠµë‹ˆë‹¤. 알바때문ì—� ë°”ë¹ ì„œ ìœ ì§€ë³´ìˆ˜ë¥¼ 못하는 중ì�¸ì§€ë�¼.. freechal service UI ê°€ 바뀌면 깨지는 ë…€ì„�ì�¼ê²ƒì�¸ì§€ë�¼..; ì‚¬ìš©í•˜ê¸°ì „ì—� 필요한 ê²ƒìœ¼ë¡ Python 2.2x ë²„ì „ ì •ë�„와 MySQLdb ë�¼ì�´ë¸ŒëŸ¬ë¦¬ê°€ í•„ìš”í•˜ê³ ìš”. 해당 proper.py í™”ì�¼ì�„ ë§žì¶°ì£¼ì‹ ë’¤, freechalscript.py 를 실행해주시면 ë�©ë‹ˆë‹¤. ê°™ì�€ ì—í• ì�„ 하는 프로그램ì�€ http://www.perlmania.or.kr ì—�서 ë¨¼ì € 구현ë�œê±¸ë¡œ 기억합니다. 거기서 해당 강좌ë�„ 있ë�˜ê±¸ë¡œ 기억하오니 참조하세요. --1002
ìš°ì„ ê°�사합니다. ê·¼ë�° ì—�러가 나네요^^; ì œê°€ 현재 ì�´ë¯¸ì§€ ê°€ì ¸ì˜¤ëŠ” 부분ì�„ 처리를 ë�„ì €ížˆ ëª»í•˜ê² ëŠ”ë�°, 혹시 ì�´ 부분ì—�서 주ì�˜í•˜ì—¬ì•¼ í• ë¶€ë¶„ì�´ 있나요? pythonë�„ Header settingê°™ì�€ ê±° 하나요? ì „ PHP로 í•˜ê³ ìžˆê±°ë“ ìš”..
ì›�리는 보통ì�˜ ì�´ëŸ°ë¥˜ì�˜ 프로그램 (HTTP 로 문서 ê°€ì ¸ì˜¤ê³ ìŠ¤íŠ¸ë§� 파싱하여 ë�°ì�´í„°ë¡œ ê°€ê³µí•˜ê³ DBì—� ì €ìž¥) ì�´ 비슷합니다. 단, 앨범게시íŒ�ì�˜ 경우 로그ì�¸ì�´ 필요한ë�°, ì�´ 경우 ì¿ í‚¤ 처리를 위한 header settingì�„ í•´ì¤˜ì•¼ê² ì£ . Perl ê°™ì�€ 경우 LWP, Python ì�˜ 경우 ClientCookie, Java ì�˜ 경우 HttpUnit(ì›�래ì�˜ ìš©ë�„는 다르지만, ì�´ëŸ° 프로그램ì�„ 위한 ê°„ì�´ 브ë�¼ìš°ì € ë�¼ì�´ë¸ŒëŸ¬ë¦¬ë¡œ 쓸 수 있습니다.) 등ì�˜ ë�¼ì�´ë¸ŒëŸ¬ë¦¬ë¥¼ 쓸 수 있습니다. ê·¸ë¦¬ê³ , ì�´ë¯¸ì§€ì�˜ 경우는 해당 URLì�„ ë³´ê³ ë‹¤ì‹œ HTTP Connection ì�„ 열어서 얻어와서 binary로 ì €ìž¥í•´ì•¼ 한다는 것ì�´ ìœ ì�˜ì‚¬í•ì�´ ë�˜ê² 습니다. (HTMLë§Œ 얻어오면 img tag ì�˜ ë§�í�¬ë“¤ë§Œ ìžˆê² ì£ .) ê·¸ë¦¬ê³ header setting ì—�서 약간 미묘(?)한 부분ì�´ 있ë�˜ê²ƒ ê°™ë�˜ë�°, ì €ëŠ” ê±� webdebug 로 캡ì³�한거 그대로 보낸지ë�¼..; ì�´ 부분ì�€ CVSì�˜ 코드 참조하세요. --1002
ê°�사합니다. Imageê°€ì ¸ì˜¤ëŠ” 부분ì�´ ê·¸ ë�™ì•ˆ 안 ë�˜ì„œ í�¬ê¸°í•˜ê³ 있었는ë�°, ë�•ë¶„ì—� PHP로 해결했습니다.
ì œê°€ Header settingì�„ 잘못했ë�”êµ°ìš”.
ì œê°€ Header settingì�„ 잘못했ë�”êµ°ìš”.








