nni's blog

[クローラー部]
・RSSを読む　cronで30分に1度起動
・RSS解析
　- htmlアドレス取得
　- htmlをget　html解析して　"Date Submitted: 2006-mm-dd hh:mm" 　を得る
　- localのdata-file(日付別に生成)にstore (date,time,html-address)
　　data-fileは　種別+日付.dat　という感じか? (ex. TL_060730.dat , TE_EU_060730.dat )
　　RDBにストアするように組むと後処理が楽なんだろうけど....べたべたにtextで書いちゃうほうが楽と判断(というかskillない)
　　data-file最終行のdate+timeと比較して新しいものだけを足していく、というlogicで問題ないか実データで要確認
　
　
[評価部]
・cronで1日1回起動(Trek内の時刻はJST+10?[要確認] だとするとJST14時過ぎがある意味キリが良い?)
・一週間前の日付のデータを評価する
・データファイルからhtml-addressを得て、get
　- 404(page was not found) なら捨てる
　- "Date Submitted: ", "Viewed: ", "Favorites: ", "Points: " を取る(ないのもある)
　- score として、viewed*10 / (nowtime - date_submitted)[hoursで取る] とする
　　評価としてFavorites(お気に入りに登録している人数)、Points(Critiquesでgoodだと+2など)も絡めるかは検討したいところ。正直重み付けが難しい。
　- resultとしてファイルに書き出す
　
[output部]
・なんとなく分けておいたほうがtimeoutとかの影響を受けないかなぁと　cronでJST15時過ぎとかでいいのかな?
・resultを読んで、scoreの高いところから各エリアごとに5枚ないしは10枚を選定
　配列5 or 10用意して、読んで比較でいいや(うわー
・選ばれたhtmlをgetして解析してサムネイルファイルをこちらにcopy
・htmlを作成　trek06mmdd.html　とかそんな感じ
・トップhtmlを修正して、新しくできたhtmlへのリンクを追加
　
　
こんな感じで、それぞれの日ごとに、uploadして一週間のview数のランキング上位が
TL:10
TN:10
Africa:5
Asia:10
EU:10
ME:10
NA:10
Oc:5
合計70枚出てくると。(Central&South Americaは旧方式でよろしくだｗ)
この中からだけ選ぶということなら、dailyに楽勝だなｗ
　
ま、正直
　
　
こんなんでいい写真選べると思ってんのか( ゜д゜)、ペッ
　
と激しく思うんですけどねｗｗｗ
　
# あと、2回すべてのhtmlをなめるわけで......(あくまでテキストデータだけではあるけど)
# 特に評価時のぺろ～んがアク禁にならないかとっても心配；＿；
　
# あ、最初にRSSで読むときは、RSSにうまった時刻とDate Submittedが同じならhtmlまで読む必要ないのか　こりゃ要確認すな