Commit: e1b0b09a5f9eb53b88d3cd0618adf0d5cbaaee7d - newsfour (git)

news4 - RSS aggrigation system

Commit MetaInfo

• Révision: e1b0b09a5f9eb53b88d3cd0618adf0d5cbaaee7d (tree)
• l'heure: 2012-10-02 05:06:17
• Auteur: hylom <hylom@hylo...>
• Commiter: hylom

Message de Log

add tagging filter

Change Summary

• modified: Makefile
• modified: config.py.sample
• modified: css/gnews.css
• modified: fetcher.py
• add: filters/extractimg.py
• add: filters/tagging.py
• add: genkeywords.py
• add: keywords.txt.sample
• modified: templates/index.tmpl.html

Modification

--- a/Makefile
+++ b/Makefile
@@ -3,8 +3,17 @@ include install.conf
 
 DEPENDS=install.conf
 
-all: install.conf
+all: install.conf keywords.py
+	python gnews.py
+
+install: install.conf
 	rsync -av css/ $(INSTALL_DIR)/css
 	rsync -av js/ $(INSTALL_DIR)/js
 	rsync -av img/ $(INSTALL_DIR)/img
-	./gnews.py
+
+keywords.py: keywords.txt
+	python genkeywords.py < $< > $@
+
+clean:
+	rm -f $(INSTALL_DIR)/*.html
+	rm -rf $(INSTALL_DIR)/tag/*

--- a/config.py.sample
+++ b/config.py.sample
@@ -1,4 +1,5 @@
 # config.py
+# -*- coding: utf-8 -*-
 # configuration for gnews.py
 
 config = {
@@ -15,7 +16,7 @@ config = {
         'output_directory': 'outputs/tag',
         },
     'site_parameter': {
-        'name': 'OpenSource Antenna',
+        'name': 'SourceForge.JP Antenna',
         'css_directory': '/css',
         'js_directory': '/js',
         'tag_directory': '/tag',
@@ -33,12 +34,49 @@ target_rss = [
         'name': 'Slashdot Japan',
         'url': 'http://rss.rssad.jp/rss/slashdot/slashdot.rss',
         'source_url': 'http://slashdot.jp/',
-		'filter': 'slashdotjp',
+		'filter': ['slashdotjp',],
      },
     {
         'name': 'ITmedia',
         'url': 'http://rss.rssad.jp/rss/itmtop/2.0/itmedia_all.xml',
         'source_url': 'http://www.itmedia.co.jp/',
+        'filter': ['tagging',],
+     },
+    {
+        'name': 'So-netセキュリティ通信',
+        'url': 'http://security-t.blog.so-net.ne.jp/index.xml',
+        'source_url': 'http://security-t.blog.so-net.ne.jp/',
+        'filter': ['tagging',],
+     },
+    {
+        'name': 'Engadget Japanese',
+        'url': 'http://japanese.engadget.com/rss.xml',
+        'source_url': 'http://japanese.engadget.com/',
+        'filter': [
+            'tagging',
+            'extractimg',
+            ],
+     },
+    {
+        'name': 'ギズモード・ジャパン',
+        'url': 'http://feeds.gizmodo.jp/rss/gizmodo/index.xml',
+        'source_url': 'http://www.gizmodo.jp/',
+        'filter': ['tagging',],
+     },
+    {
+        'name': 'TechCrunch Japan',
+        'url': 'http://jp.techcrunch.com/feed/',
+        'source_url': 'http://jp.techcrunch.com/',
+        'filter': ['tagging',],
      },
     ]
 
+
+"""Template:
+    {
+        'name': '',
+        'url': '',
+        'source_url': '',
+        'filter': ['tagging',],
+     },
+"""

--- a/css/gnews.css
+++ b/css/gnews.css
@@ -27,4 +27,12 @@ header {
   font-weight: normal;
 }
 
-  
\ No newline at end of file
+.entry-footer {
+  border-bottom: 1px solid #D6D6D6;
+  margin-bottom: 1em;
+}
+
+.entry-header h3 {
+  line-height: 130%;
+  margin: 10px auto 1em;
+}
\ No newline at end of file

--- a/fetcher.py
+++ b/fetcher.py
@@ -42,15 +42,16 @@ class FeedFetcher(object):
         entries = [x for x in entries if x]
 
         if 'filter' in self._feed:
-            entry_filter = self._get_filter()
-            entries = [entry_filter(x) for x in entries]
+            filters = self._feed.get('filter', None)
+            for filter in filters:
+                entry_filter = self._get_filter(filter)
+                entries = [entry_filter(x) for x in entries]
             # remove entry which is None
             entries = [x for x in entries if x]
         return entries
 
-    def _get_filter(self):
+    def _get_filter(self, filter_name):
         'load filter by seed settings'
-        filter_name = self._feed.get('filter', None)
 
         # fallback when filter isn't defined
         if filter_name is None:

--- /dev/null
+++ b/filters/extractimg.py
@@ -0,0 +1,27 @@
+# filter for Image extraction
+# -*- coding: utf-8 -*-
+
+import re
+
+re_imgtag = re.compile(ur'''<img[^>]*src=["']([^'"]*?)["'].*?>''')
+
+def entry_filter(entry):
+    # 画像を削除
+    body = entry['body']
+    images = []
+    m = re_imgtag.search(body)
+    if m:
+        itr = re_imgtag.findall(body)
+        for url in itr:
+            images.append(url)
+        body = re_imgtag.sub('', body)
+
+    if len(images) > 0:
+        if 'images' in entry:
+            entry['images'].extend(images)
+        else:
+            entry['images'] = images
+    entry['body'] = body
+
+    return entry
+

--- /dev/null
+++ b/filters/tagging.py
@@ -0,0 +1,26 @@
+# filter for slashdot.jp
+# -*- coding: utf-8 -*-
+
+#import re
+from keywords import keywords
+
+def entry_filter(entry):
+    # キーワード文字列が含まれていればそれをタグに設定する
+    body = entry['body']
+    title = entry['title']
+    tags = []
+    for keyword in keywords:
+       keyname = keyword[0]
+       for key in keyword:
+           if body.find(key) >= 0 or title.find(key) >= 0:
+               tags.append(keyname)
+               break
+
+    if 'tags' in entry:
+        entry['tags'].extend(tags)
+    else:
+        entry['tags'] = tags
+    entry['body'] = body
+
+    return entry
+

--- /dev/null
+++ b/genkeywords.py
@@ -0,0 +1,22 @@
+#!/usr/bin/python
+
+import sys
+import re
+
+HEADER = """#
+# -*- coding: utf-8 -*-
+
+keywords = ["""
+
+FOOTER = """]"""
+
+print HEADER
+
+for l in sys.stdin:
+    l = l.strip()
+    terms = l.split(',')
+    t = "    (u'" + "',u'".join(terms) + "',),"
+    print t
+
+print FOOTER
+

--- /dev/null
+++ b/keywords.txt.sample
@@ -0,0 +1,152 @@
+AMD
+Amiga
+Android
+apache
+BeOS
+Blackberry
+BSD
+Caldera
+Chrome
+Chromium
+Comdex
+Compaq
+Debian
+Digital
+DRM
+EFF
+enlightenment
+EU
+Facebook
+Firefox
+GNOME
+GNU
+Google
+GUI
+HP
+IBM
+idle
+Intel
+iOS
+iPhone
+IT
+Java
+JAXA
+KDE
+Linux
+Mandrake
+Linuxcare
+Mac OS X,MacOS X
+Mozilla
+Namazu
+NASA
+Novell
+NTT
+Opera
+Oracle
+OS
+Perl
+PHP
+Python
+Quake
+Ruby
+Safari
+SGI
+SNS
+Sony,ソニー
+spam
+SuSE
+Gimp
+Transmeta
+TRON
+Twitter
+Ubuntu
+UNIX
+Wikipedia,ウィキペディア
+Windows
+Windows Azure
+Wine
+Ximian
+Yahoo,ヤフー
+YouTube
+Apple,アップル
+インターネット
+Internet Explorer,インターネットエクスプローラ
+Open Source,OpenSource,オープンソース
+ガンダム
+Cloud,クラウド
+game,ゲーム
+Corel,コーレル
+Star Wars,スターウオーズ
+Startrek,スタートレック
+Storage,ストレージ
+スパコン
+Slashdot,スラッシュドット
+セキュリティ
+ソフトウェア
+ターボリナックス
+TV,テレビ
+データベース
+Netscape,ネットスケープ
+ネットワーク
+ノートPC,ノートパソコン
+ハンドヘルド
+ハードウェア
+ハードウェアハック
+バイオテック
+バグ
+特許,パテント
+ビジネス
+ビール
+プライバシ
+プリンタ
+プログラミング
+ボットネット
+Microsoft,マイクロソフト
+メディア
+モニター
+モバイル
+リンク
+Red Hat,レッドハット
+ロボット
+ワーム
+中国
+交通
+AI,人工知能
+仮想化
+任天堂
+入力デバイス
+医療
+原子力
+IIS,国際宇宙ステーション
+地球
+地震
+娯楽
+宇宙
+広告
+情報漏洩
+携帯通信
+携帯電話
+政府
+政治
+教育
+数学
+日本
+日記
+映画
+暗号
+書籍
+検閲
+法廷
+海賊行為
+火星
+犯罪
+統計
+英国
+著作権
+軍事
+通信
+電力
+音楽
+スマートフォン,スマホ,スマートホン
+グラフィックカード,グラフィックスカード,GPU
+NTTドコモ,ドコモ

--- a/templates/index.tmpl.html
+++ b/templates/index.tmpl.html
@@ -58,17 +58,24 @@
               <div class="entry-continue">
                 <a href='${entry.link}'>［続きを読む］</a>
               </div>
-              <div class="entry-footer">
+              <div class="information">
                 <span>情報元：<a href='${entry.feed.source_url}'>${entry.feed.name}</a></span>
                 <span>（${date_format(entry.date)}）</span>
                 <span>タグ：</span>
                 % for tag in entry.tags:
                 <span>${tag} </span>
+                % if 'images' in entry:
+                <span>画像：</span>
+                % for imgurl in entry.images:
+                <span><a href="${imgurl}">*</a></span>
+                % endfor
+                % endif
                 % endfor
               </div>
             </div>
           </div>
           % endfor
+
           <div class="pagination pagination-centered">
             <ul>
               % for page in range(1, params.page.total + 1):