隨想意誌 – 第 10 頁 – 隨手寫些想到的東西

Syslog network traffic of Vigor 2910

2007/12/08Chiyuan Chien

從 Vigor 2910 剛買來就知道可以將網路流量 log 透過 Broso syslog 記錄下來，方式很簡單，在管理介面系統管理中將 syslogd server ip 設定上去即可。

設定上去後，/var/log/messages 果然就跑出來很多 2910 的 log。

[root@broso log]# tail -200f messages
Dec 7 22:53:31 my.router Vigor: Open port: 220.132.143.85:47549 -> 192.168.1.14:80 (TCP) Web
Dec 7 22:53:31 my.router Vigor: 459:44:35.110 wan->lan @S:R=13:1 p 220.132.143.85,47549 -> 192.168.1.14,www PR tcp len 20 48 -S 94932610 0 65535
Dec 7 22:53:35 my.router Vigor: WAN1 PPPoE ==> Protocol:LCP(c021) EchoReq Identifier:0x18Magic Number: 0x0 00 00 ##
Dec 7 22:53:36 my.router Vigor: WAN1 PPPoE <== Protocol:LCP(c021) EchoRep Identifier:0x18Magic Number: 0x1360 9b 98 ##
Dec 7 22:53:39 my.router Vigor: WAN1 PPPoE ==> Protocol:LCP(c021) EchoReq Identifier:0x19Magic Number: 0x0 00 00 ##
Dec 7 22:53:40 my.router Vigor: WAN1 PPPoE <== Protocol:LCP(c021) EchoRep Identifier:0x19Magic Number: 0x1360 9b 98 ##
Dec 7 22:53:43 my.router Vigor: WAN1 PPPoE ==> Protocol:LCP(c021) EchoReq Identifier:0x1AMagic Number: 0x0 00 00 ##
Dec 7 22:53:44 my.router Vigor: WAN1 PPPoE <== Protocol:LCP(c021) EchoRep Identifier:0x1AMagic Number: 0x1360 9b 98 ##
Dec 7 22:53:46 my.router Vigor: Local User: 192.168.1.14:80 -> 220.132.143.85:47549 (TCP) close connection
Dec 7 22:53:46 my.router Vigor: Local User: 192.168.1.12:1276 -> 220.132.143.85:80 (TCP) close connection
Dec 7 22:53:47 my.router Vigor: WAN1 PPPoE ==> Protocol:LCP(c021) EchoReq Identifier:0x1BMagic Number: 0x0 00 00 ##
Dec 7 22:53:47 my.router Vigor: WAN1 PPPoE <== Protocol:LCP(c021) EchoRep Identifier:0x1BMagic Number: 0x1360 9b 98 ##

但隨著時間越來越久，/var/log/messages 中紀錄太多了網路的 log，反而 messages 中該被注意的一些訊息被淹沒在茫茫 log 大海中，因此該想個辦法來將 log 分流到不同的檔案中。

在股溝中查了一下，得知 Vigor 系列的 router 基本上提供了下列的 device 來區分 log

local0: Firewall-Log
local1: VPN-Log
local2: User-Access-Log
local3: Call-Log
local4: WAN-Log
local5: ADSL Status & Traffic Statistics

於是便修改了 /etc/syslog.conf 如下

# Save Vigot 2910 Router network log

local0.* /var/log/vigor/firewall.log

local1.* /var/log/vigor/vpn.log

local2.* /var/log/vigor/user-access.log

local3.* /var/log/vigor/call.log

local4.* /var/log/vigor/wan.log

local5.* /var/log/vigor/adsl.log

重起了 syslogd 後，發現怎麼 /var/log/messaes 還是有 2910 的 log，再仔細察看了一下 syslog.conf，原來是第一行忘了將 local0~5 的 log，從 /var/log/messages 中濾除。修改如下：

*.info;mail.none;authpriv.none;cron.none;local0.none;local1.none;local2.none;local3.none;local4.none; local5.none /var/log/messages

重起 syslogd 後，果然 /var/log/messages 就已經不再出現 Vigor router 的 log 了。

Speeding up your web site

2007/11/26Chiyuan Chien

網站的回應速度快慢一直是攸關於使用者會不會停留下來繼續瀏覽最主要的關鍵。最近工作上也面臨到同樣的問題，網站回應速度不佳，客戶抱怨導致客群流失。除了提昇硬體容量跟頻寬這種暴力辦法之外（上級長官已經指示了，沒多餘預算可做容量提升），最後還是得回頭來看看系統面與 AP 面是否還有調整的空間。

Best Practices for Speeding Up Your Web Site 是 Yahoo 做效能調校時整理出來的 14 項 Rule，涵蓋了系統面與網頁程式開發時需注意的事項。各個 Rule 的細節這兒就不提了，有興趣的可自行至上述網址研讀即可。我僅針對 Rule 3 “Add an Expires Header” 拿來套用在 Broso Web 的設定，套用的結果的確效果顯著。

Broso 上的應用不外乎是部落格與相簿，所以網站上大部分都是靜態的圖檔、JavaScript、CSS。在沒有設定 Expires Header 之前，即使靜態圖檔內容並未改變，Browser 仍然會發個 Request 來 Broso Web 問問圖檔是否有更新。由於圖檔並未更新，於是 Apache 便會回覆 HTTP Result Code 304 (Not Modified)，因此 Browser 便繼續使用 local cache 上的原圖檔來顯示。下面的資料是從 Fiddler 所節錄出來的：

當網頁中的小圖檔眾多時，Browser 所發出詢問圖檔是否更新的 Request 以及 Web Server 所回覆的 304 (Not Modified) Response，將形成嚴重的 overhead。如果確定大部分的靜態資料都是很久才會做更新，便可以針對這類型的資料設定 Expires Header。

HTTP 協定中 Expires 這個 header tag，是由 Web Server 回覆給 Browser。舉例如下：

HTTP/1.1 200 OK
Date: Sun, 25 Nov 2007 15:58:58 GMT
Server: Apache/2.0.61 (Unix) mod_watch/4.3
Last-Modified: Sat, 17 Nov 2007 04:16:21 GMT
ETag: “1e6f13-216e-2d712f40”
Accept-Ranges: bytes
Content-Length: 8558
Cache-Control: max-age=259200
Expires: Wed, 28 Nov 2007 15:58:58 GMT
Content-Type: image/jpeg

Expires 欄位指示這個靜態圖檔一直到 2007/11/28 15:58:58 以後才會過期，因此 Browser 在這個時間之前都不會再發出任何 Request 到 Web Server 來詢問圖檔是否更新，直接使用 local cache 中的圖檔來顯示，所以所有的 304 (Not Modified) Response 都可以省了，便可減輕 Web Server loading 與頻寬，Browser 的顯示速度也會更迅速。

在 Apache 2.0 要啟用 Expires Header，需使用 mod_expires module。預設設定此模組並不會啟用，需重新編譯，並透過 configure 設定需加入此模組，Apache2 才會具有處理 Expires Header 的能力。

重新編譯 Apache2 的方法可以參考先前的文章 – Apache Basic / Digest Realm Authentication，這次我重新編譯 Apache 時使用的 configure 參數如下：

[root@broso httpd-2.0.61]# ./configure –prefix=/usr/local/apache2 –enable-auth-digest –enable-deflate –enable-expires

編譯完畢後，apache2 就具有處理 Expires Header 的能力了，此時便可進行 httpd.conf 的設定了（mod_expires 的詳細語法可參考 Apache Module mod_expires），針對需要設定 Expires Header 的文件種類與預計過期的時間進行設定。

# mod_expire 針對下列 MIME type 設定 Expires header
ExpiresActive On
ExpiresByType image/jpeg “access plus 3 days”
ExpiresByType image/gif “access plus 3 days”
ExpiresByType image/png “access plus 5 minutes”

ExpiresByType image/x-icon “access plus 4 weeks”
ExpiresByType application/x-javascript “access plus 2 weeks”
ExpiresByType text/css “access plus 2 weeks”
ExpiresByType application/x-shockwave-flash “access plus 4 weeks”

設定完畢，重新啟動 Apache2 即可。

再用 Fiddler 來驗證一下 Expires Header 有沒有生效。首先記得先清除 Browser cache，再瀏覽相簿首頁。隨便找一個圖檔來看看 Expires Header 是否已經出現？

再次瀏覽相簿首頁，看看第二次 Browser 是否還會發出 Request 來詢問圖檔是否更新？

敗 Expires 之賜，Browser 已經知道圖檔尚未過期，因此便只會發出 jsp 的 Request 了。

重回 21 歲的年代

2007/11/09Chiyuan Chien

上上禮拜跟同事團購了一台 Wii 回來之後，就每天在家裡狂練網球，準備部門 11 月中的 Wii 運動大賽。倒是這個體適能測驗，一天限制只能測一次，第一次測就 34 歲，還蠻符合年紀的。沒想到剛剛心血來潮測試一次，竟然讓我重回了 21 歲的年代！趕快拍照留起來紀念 :p

Post blojsom blogs with Windows Live Writer

2007/09/18Chiyuan Chien

最近在 survey 新網銀廠商時，部落格剛好是新網銀功能上的一個需求項目，看到其中一家廠商使用 Windows Live Writer 來作部落格文章發佈的工具，看起來還蠻不錯的，於是便想來試試看。

安裝了 Windows Live Writer 後，依照安裝精靈的指示，發現 blojsom 這套 blog 套件並不在預設支援的清單中，不過幸好 blojsom 支援 MetaWeblog API (XML-RPC) 的介面，只要修改一下 properties，就可以將 XML-RPC 的遠端發佈功能啟動。

研讀了一下 blojsom 的相關說明，blojsom XML-RPC 的發佈網址為 http://your.blog.com/blojsom/xmlrpc/blog-id/，不過測試了一下，卻發生 404 Not Found。再檢查了一下，才發現原來我的 Apache 設定原先只有將 /blojsom/blog/* 才交給 Application Server 去處理，當然 /blojsom/xmlrpc 就會發生 Not Found的問題了。

修正問題後，果然 Windows Live Writer 就能正確的找到隨想意誌，這篇文章就是用 Windows Live Writer 所編輯發佈的。

推薦大家試試 Windows Live Writer !!

Apache Digest Authentication – IE Workaround.

2007/08/13Chiyuan Chien

昨天設定好 Digest Realm Authentication 之後，測試過 IE7 / Firefox 2，看起來都沒什麼問題。結果今天到公司用 IE6 看的時候，竟然發現怎麼會有 400 Bad Request 錯誤..

查了一下子，才發現原來這是 IE 的 bug，原定身份檢核完畢後，任何連線 IE 都應該會自動帶上 Authorization 的 Header.

Authorization: Digest username=”cychien”, realm=”AWSTATS”, qop=”auth”, algorithm=”MD5″, uri=”/awstats/awstats.pl/”, nonce=”UBoBaJM3BAA=192135920c05c0d0ce0b89e69fbef6144b46ccad”, nc=00000002, cnonce=”a592556fde6ae1e828f360be6081d636″, response=”53580f5e52dd07e62ffa594865aeb1e2″

但碰到有 query string 的 URL 時，IE 就突槌了，摘錄 HTTP Header 資料如下就一切明瞭了

GET /awstats/awstats.pl/awstats.pl?framename=mainleft HTTP/1.1
….
….省略
Cookie: __utma=200320509.1007104159.1151628725.1187006067.1187006101.242; __utmz=200320509.1182908533.228.4.utmccn=(organic)|utmcsr=google|utmctr=%e9%9a%a8%e6%83%b3%e6%84%8f%e8%aa%8c|utmcmd=organic; phpbb2mysql_data=a%3A2%3A%7Bs%3A11%3A%22autologinid%22%3Bs%3A0%3A%22%22%3Bs%3A6%3A%22userid%22%3Bi%3A-1%3B%7D; control-commentControl=false; control-pluginControl=false; control-miscControl=false; control-mediaCastControl=false; rfolder-root=true; rfolder-??????=true; rfolder-??L???=true; __utmb=200320509; __utmc=200320509; JSESSIONID=GQGGcQPrYCQhzvCpyVKxJBGwmfNpy1cs2wXfy1bv1sgST9vSYyL1!-857858892

Authorization: Digest username=”cychien”, realm=”AWSTATS”, qop=”auth”, algorithm=”MD5″, uri=”/awstats/awstats.pl/awstats.pl?framename=mainleft“, nonce=”UBoBaJM3BAA=192135920c05c0d0ce0b89e69fbef6144b46ccad”, nc=00000003, cnonce=”8b98b9b1072e4c812443386f8363c07c”, response=”6d5c775889d9e631aed40cfafd19ce9a”

問題就出在 Authorization 的 uri 參數中，IE 的 bug 註定不會將 query string 附上，所以Apache 會認為與先前的 uri 不同，所以回覆 Bad Request.

針對微軟的老大心態，死就是不改他的 bug，所幸 Apache 從 2.0.51 之後也推出一組解決方案，藉以解決 IE query string 問題.

只要在 httpd.conf 中加上

BrowserMatch “MSIE” AuthDigestEnableQueryStringHack=On

只有針對 IE 瀏覽器，才會忽略 Authorization uri 參數的錯誤。經過測試果然有效。特別記錄一下..

Apache Basic / Digest Realm Authentication

2007/08/12Chiyuan Chien

最近想針對 Broso 特定系統統計功能做身份檢核的動作，於是稍微研究了一下針對 HTTP 協定中有關於身份驗證的機制。
HTTP 協定針對身份驗證分兩種模式，Basic Realm / Digest Realm。Basic Realm 僅將帳號密碼用標準 BASE64 來做編碼後，上送給 Web Server 來驗證，所以有心人其實可以透過 Sniffer 之類的軟體來進行側錄，再用 BASE64 解碼即可得知帳號密碼。

Digest Realm 則是為了解決上述 Basic Realm 的缺點，採用一般 Unix 儲存/驗證密碼的方式，每次瀏覽器要求連線，Web Server 會回覆一組隨機產生的 nonce value。瀏覽器則將帳號/密碼/nonce/GET(or POST)以及 URI 等參數，依指定的 hash function 做成訊息摘要( Digest)，再將 Digest 上傳到 WebServer 驗證，如此一來上送的 Digest 每次皆會不同，藉以避免被有心人士所側錄。

以上可參考 RFC 2617 – HTTP Authentication: Basic and Digest Access Authentication

Apache 已經實作上述兩種機制，mod_auth 模組僅支援 Basic Realm。而 mod_auth_digest 則是支援 Digest Realm。不過如果 Apache 是抓預先編譯好的的 binary，或是編譯時未特別指定，那麼預設是不包含 mod_auth_digest 模組。

步驟一：重新編譯 APACHE.

由於我先前的 Apache 2.0.55 並未特別指明要啟用 mod_auth_digest，於是我重新下載 Apache 2.0.59 回來重新編譯。
執行 configure 指令如下

./configure –enable-auth-digest –prefix=<APACHE_INSTALL_DIR>

如此編譯時就會自動將 mod_auth_digest 加入。接著作 make, make install 就完成了。

步驟二：產生 Digest 帳號密碼檔

接下來先產生一組帳號密碼設定檔，每組帳號密碼都需針對特定的 realm 獨立設定。需使用 <APACHE_INSTALL_DIR>/bin/htdigest 指令來產生密碼檔。
指令格式

<APACHE_INSTALL_DIR>/bin/htdigest -c <path>/<digest_password_file_name> <realm name> <user id>

-c 代表要產生一個新的密碼檔，如果檔名已經存在，就會被覆蓋。所以如果想繼續增加新的帳號密碼，就無須加上 -c 即可
後面接上密碼檔的路徑與檔名，以及要檢核密碼的 “領域(realm)” (意指瀏覽器 popup 視窗，提示輸入帳號密碼時，上面顯示的名稱)，最後是帳號名稱
之後 htdigest 會詢問兩次密碼後就完成建立密碼檔。

例如：我要針對 /mymrtg 與 /awstats 兩個目錄進行身份檢核，就需針對這兩個領域來建立帳號密碼

htdigest -c <somewhere>/digestpasswd “MYMRTG” <user_id>
htdigest <somewhere>/digestpasswd “AWSTATS” <user_id>

屆時瀏覽器提示帳號密碼輸入時，就會顯示目前要您輸入的領域是 MYMRTG 或是 AWSTATS

步驟三：調整 httpd.conf

針對每個要作身份檢核的的領域作設定

<Directory “<somewhere>/mymrtg”>
   AuthType Digest → 指定使用 Digest Realm Authentication
   AuthName “MYMRTG” → 指定領域名稱
   AuthDigestFile <somewhere>/<digest_password_file_name> → 指定帳號密碼檔路徑與檔名
   Require user <allowed user id> → 這裡指定允許使用的 user id

…
…
</Directory>

設定完畢重起 Apache 即可

圖片盜連進階版

2007/08/07Chiyuan Chien

續上篇防賊妙招！如何防止圖片被小偷盜連?

後來發現部分圖片是我自己發佈在一些我常去的討論區，或者是從股溝大神搜尋結果中連結過來的，以及直接在網址列打入網址時，Referer 會是空白。所以特別把上面這些情形給開放了。

設定調整如下：


# 防止人家盜連圖片, 擋 gif, jpg,png
SetEnvIfNoCase Referer "^http://broso\.twbbs\.org/" local_ref=1
SetEnvIfNoCase Referer "^http://www\.mobile01\.com/" external_ref=1
SetEnvIfNoCase Referer "^http://www\.play01\.com/" external_ref=1
SetEnvIfNoCase Referer "^http://www\.google\.com/" external_ref=1
SetEnvIfNoCase Referer ^$ blank_ref=1

<FilesMatch "\.([Gg][Ii][Ff]|[Jj][Pp][Gg]|[Pp][Nn][Gg] )$">
  Order deny,allow
  Deny from all
  Allow from env=local_ref
  Allow from env=external_ref
  Allow from env=blank_ref
  ErrorDocument 403 /thief.giff
</FilesMatch>

另外，還加了一個小圖，如果盜連圖片的人網頁上就會出現小偷的圖示 😛

嘿嘿..再繼續盜連沒關係])

防賊妙招！如何防止圖片被小偷盜連?

2007/07/30Chiyuan Chien

這兩天把 AWSTATS 給裝起來了，順道把 Apache Access Log 格式改成 Combined 格式，一併將 Referer 與瀏覽器/OS的類型一併記錄在Access Log 中。
開始紀錄了以後才發現，原來有人盜連我文章上的圖片。

220.132.143.85 – – [30/Jul/2007:00:02:46 +0800] “GET /blojsom/resources/default/20050911_azureus/step3.JPG HTTP/1.1” 403 357 “http://www.btpig.com/html/200702/649999.html” “Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-TW; rv:1.8.1.5) Gecko/20070713 Firefox/2.0.0.5”

按照 Referer 的網址連過去，果然又是大陸的網站。難怪先前沒事在看 Access Log 時，常常看到怎麼會只有圖片而沒有文章的的點擊紀錄。這下子得來想想怎麼防這些小偷。

股溝大神真是我的好朋友，有什麼問題問他，包準給你一個滿意的答覆。查了一下怎麼擋盜連圖片，大抵上都是說要透過 HTTP Header 上的 Referer 來達到阻擋的效果。

所謂 Referer 是指，瀏覽器在進行 HTTP Request 時，會自動將上一個 URL 放在 Referer 中。於是乎，如果是正常連結過來圖片，Referer 必然是從 broso.twbbs.org 所連結過來的。所以只要 Referer 不是 broso.twbbs.org，那就不用客氣了，殺無赦!!

於是調整了一下我的 Apache httpd.conf，增加參數如下：


# 防止人家盜連圖片, 擋 gif, jpg,png
SetEnvIfNoCase Referer "^http://broso\.twbbs\.org/" local_ref=1
<FilesMatch "\.([Gg][Ii][Ff]|[Jj][Pp][Gg]|[Pp][Nn][Gg] )$">
  Order deny,allow
  Deny from all
  Allow from env=local_ref
</FilesMatch>

稍微解釋一下

SetEnvIfNoCase 這一行，指的是任何 Referer 開頭是 http://broso.twbbs.org/ 都設定環境變數 local_ref 為 1
接著用 FilesMatch Tag，針對任何 gif/jpg/png 結尾的檔案進行檢查，有設定環境變數 local_ref 的要求才允許讀取

改完後，重起以後就可以了…

秋郊海報

2007/07/15Chiyuan Chien

從來沒想過自己也會需要學 PhotoShop。敗今年被選為部門福委之賜，公司的秋郊海報被交辦由我來製作。
以前 PhotoShop 對我來說是個超大型的繪圖處理軟體，我平常使用的不外乎圖檔 resize，調調顏色飽和度。殺雞焉用牛刀，這種技巧實在是用不著這套軟體，所以我也從來沒認真學過怎麼使用 PhotoShop。
這下子可糟了，硬著頭皮被逼著開始找資料學著使用。幸好有先前的秋郊海報圖檔可以參考，所以也不用一切重頭開始。大約搞了一個禮拜，才終於弄了三張出來，也許技巧熟練的人兩天就弄出來了說。:p

貼在這裡紀錄一下。

海報 1

海報 2

海報 3

參考網址：
PhotoShop 之巧妙製作繩子及其應用

EXIFTool

2007/05/13Chiyuan Chien

過去拍完 raw 檔，回來後製轉檔為 jpeg 時，常用的軟體是 BreezeBrowser Pro，這套軟體好處是批次處理方便，出去旅遊回來動輒上百張的照片，如果一張張用 Canon 附贈的 DPP 來轉檔，那不知道要轉到什麼時候，這時候用 BreezeBrowser Pro 就很好用。然而，我覺得 BreezeBrowser Pro 轉出來的 jpeg 檔畫質總是沒有 DPP 來得細緻，但是為了節省時間似乎也只能暫時妥協。

DPP 從 2.0 以後就加入了批次處理的功能，同時還加上了 Canon 特有的 Picture Style 參數調整，於是批次處理照片不再是夢靨。最近 DPP 更新推出 3.0 版本，還加上了雜訊抑制的功能，讓原本雜訊純淨度有極佳表現的 Canon CMOS，這下子更是如虎添翼。

於是最近幾次的後製，就開始轉為使用 DPP 來批次轉檔。不過發現了另一個問題，DPP 似乎轉檔時，並不會將所有的 EXIF tag 完整複製到轉出的 jpeg 檔中，只保留少許重要的資訊，例如：曝光模式、白平衡、閃燈等資訊就付之闕如。真是有一好沒兩好。

於是又求助股溝大神，看看別人是如何解決這個問題，找了很久只有人提到這個問題，但也沒人說該怎麼解。最後找到有人提到 EXIFTool 這套小工具，可完整從 raw 檔複製所有的 EXIF tags 到指定的檔案中，於是就解決我的問題，只要將 DPP 轉出來的 jpeg 再用這個小工具從 raw 檔將 EXIF 複製過來即可，而且這個工具是用 perl 寫的，所以在 Linux 上寫個 shell script 去做批次複製更是沒問題。

寫了下面的 script 來做批次轉檔



#!/bin/sh

if [ $# = 0 ]; then
    echo "Usage : copy_exif.sh <RAW_SOURCE_FOLDER>"
    exit
fi

RAW_SOURCE_FOLDER=$1

for file in `ls *`
do
    if [ -f $file ]; then
        PREV_FILENAME=`echo $file|awk -F"." '{print $1}'`
        EXT_FILENAME=`echo $file|awk -F"." '{print $2}'`

        RAW_FILE_LOWER=$RAW_SOURCE_FOLDER/$PREV_FILENAME.cr2
        RAW_FILE_UPPER=$RAW_SOURCE_FOLDER/$PREV_FILENAME.CR2
        EXIFTOOL_BACKUP_FILE=`echo "$file"_original`

        if [ -f $RAW_FILE_LOWER ]; then
            echo Copying EXIF tags from $RAW_FILE_LOWER to $file
            exiftool -TagsFromFile $RAW_FILE_LOWER $file
            rm $EXIFTOOL_BACKUP_FILE
        else
            if [ -f $RAW_FILE_UPPER ]; then
                echo Copying EXIF tags from $RAW_FILE_UPPER to $file
                exiftool -TagsFromFile $RAW_FILE_UPPER $file
                rm $EXIFTOOL_BACKUP_FILE
            fi
        fi
    fi
done

用法為在轉檔完畢的 jpeg 目錄下面執行，給定一個 raw 檔的來源目錄即可

copy_exif.sh <RAW_SOURCE_FOLDER>