無名小站robots.txt阻擋非yahoo搜索服務觀察
看到破月的紅軍的文章Yahoo! + 無名小站 濫用市場地位、排除其他搜尋引擎 ?
搜尋了網路相關資料，發現確有其事。
因此運用這幾天學到的方法，開始蒐集相關資料。
目標鎖定彎彎～用漫畫寫日誌，因為它是全部各方面評比都第一名。
且它就是位於無名小站。
首先用google的blog搜索彎彎的網址，結果發現九成以上。
都只剩下連接，而沒有摘要等資料。
接著看一看部落格觀察對於彎彎的紀錄。
節錄兩個日期的資料如下：
2007-09-02 總分：556006
2007-08-26 總分：730967
觀察過去的成長狀況，的確有不尋常的情形。
如果更改的日期是8/23，一般搜索引擎蒐集資料都會間隔約一週。
推算是八月底，如果這樣那以上的資料的確可以支持影響已經造成。
想了解原因，所以到無名小站的客服論壇去了解一下。
發現那裡現在熱鬧得很，政府應該考慮派遣心理輔導團隊進駐。
避免客服人員精神上受不了….XD
找到了網誌搜尋不到，發文時間：07/10/02 9:55。這篇文章，列入追蹤。
原因是已經知道了，看看客服會如何回答這個問題。
回答來了，發文者：webFAQ15，發文時間：07/10/02 15:49。
內容：
您好～
搜尋引擎需要長時間的更新資料庫
所以不能保證您的帳號開啟多久就會加到資料庫內
請您多等待一段時間讓搜尋引擎自動更新喔～
其實這是yahoo!的商業政策，在無名與使用者的契約內容，
也沒有主張這個權益的保障。
對yahoo!來說，這樣做無非是要讓搜索引擎使用者愛用yahoo!。
因為現在yahoo!主要的收入來源在於Yahoo!奇摩搜尋行銷關鍵字廣告。
增加搜索服務的使用率，是當務之急。
雖然犧牲無名的部份商譽，但是畢竟台灣使用yahoo!的人還是佔多數。
這次的作法，應該屬於防禦性政策。
以後要換搜索引擎的人，心理會有個想法。
就是有部份的網站資訊可能會搜索不到。
想從網路經濟泡沫化的陰影中，殺出一條血路。
yahoo!已經完全是一個商業考量的經濟個體。
無法以高道德標準套用在它身上，呼籲使用者回頭去看看當初下一步跳過的服務條款。
那是yahoo!的下限，在那之上都是可能發揮的空間。
反過來看看wordpress.com的作法。
robots.txt的內容：
User-agent: IRLbot
Crawl-delay: 3600
User-agent: *
Disallow: /next/
User-agent: *
Disallow:
而且，於申請的時候或是之後都可以選擇自己的部落格，
是否同意其他搜索引擎進行內容的擷取。
設定位置在Privacy Options：
可以選擇的項目有：
1.I would like my blog to appear in search engines like Google and Sphere, and in public listings around WordPress.com.
同意搜索引擎對我的部落格內容進行擷取。
2.I would like to block search engines, but allow normal visitors
阻擋搜索引擎對我的部落格進行內容擷取。
3.I would like my blog to be visible only to users I choose
隱藏我的部落格，僅開放給我選擇的使用者瀏覽。
反觀yahoo!偷偷地進行的政策。
兩相比較之下，yahoo!的作法感覺粗糙而且無禮。
有了錢，就忘了商業行為間，還是需要「尊重」兩個字。
2007/10/19 後記
這個事件已經落幕，由於網友的串連發揮影響力，無名於2007/10/9取消了這個限制文件。
相關過程紀錄於BillyPan的文章中。
