前幾日網(wǎng)上討論最多的話題就是新浪博客屏蔽了百度蜘蛛的爬行，以后我們做網(wǎng)站優(yōu)化要如何來做，等等這一方面的問題我們合肥網(wǎng)站建設(shè)那天也寫了一篇http://m.brightsparkadvertising.com/news/12/774.html這樣的文章。

　　開放百度的搜索引擎的User-Agent代碼

　　User-agent: Baiduspider

　　#限制不能搜索的目錄，Disallow: 為空時開放所有目錄####

　　Disallow: /admin/

　　Disallow: /include/

　　Disallow: /html/

　　Disallow: /queue/

　　Disallow: /config/

　　#開放bing.com的搜索引擎的User-Agent代碼

　　User-agent: msnbot

　　#限制不能搜索的目錄，Disallow: 為空時開放所有目錄####

　　Disallow: /admin/

　　Disallow: /include/

　　Disallow: /html/

　　Disallow: /queue/

　　Disallow: /config/

　　User-agent: bing

　　#限制不能搜索的目錄，Disallow: 為空時開放所有目錄####

　　Disallow: /admin/

　　Disallow: /include/

　　Disallow: /html/

　　Disallow: /queue/

　　Disallow: /config/

　　#限制的搜索引擎的User-Agent代碼，*表示所有###########

　　User-agent: *

　　#臨時限制對所有目錄的禁止抓取

　　Disallow: /

　　#限制不能搜索的目錄，Disallow: 為空時開放所有目錄####

　　##Disallow: /admin/

　　##Disallow: /include/

　　##Disallow: /html/

　　##Disallow: /queue/

　　##Disallow: /config/

　　#開放搜索的目錄有####################################

　　# /

　　# /advice/

　　# /help/

　　# /lm/

　　# /main/

　　# /myblog/

　　可以看出新修改的robots.txt文件中的寫法已經(jīng)完全支持各類主流搜索引擎抓取博客內(nèi)容，一個開放的新浪博客又回來了!

　昨為一個站長，我們現(xiàn)在又可以在新浪博客上寫一些自己文章，發(fā)外鏈了。對站長朋友也說也是一件很好的事情。