1. 每當(dāng)用戶試圖訪問某個(gè)不存在的URL時(shí)，服務(wù)器都會(huì)在日志中記錄404錯(cuò)誤（無法找到文件）。每當(dāng)搜索蜘蛛來尋找并不存在的robots.txt文件時(shí)，服務(wù)器也將在日志中記錄一條404錯(cuò)誤，所以你應(yīng)該在網(wǎng)站中添加一個(gè)robots.txt。

　　2. 網(wǎng)站管理員必須使蜘蛛程序遠(yuǎn)離某些服務(wù)器上的目錄——保證服務(wù)器性能。比如：大多數(shù)網(wǎng)站服務(wù)器都有程序儲(chǔ)存在“cgi-bin”目錄下，因此在robots.txt文件中加入“Disallow: /cgi-bin”是個(gè)好主意，這樣能夠避免將所有程序文件被蜘蛛索引，可以節(jié)省服務(wù)器資源。一般網(wǎng)站中不需要蜘蛛抓取的文件有：后臺(tái)管理文件、程序腳本、附件、數(shù)據(jù)庫文件、編碼文件、樣式表文件、模板文件、導(dǎo)航圖片和背景圖片等等。

　　下面是VeryCMS里的robots.txt文件：

　　User-agent: *

　　Disallow: /admin/ 后臺(tái)管理文件

　　Disallow: /require/ 程序文件

　　Disallow: /attachment/ 附件

　　Disallow: /images/ 圖片

　　Disallow: /data/ 數(shù)據(jù)庫文件

　　Disallow: /template/ 模板文件

　　Disallow: /css/ 樣式表文件

　　Disallow: /lang/ 編碼文件

　　Disallow: /script/ 腳本文件

　　3. 如果你的網(wǎng)站是動(dòng)態(tài)網(wǎng)頁，并且你為這些動(dòng)態(tài)網(wǎng)頁創(chuàng)建了靜態(tài)副本，以供搜索蜘蛛更容易抓取。那么你需要在robots.txt文件里設(shè)置避免動(dòng)態(tài)網(wǎng)頁被蜘蛛索引，以保證這些網(wǎng)頁不會(huì)被視為含重復(fù)內(nèi)容。

　　4. robots.txt文件里還可以直接包括在sitemap文件的鏈接。就像這樣：

　　Sitemap: http://www.***.com/sitemap.xml

　　(此處請(qǐng)?zhí)顚懲暾鸘RL，如果按習(xí)慣填寫Sitemap: /sitemap.xml，提交后會(huì)提示：檢測(cè)到無效的 Sitemap 網(wǎng)址；語法錯(cuò)誤)

　　目前對(duì)此表示支持的搜索引擎公司有Google, Yahoo, Ask and MSN。而中文搜索引擎公司，顯然不在這個(gè)圈子內(nèi)。這樣做的好處就是，站長(zhǎng)不用到每個(gè)搜索引擎的站長(zhǎng)工具或者相似的站長(zhǎng)部分，去提交自己的sitemap文件，搜索引擎的蜘蛛自己就會(huì)抓取robots.txt文件，讀取其中的sitemap路徑，接著抓取其中相鏈接的網(wǎng)頁。