日本黄色片在线视频|国模无码一区二区三区|大香伊蕉国产短视频69|99精品日韩欧美在线观看|极品夜晚无码av一区二区|亚洲综合无码一区二区三区|国产亚洲精aa在线观看香蕉|日本2018一道国产高清视频

當(dāng)前位置:首頁 > 長沙網(wǎng)站建設(shè) > 什么是robots.txt?

什么是robots.txt?

本站原創(chuàng) 2430

robots.txt是搜索引擎中訪問網(wǎng)站的時候要查看的第一個文件。Robots.txt文件告訴蜘蛛程序在服務(wù)器上什么文件是可以被查看的。

  當(dāng)一個搜索蜘蛛訪問一個站點時,它會首先檢查該站點根目錄下是否存在robots.txt,如果存在,搜索機器人就會按照該文件中的內(nèi)容來確定訪問的范圍;如果該文件不存在,所有的搜索蜘蛛將能夠訪問網(wǎng)站上所有沒有被口令保護的頁面。

  robots.txt必須放置在一個站點的根目錄下,而且文件名必須全部小寫。

  語法:最簡單的 robots.txt 文件使用兩條規(guī)則:

  • User-Agent: 適用下列規(guī)則的漫游器

  • Disallow: 要攔截的網(wǎng)頁

發(fā)表評論
◎歡迎參與討論,請在這里發(fā)表您的看法、交流您的觀點。

  22:11:24
學(xué)海無涯  21:13:57
路過,學(xué)習(xí)了!

相關(guān)文章

ocpc二階如何拓量?

ocpc二階如何拓量?

點擊率這塊可以重點結(jié)合高級創(chuàng)意、視頻創(chuàng)意去撰寫;高的轉(zhuǎn)化率,要在基木魚多做頁面進行測試。二階之后,均價已經(jīng)不是首要關(guān)注要素,要重點關(guān)注轉(zhuǎn)化率、轉(zhuǎn)化量和轉(zhuǎn)化成本這些;排名可以不用重點關(guān)注;如果線索質(zhì)量差...

ocpc第二階段調(diào)整:究竟需要怎么調(diào)整?

ocpc第二階段調(diào)整:究竟需要怎么調(diào)整?

我們知道ocpc第二階段消費猛如虎,那么ocpc第二階段調(diào)整,應(yīng)該怎樣進行呢?...

百度ocpc跳過第一階段:這么做好不好呢?

百度ocpc跳過第一階段:這么做好不好呢?

現(xiàn)在的百度推廣ocpc是可以直接跳過第一階段的數(shù)據(jù)積累的,這樣能夠直接進入二階,采用的是零門檻或者低門檻,雖然這樣達到進入二階的目的,但是這樣會導(dǎo)致后面ocpc的效果不可控,因此,優(yōu)度站長是不建議直接...

百度ocpc怎么優(yōu)化?

百度ocpc怎么優(yōu)化?

由于現(xiàn)在百度ocpc的又是,越來越多的競價選擇加入百度ocpc了,但是真正能夠玩轉(zhuǎn)ocpc的競價人員又有多少呢?...

百度競價ocpc是什么?

百度競價ocpc是什么?

ocpc是目前大部分百度競價人員必學(xué)的一個知識,那么百度競價ocpc怎么跑?...