網(wǎng)站robots.txt文件的重要性和設(shè)置方法
發(fā)布日期：2012-07-19
robots.txt是什么？robots.txt是搜索引擎機(jī)器人到我們網(wǎng)站第一個訪問的文件，robots的功能就是指定搜索引擎可以在我們網(wǎng) 站抓取的內(nèi)容范圍。
robots文件放在我們網(wǎng)站的根目錄下，是搜索引擎第一個訪問的文件，重要性不言而喻，很多新手站長沒有設(shè)置robots文件，雖 然網(wǎng)站還是會被搜索引擎正常抓取，但是搜索引擎訪問不到robots這個頁面會返回一個404錯誤，對SEO不利，所以不論你懂不懂 ，最好設(shè)置一個robots.txt文件，就算是空的也行。
那么正規(guī)的robots文件該如何設(shè)置呢？robots里面含有兩個函數(shù)，User-agent和 Disallow。
舉例個robots.txt,不懂的朋友可以根據(jù)自己的網(wǎng)站情況，作為參考。
User-agent: *
Disallow: /admin/ 后臺管理文件
Disallow: /require/ 程序文件
Disallow: /attachment/ 附件
Disallow: /images/ 圖片
Disallow: /data/ 數(shù)據(jù)庫文件
Disallow: /template/ 模板文件
Disallow: /css/ 樣式表文件
Disallow: /lang/ 編碼文件
Disallow: /script/ 腳本文件
佛山SEO的robots文件是這樣設(shè)置的
User-agent: *
Disallow:
新手朋友只要按照我這樣設(shè)置就行了，它的用法是允許搜索引擎抓取所有頁面。如果你的網(wǎng)站正在建設(shè)，還需要修改，不想搜索 引擎抓取，你可以這樣設(shè)置：
User-agent: *
Disallow: /
加一個/的意思就是不允許搜索引擎抓取網(wǎng)站的所有內(nèi)容。網(wǎng)站建設(shè)完畢之后記得改回來喔，要不然會嚴(yán)重影響收錄的。
推薦閱讀：
網(wǎng)站優(yōu)化內(nèi)部結(jié)構(gòu)如何避免網(wǎng)站進(jìn)入蜘蛛陷阱？
網(wǎng)站關(guān)鍵詞分布不同其優(yōu)化注意事項也不同
SEO優(yōu)化人員必知的特殊的高級搜索指令集合
新手SEOer要謹(jǐn)記的八不要原則
Google pr總是出人意料，現(xiàn)在又更換了API地址
