如何進行robots.txt 中的robots優化設置

本篇文章為大家展示了如何進行robots.txt 中的robots優化設置，內容簡明扼要并且容易理解，絕對能使你眼前一亮，通過這篇文章的詳細介紹希望你能有所收獲。

1。你是否知道robots.txt中文的意思?
　　2。你是否知道404頁面應該屏蔽?
　　3。你的企業站，每個頁面是否都有“關于我們”，并且還得沒屏蔽掉?
　　4。你是否知道設置好robots.txt，是有利于提升網站整體權重?
　　5。你想知道robots.txt基本寫法?
　　6。robots.txt該如何寫，才優化最佳。
　　1。robots.txt的中文意思是：搜索引擎公共協議。搜索引擎到你的網站，是先看robots.txt，按照上面寫好的協議再抓取你的網頁。
　　2。每個網站都應該要有404頁面，假如沒有，會導致 1)減少網站PV 2)減少流量 3)搜索引擎對你的網站不有好，因為你的網站用戶體驗度不好。
　　每個網站都有很多錯誤頁面，每個錯誤頁面都應該做一個404頁面，那么每個404頁面都是一樣的。一旦你的404頁面太多，你還讓搜索引擎去收錄，就會導致網站把權重分給這些404頁面，這值得嗎?因此我們必須要屏蔽掉404頁面。
　　3。企業站的導航欄上面，往往會有“網上賺錢博客介紹”“聯系九月”“關于我們”這些頁面。這些頁面，可以說是全站顯示，網站的每個頁面幾乎都要分權重給這些頁面，但是這些頁面值得網站分權重給他們嗎?因此我們也必須屏蔽掉這些“不重要內容”的頁面，不讓搜索引擎抓取。
　　4。從3.4點，我們可以得出一個結論：網站如果有太多無關的頁面被收錄，而你又不想用戶直接從搜索引擎進入這些頁面，那么網站就會把權重分給這些“毫無意義”的頁面，這樣就會降低整體網站的權重。
　　簡而概之，就是網站被這些垃圾頁面所拖累了。
　　5。robots.txt的基本寫法。
　　在桌面上建立一個叫robots.txt文檔
　　以下內容按順序寫：
　　User-agent: *
　　Disallow: /wp-admin/
　　Disallow: /wp-content/
　　Disallow: /feed
　　Disallow: /comments/feed
　　Disallow: /trackback
　　Disallow: /guestbook
　　User-agent: #表示允許的搜索引擎。*代表允許所有，如果僅允許百度蜘蛛，就寫baiduspider
　　Disallow: #是禁止收錄的意思
　　Disallow: / #表示禁止所有收錄。直接再Disallow:后面加一個斜杠。
　　Disallow: /網站后臺目錄/ #屏蔽目錄的格式
　　Disallow: /404.html #屏蔽404頁面
　　robots.txt里面，任何空格，換行都是被忽略的。robots.txt只看命令的順序，空格、換行都是為了我們看的方便。
　　6。robots.txt該如何寫，才優化最佳?
　　看完了前面5點，相信你對如何優化最佳應該有一個很好的理解了。
　　1)屏蔽掉對網站沒用的垃圾頁面，比如404
　2)思考一下，你的哪些頁面雖然必須出現，但是你覺得沒必要讓用戶“從搜索引擎過來看”。比如福州SEO的“關于我們”。那么就不必被收錄。
　

上述內容就是如何進行robots.txt 中的robots優化設置，你們學到知識或技能了嗎？如果還想學到更多技能或者豐富自己的知識儲備，歡迎關注億速云行業資訊頻道。