?
seo培訓
關注微信公眾號
隨時掌握最新SEO技術

seo實戰培訓

報名咨詢客服QQ:2287933288

網站優化咨詢QQ:804079888

SEO禁止抓取與收錄機制

ID:439

作者:seo培訓  來源:未知  2020-03-18 09:48

  在我們優化網站中,有時候并不希望某些頁面被收錄,網站上不出現的鏈接,使用nofollow等方法都不能保證頁面不一定被收錄。
  抓取和收錄是不同的兩個過程。要確保頁面不被抓取,需要使用robots文件。要確保頁面不被收錄,需要使用Noindexmetarobots標簽。
 
  Robots文件
 
  只有在需要禁止抓取某些內容時,寫robots.txt才有意義。Robots文件不存在或者是空文件都以為著允許搜索引擎抓取所有內容。有的服務器設置有問題,robots文件不存在時會返回200狀態及一些錯誤的信息,而不是404代碼,這有可能使搜索引擎錯誤解讀robots文件信息,所以建議就算允許抓取所以內容,也要建立一個空的robots.txt文件,放在根目錄下。
 
  最簡單的robots文件
 
  User-agent:XXXXX
 
  Disallow:/
 
  這個robots文件禁止所有搜索引擎抓取任何內容。
 
  主流搜索引擎都遵守robots文件指令,robots.txt禁止抓取的文件搜索引擎將不訪問,不抓取。但要注意的是,被robots文件禁止抓取的URL還是可能被索引并出現在搜索結果中。
 
  Noindexmetarobots標簽
 
  Metarobots標簽是也沒head部分meta標簽的一種,用于指令搜索引擎禁止索引本頁內容,因而也就不會出現在所有結果中。
 
  最簡單的metarobots標簽格式:
 
  <metaname=”robots”content=”noindex,nofollow”>
 
  上面標簽的意義是禁止所有搜索引擎索引本頁面,禁止跟蹤本頁面上的鏈接。
 
  Google、必應、雅虎都支持的metarobots標簽如下。
 
  1、noindex:告訴蜘蛛不要索引本頁面;
 
  2、Nofollow:告訴蜘蛛不要跟蹤本頁面上的鏈接;
 
  3、Nosnippet:告訴搜索引擎不要在搜索結果中顯示摘要文字;
 
  4、Noarchive:告訴搜索引擎不要顯示快照;
 
  5、Noodp:告訴搜索引擎不要使用開房目錄中的標題。
 
  百度官方目前只支持nofollow和noarchive
 
  使用了noindexmetarobots標簽的頁面會被抓取,但不會被索引,頁面URL不會出現在搜索引擎結果中,這一點月robots文件不同。
 
  網上很多資料說metanoindex的作用是禁止抓取,這是錯誤的,正相反,要讓metarobots起作用,必須允許抓取,如果蜘蛛不抓取這個頁面,根本看不到metanoindex標簽。

<<SEO如何避免蜘蛛陷阱 seo文章的字數和SEO收錄有什么關系?>>

天蛛網絡專注 SEO培訓 ,大量學員已受益。

從建站到seo優化,一站式培訓,歡迎您來參加。報名QQ:2287933288。

? ? ?
seo實戰培訓
? 黄网站色视频免费毛片