成都龙马网络专业的网站建设优化公司专注企业网站建设,网站关键词排名优化,长尾词霸屏!
打开客服菜单
龙马网络官网
首页 > seo优化、seo技术 > Robots标签在seo中不可忽视的作用
Robots标签在seo中不可忽视的作用
编辑 :

龙马网络

时间 : 2018-10-24 10:25 浏览量 : 31

  被X-Robots标签阻挡

  什么是X-Robots标签?

  x-robots标签是位于 HTTP响应头 ,令网站能告诉搜索引擎或其他爬虫它们应否爬取该URL上的内容。在这点上,它与meta robots标签或robots.txt档非常相似。它的区别在于这条资料是位于HTTP 响应头而非页面原始码或robots.txt档内。

  基本x-robots标签:

  X-Robots-Tag: noindex

  与meta robots标签一样,x-robots标签可以带多个逗号分隔的值。

  以下是最主要的值:

  all: 默认值,对爬虫没有任何限制。

  noindex: 排除该URL的收录。

  nofollow: 不要跟随该页面上的链接。

  none: 不要对这页面进行任何动作(与"noindex, nofollow"一样)

  因x-robots标签是比较新的技术,因此应用和支持没robots.txt或meta robots标签广泛。百度,谷歌,必应和雅虎都支持它,但其他搜索引擎就未能确认。

  "被X-Robots标签阻挡"是什么意思?

  任何带"noindex"值x-robots标签的页面将不会被搜索引擎收录。这意味着这列表中的所有URL都不会被自然搜索用户所查找到。

  我应该怎样去利用这条资讯??

  查看这些URL中有没有你希望被自然搜索到的页面。如果你找到有不应出现在这列表中的页面,你应该从页面中移除这条标签 (或"noindex"值)。

  也许你也应该看看有没有你以为已用x-robots标签阻挡的页面却没出现在这个列表上的URL。标签有可能缺失或格式不正确。 (也有可能是Dragon Metrics并没有抓取这个页面。)


  • 超低建站费用

  • 具备营销能力

  • 强大SEO功能

  • 贴心售后技术支持

cache
Processed in 0.083386 Second.
cache
Processed in 0.083386 Second.