我们该如何建立robots.txt文件呢?

        Robots.txt文件告诉搜索引擎如何抓取您的网站,这使其成为一个非常强大的SEO工具。我们可以把不愿意被搜索引擎抓取的内容放进去,以及sitemap也要放进去。这样蜘蛛抓取tobots文件时候就会带上sitemap。
        以下是robots.txt示例文件的外观:
        User-Agent: *(这是同意所有浏览器爬取的标识)
        Allow: /wp-content/uploads/
        Disallow: /wp-content/plugins/
        Disallow: /wp-admin/
        在上面的robots.txt示例中,我们允许搜索引擎在我们的WordPress上传文件夹中抓取和索引文件。
        之后,我们禁止搜索机器人抓取插件和索引插件以及WordPress管理员文件夹。
        最后,我们提供了XML站点地图的URL。
        关于dede的相关内容和wordpress是一样的,将DEDE的(Disallow: /templets以及plus文件夹内部分文件禁止抓取)再添加上sitemap: https://fyw0906.com/sitemap.html地图。
        如果你还有其他不愿意被抓取的文件也是可以添加上的。
robots文件怎么写

你需要一个针对你的WordPress网站的Robots.txt文件吗?

        如果您没有robots.txt文件,那么搜索引擎仍会抓取您的网站并将其编入索引。但是,您将无法告诉搜索引擎他们不应抓取哪些页面或文件夹。
        当您第一次创建博客并且没有大量内容时,这不会产生太大影响。
        但是,随着您的网站不断增长并且您拥有大量内容,您可能希望更好地控制网站的抓取和编制方式。
        搜索机器人每个网站都有一个抓取数量的。这意味着他们在爬网会话期间抓取一定数量的页面。如果他们没有完成对您网站上所有网页的抓取,那么他们会在下一个会话中返回并继续抓取。
        这可能会降低您的网站索引速度,降低效率。
        您可以通过禁止搜索机器人尝试抓取不必要的页面(如WordPress/dede等管理页面,插件文件和主题文件夹)来解决此问题。
        通过禁止不必要的页面,您可以保存爬网配额。这有助于搜索引擎抓取您网站上的更多网页,并尽快为其编制索引。
        使用robots.txt文件的另一个好理由是,您希望阻止搜索引擎索引您网站上的帖子或页面。
        这不是向公众隐藏内容的最安全的方式,但它可以帮助您防止它们出现在搜索结果中。

我们该如何建立robots.txt文件呢?

        在dede内容管理系统中有关于sitemap生成的快捷操作,你也可以借助第三方软件生成,或者你可以直接手动生成但是我觉得这样麻烦了些。
        当我们把文件制作好后,上传到网站根目录,便可以向百度,360,搜狗等提交自己的网站地图了。
 

本文地址:我们该如何建立robots.txt文件呢? /seoyouhua/17.html

seo优化,快速SEO,robots,sitemap,文先生

您可能还会对下面的文章感兴趣: