网络推广

13790245227

东莞seo-东莞网站优化-东莞网络推广

用robots.txt文件屏蔽抓取还会被收录吗?

用robots.txt文件屏蔽抓取还会被收录吗?做seo做的越久,一些越基础的东西越是容易被人忽略掉,例如robots.txt文件,这个文件对于每个网站都是必备的,他对于蜘蛛抓取有引导作用,避免浪费蜘蛛资源。以前听过人这么说过:robots.txt文件屏蔽了网站,那么网页这么都不会收录,可事实是这样的吗?

今天趁着这个机会,给大家讲讲这个东西,先来上一张图,希望大家能够认真看下。

用robots.txt文件屏蔽抓取还会被收录吗?

在这张图里,我们可以很明显的看到某宝网上的收录描述块写着:“由于该网站的robots.txt文件存在限制指令(限制搜索引擎抓取),系统无法提供该页面的内容”。有些人可能就奇怪了,既然屏蔽了,不允许蜘蛛抓取了,为什么还会收录呢?

在这里大家可能有个SEO错误的操作经验,可能由于惯性思维,认为屏蔽抓取的页面就不会收录,其实搜索引擎蜘蛛抓取、爬行、索引(收录)都是不同的概念,很多人在学习seo技术的时候,对这些概念很容易混淆,导致在优化的过程中长时间达不到自己想要的效果。

什么是robots协议文件?他是搜索引擎与网站双方协定规矩的一种文件,而且是双方认可、认同的。假如搜索引擎不遵守robots协议,还很有可能还会因为不正当竞争引起法律上的纠纷。robots文件通常放网站根目录上,蜘蛛访问的网站之前会先看这个文件,如果禁止了就不会去抓取了。

用robots.txt文件屏蔽抓取还会被收录吗?

之所以某宝网会出现收录的情况,原因是搜索引擎从其他渠道如外链,了解到了这个页面,导致虽然从禁止抓取了,但还是看到了该链接以及链接的标题,但里面的内容信息他是不爬行的。

好了,关于用robots.txt文件屏蔽抓取还会被收录吗这个问题,答案是会的,但是屏蔽大多数情况之下还是不会收录。想要留住网站流量,robots文件必不可少,如果大家真的不想让页面被收录可以指定页面屏蔽蜘蛛ip,这样就完全抓取不到了,当然也是有弊端的。

关键词:

相关文章

暂无相关文章