如何适当地屏蔽搜索引擎蜘蛛_常见问题_奇迪科技(深圳)有限公司(www.qvdv.net)

利用好“Robots.txt”文件，适当屏蔽一些网站的内容、目录禁止搜索引擎收录，有利而无害。那么我们该屏蔽哪些目录呢？
        1.可以屏蔽模板目录
    在一个网站中，模板目录、模板文件很常见，这些模板文件有可能会被蜘蛛捉取，但被捉取的这些内容没有任何的作用，所以有必要屏蔽这些目录和文件。
        2.可以屏蔽缓存目录
    一般的网站，都会存在缓存目录，里面存在的缓存文件的内容和正常页面的内容是一样的。如果蜘蛛捉取到重复的内容，就会影响到搜索引擎的收录、影响到权重，所以说很有必要屏蔽缓存目录，禁止被捉取，以免出现重复的索引内容。
        3.可以屏蔽CSS目录
    按道理来说，蜘蛛是不会捉取CSS文件的，但我们为什么需要屏蔽该目录呢？之所以屏蔽CSS目录，是因为为了提升搜索引擎的索引的质量而已，所以也有屏蔽的必要。