如何使用robots.txt文件屏蔽一个文件夹内的所有东西

2024-12-01 10:08:35
推荐回答(3个)
回答1:

下面的正确,如果是屏蔽一个文件夹的话,是需要加上斜杠的补充一点,设置好ROBOTS后,蜘蛛还是照常抓取,应该文件生效大概在一个月左右吗,所以不需要急。

回答2:

不用加,加上也会默认为不加的效果;和超链接一样的,可以加斜杠也可以不加,都会默认不加的效果

回答3:

下面的写法是屏蔽ABC这个文件夹,上面的写法不仅屏蔽ABC文件夹,还屏蔽ABC.html等以ABC为前缀的URL(如果有这样的URL的话)