网站如何去除在搜索引擎中收录的旧链接?
发布时间:2010-04-25 来源:
通常一个网站比如是asp 经过改版后生成了静态,可是在搜索引擎中的收录却依然是以前旧的网页都是asp的,
最新生成的静态网页如何才能快速的被搜索引擎收录呢?
这就用到一个大家通常都忽略的文件 robots.txt,利用这个文件就可以告诉搜索引擎不要再收录网站之前的一些旧链接了。
具体的语法是这样的:
User-agent: *
Disallow: /admin/
Disallow: /conn/
Disallow: /cookies/
Disallow: /css/
Disallow: /cat.asp/
Disallow: /list.asp/
Disallow: /show.asp/
告诉搜索引擎不要收录的一些文件夹和文件,这样搜索引擎下次就不会再抓取这些文件的数据,而转向新的数据了
[相关文章]:
网站如何去除在搜索引擎中收录的旧链接?






