上篇文章分析了使用robots.txt不能阻止網頁被抓取收錄的原因,那么,如何有效阻止網頁被收錄呢,方法是使用noindex元標記。
要阻止某些網頁被搜索引擎抓取收錄,大家首先想到的方法應該是使用 robots.txt 吧。不過,如果想禁止搜索引擎抓取某些網頁,使用 robots.txt 是不夠的。