上篇文章分析了使用robots.txt不能阻止網(wǎng)頁被抓取收錄的原因,那么,如何有效阻止網(wǎng)頁被收錄呢,方法是使用noindex元標記。
上篇文章分析了使用robots.txt不能阻止網(wǎng)頁被抓取收錄的原因,那么,如何有效阻止網(wǎng)頁被收錄呢,方法是使用noindex元標記。
要阻止某些網(wǎng)頁被搜索引擎抓取收錄,大家首先想到的方法應(yīng)該是使用 robots.txt 吧。不過,如果想禁止搜索引擎抓取某些網(wǎng)頁,使用 robots.txt 是不夠的。