爬行、抓取、索引、收录，指的都是什么？
一位读者在蜘蛛抓取配额是什么这篇帖子留言： 不对呀，这个index标签，是指告诉蜘蛛可以抓取该页面，那么noindex不就是不允许抓取该页面吗？！那么为什么文章最后的几个说明里有“noindex标签不能节省抓取份额。搜索引擎要知道页面上有noindex标签，就得先抓取这个页面，所以并不节省抓取份额。” 留言说明，这位读者并没有太明白什么是抓取，什么是索引，index和noindex标签的意义又是什 …
一位读者在蜘蛛抓取配额是什么这篇帖子留言： 不对呀，这个index标签，是指告诉蜘蛛可以抓取该页面，那么noindex不就是不允许抓取该页面吗？！那么为什么文章最后的几个说明里有“noindex标签不能节省抓取份额。搜索引擎要知道页面上有noindex标签，就得先抓取这个页面，所以并不节省抓取份额。” 留言说明，这位读者并没有太明白什么是抓取，什么是索引，index和noindex标签的意义又是什 …