URL优化的作用跟站点在baidu的权重关联性不大，可是对录入、蜘蛛和传递权重有显着的提高。霜天尽管不常发贴可是常常观察到大多数SEO的发问都是录入怎样怎样欠好，权重怎样怎样不高，霜天也观看过许多站点，许多基础的工作完全都处于模糊的状况。试想换一种思路，站长变成spider来你的站，霜天信任大多数站长自个都跑不通。这儿霜天只给出url优化的几个重关键。
1.URL一致性：URL一致性是一个十分重要的目标，spider是一种机器程序，而非人脑，尽管也有学习的进程，可是国内网站千千万，每个网站有不一样的url标准，你假设url命名规则乱七八糟，spider又怎能高效的区分你的内容标准？这儿举个自个觉得做的比较好的case：“下载吧”。读者能够去翻阅下载吧的网站。他的主体构造为：主页=>列表页=>内容页。这儿量体裁衣，只是举例也许并不合适你的站点。
霜天剖析到他的优化权重承载页为他的内容页。而baidu有“偏权重”的说法，所以他把一切的列表页统一用downlist/1~*.html的写法。没有给予列表页过于集权也防止了“偏权重”的影响。这姿态spider能够很自在的识别，只要在downlist目录下面的(数字.html)都归于他的列表页，层次明晰，爬取也很流畅。而他的集权重心在于内容页。内容页统一url为html/1~*.html经过标签优化和链轮把权重导向给html下面的目录。“偏权重”会集在html目录下。spider也很明晰的能够判别/html目录下面的(数字.html)都归于内页，层次明晰、爬取流畅，权重传递的也很会集，这也归于集权的一种做法。自然录入好权重高了。
2.偏权重：经过霜天的剖析发现，每个站点的流量是有会集点的。这个从爱站的东西里边我们能够看出来，这儿拿霜天一个客户和朋友的网站给我们做做事例。
同一个网站90%的流量都出自于某个目录，在这儿面内容类型内容质量都是一样的。信任我们在自个作站进程中也有所领会，baidu会倾向给权重到某个目录。考虑到这个问题，url一致性和目录计划就更重要了。
3.匍匐原理：蜘蛛匍匐原理有深度优先和宽度优先这儿分开说一下：
(1)深度优先：深度优先适用于一些大站，蜘蛛很渴望得到他的内容，比方新浪网易他们的目录很长，也能录入。假设霜天们给蜘蛛一个线程只能爬取一个页面，匍匐轨迹：主页-封面页-频道页-内容页，那么你网站的构造是：主页=>xxx/a=>xxx/a/b=>xxx/a/b/c/1.html=>。蜘蛛会沿着你的深度进入，可是无论多大的站，你的深度也有必要有限，不然蜘蛛不也许无穷尽的发掘进入，爬累了自然就会脱离。并且内容也没带回去。
(2)宽度优先：这个是霜天十分推重的，并且霜天一切新站都是这种作用。霜天自个建了5天的站，蜘蛛浏览800次。作用阐明在扁平化的今日，宽度优先是能够让蜘蛛十分高效的匍匐和回来的。url构造xxx/a/xxx/b/xxx/c/这类的叫宽度优化，匍匐轨迹：主页-频道页A-频道页B-频道页C/主页-频道页A-内容页A1-内容页A2-内容页A*
综上所述。本来能够看出：宽度优先的功率显着高于深度优先。并且蜘蛛的使命种类也单一，十分简单识别。同一线程爬取的几乎是同一类型页面，页面款式，外观相同。蜘蛛不用花时间过于的去剖析你的页面内构造，层次明晰。
4.爬虫黑洞：这个问题不是啥新问题了。baidu也有做专门的论述，由于一些url处理不妥发生的动态参数后缀，或是故意圈住蜘蛛所做的无限循环，这种的作用显着是弊大于利。对URL的计划上必定要想方法尽也许的处理掉无限动态参数后缀，并且也要合理的给蜘蛛出口，这才是真实有利于SEO的做法，对于处理爬虫黑洞的方法这儿霜天不做多解说。《巧用robots防止蜘蛛黑洞》。
霜天声明：baidu没有“权重”，文章中提及的“权重”字样仅为站长自个观点。
文章由长沙SEO霜天 编辑整理.
想了解最新SEO技术，请访问：wenq6.sg-host.com或者点击这个连接
您有任何疑问欢迎加QQ30115776咨询。
2016-06-18