第一，网站站内结构的优化。主要包括，做好采用扁平化的网站结构，说直白点一般都是将栏目生成并列的方式链接层次尽可能的短，彼此栏目之间的权重是均分的，这种结构方式非常有利于蜘蛛对于目录下的内容进行很好的抓取，也非常有利于网站优化。其次，导航最好采用面包屑的方式，比如A5这样的首页?搜索?新闻列表.这种导航方式就是典型的面包屑导航，用户看到之后非常的一目了然，明确自己在网站上具体的停留位置是什么?对于蜘蛛而言也是通过这样非常清晰的地址找到所需，作为结构方面的优化细节，这两大步骤是最关键的。
第二，网站站内关于页面和相关文件设置的细节优化。首先，网站地图的设置，一般的开源程序都会自动生成sitemap网站地图，而一些动态程序比如自己开发的网站系统，就要想方设法的自己为网站建立合适的站点地图了，为了省事大家可以百度以下在线xml地图，可以在网站上线完善之后，利用软件为网站生成相关的站点地图，然后404错误页面和301重定向设置，404页面就是网站出现问题的时候我们为用户和搜索引擎提供的默认引导页面，这个页面可以设置一些友好的提示信息，并给出用户首页地址，让其继续访问其他页面，不至于出现很多程序代码弄的用户不知所措，最后离开我们的站点。 最后，nofollow标签的合理利用。nofollow标签是集中权重非常重要的标签之一，我们知道网站上线之后比如联系我们、关于我们等单页面我们只需要用户看到就行，没必要让搜索引擎对于这些页面计算权重，这个时候就可以使用nofollow标签将其屏蔽掉，让蜘蛛明白这个页面不需要蜘蛛访问，快点访问其他页面吧!这样可以大大提升蜘蛛对于有效页面的抓取效率。
