全面的站点建设优化必然会有Robots、STEMAP、404页面、301重定向及网址标准化等内容。这些细节目的都在与给搜索引擎更有好的访问、抓取体验，辅助其更好地工作，因而才能给网站更好的权重、排名及流量，二者相辅相成。

　　1.Robots

　　Robots是一个文件。对于站点来说，后台文件肯定全部要禁止掉，网站所需要的元素都应该对搜索引擎开放，无论是静态、动态文件还是CSS、js及图片、音视频文件等。其他需要禁止抓取的文件比如容易造成蜘蛛陷入黑洞的动态文件或者搜索结果页面、打印页面等。

　　2.SITEMAP

　　STEMAP文件有三种，XML格式、TXT格式、HTML格式。HTML格式除了可以给蜘蛛看之外还可以给访客看，作为访问站点的指南针;TXT格式因为简洁便于蜘蛛爬取站点链接;而XML格式可以显示页面权重、时间等信息，给予搜索引擎更多信息，以决定站点页面的重要性。SITEMAP文件的目的在于作为站点结构、内链之外的一种方便搜索引擎蜘蛛爬取的补充，更好地让蜘蛛遍历全站而不担心陷人黑洞。

　　3.404页面

　　404页面的目的在于当蜘蛛或访客访问到不存在的页面时，能有更友好的访问体验，并且不浪费蜘蛛资源通畅地回到正常页面去，因此404页面通畅提供了可供访问的页面链接，比如热点、首页或者搜索框等控件。

　　4.301重定向

　　301重定向的目的在集权，尤其是在首页将非WWW域名或程序带有的index.html、index.shtml等页面重定向到seo.hkxiaopan.com上去发挥了很大作用。在网站改版或者动态页面指向相对应的静态页面上也有很大作用，比如给tag页面专门]生成了HTML静态文档，但是原动态链接仍旧可以访问，此时用301永久定向到静态文档，无论对集权还是对节约搜索引擎蜘蛛资源等各方面都有好处。网址标准化的另外一种做法即使用<base>标签。