第一(yī)，合理設置網站的roobots文件。網站roobots文件有以下(xià)幾個重要作用:             
       1、有效屏蔽網站站内的死鏈接。
       2、可以分(fēn)别設置不同權重的重要頁面。比如一(yī)些廣告闆塊，一(yī)些僅僅爲了展示給用戶但是并不希望蜘蛛抓取參與排名計算的頁面，都可以用roobots屏蔽抓取。
       3、對于網站後台或者一(yī)些比較隐私的内容進行屏蔽。在這裏筆者告訴大(dà)家兩點robots.txt文件的基本語法。
       第一(yī)條是：User-agent，即搜索引擎蜘蛛的名稱;
       第二條是：Disallow，即不允許抓取的部分(fēn)。當然還有一(yī)些通配符以及具體(tǐ)的細節用法我(wǒ)們可以百度搜索下(xià)，或者參照一(yī)些seo類的書(shū)籍進行設置，總之網站roobots文件是必須設置的，它是明确告知(zhī)搜索引擎對于網站抓取級别的總大(dà)綱是蜘蛛訪問網站的第一(yī)個訪問文件，所以一(yī)定要在優化過程中(zhōng)予以重視。

第二，爲網站設置合理的網站地圖。

   網站地圖是引導蜘蛛快速抓取整個網站目錄結構非常有效的途徑，地圖顧名思義，我(wǒ)們一(yī)般去(qù)一(yī)個陌生(shēng)的城市都會購買一(yī)份當地的地圖，通過地圖可以直觀的看到自己所在的地點和目标地點的直接距離(lí)，從而選擇合适的出行方式。而網站地圖也是一(yī)個道理，蜘蛛猶如一(yī)個陌生(shēng)人，來到我(wǒ)們站點之後通過對于網站地圖的熟悉，就能輕而易舉的對于整體(tǐ)網站路徑有個明确的認知(zhī)，接着有主意對于權重頁的判斷和甄别主要表現在對于更新頻(pín)繁的欄目進行有效的抓取，對于一(yī)些更新率低或者不更新的欄目，降低爬行次數甚至不爬行，就網站本身而言一(yī)個動态的網站地圖有助于提高網站的收錄速度。

第三，對于網站源文件的清理和減肥。

     網頁源文件代碼的有效處理是站内優化非常關鍵的一(yī)個環節，我(wǒ)們知(zhī)道蜘蛛的抓取方式和我(wǒ)們經常出行乘坐的公交車(chē)是一(yī)個道理，遇到車(chē)流高峰勢必會出現很大(dà)程度的擁堵，而臃腫的代碼勢必會造成蜘蛛訪問的瓶頸，那麽，具體(tǐ)我(wǒ)們要如何進行代碼減肥呢?比如去(qù)掉無用的空格，對于css文件、JS文件進行合并操作，最好獨立出來放(fàng)到單獨的外(wài)部文件中(zhōng)，通過頭部引用來導入所需頁面中(zhōng)，尤其是布局頁面，建站之初就要想到代碼優化的細節點，比如可以使用css和div進行頁面布局，表格有時候爲了布局需要不得不增加很多無用的冗餘代碼，這些都是代碼減肥的細節要點。

第四，爲網站設置404和301跳轉。

   404頁面主要是針對網站錯誤鏈接而生(shēng)的，由于網站改版、轉移空間、備份恢複等勢必會造成網站很多錯誤頁無法訪問的問題，很多時候自己不注意還發現不了，但是這些錯誤頁對于網站用戶的傷害是非常大(dà)的，影響了用戶體(tǐ)驗，這個時候404頁面，就是告訴用戶，這個頁面不存在，然後通過一(yī)個回路鏈接導入網站其他部分(fēn)，這樣不是非常友好的給用戶提示了嗎(ma)，通過回路可以讓客戶繼續逗留在網站之中(zhōng)，增加了用戶的停留時間，從而降低跳出率。

另外(wài)，301也是常用的手段，主要是爲了網站設置首選域的問題，一(yī)般站長會将不帶www的域名永久重定向到www主機頭上面去(qù)，另外(wài)網站域名在更換的時候或者重新申請新域名時也常常采用這種手法。就是将不在使用的域名永久重定向到現在的這個新域名上，這樣新域名就很好的繼承了原來域名的權重，非常有利于網站權重的繼續穩定的延續。