3.1 抓取友好性

抓取友好性是網(wǎng)站獲取搜索流量與用戶曝光的核心前提，百度蜘蛛對(duì)網(wǎng)站的抓取優(yōu)先級(jí)受多重因素影響。其中，網(wǎng)站的更新頻率直接關(guān)聯(lián)內(nèi)容新鮮度，持續(xù)產(chǎn)出高價(jià)值內(nèi)容的站點(diǎn)更容易獲得抓取傾斜；用戶體驗(yàn)表現(xiàn)優(yōu)異的網(wǎng)站，因其能滿足用戶需求，自然受到搜索引擎青睞；優(yōu)質(zhì)入口鏈接則通過(guò)傳遞權(quán)重信號(hào)，引導(dǎo)蜘蛛高效發(fā)現(xiàn)頁(yè)面內(nèi)容。歷史抓取效果良好的站點(diǎn)，因已建立穩(wěn)定的信任關(guān)系，會(huì)獲得更高的抓取優(yōu)先級(jí)；服務(wù)器的穩(wěn)定性是保障抓取流暢的基礎(chǔ)，頻繁宕機(jī)或響應(yīng)延遲將直接影響蜘蛛的抓取效率；同時(shí)，安全記錄無(wú)瑕疵的網(wǎng)站，因規(guī)避了惡意代碼、劫持等風(fēng)險(xiǎn)，更易被搜索引擎判定為可信資源。

##### 3.1.1 URL規(guī)范

URL作為頁(yè)面的唯一身份標(biāo)識(shí)，其規(guī)范性直接影響蜘蛛對(duì)頁(yè)面的識(shí)別效率。具體設(shè)置需嚴(yán)格遵循百度搜索資源平臺(tái)2.3.1章節(jié)中的URL設(shè)計(jì)準(zhǔn)則，確保結(jié)構(gòu)清晰、語(yǔ)義明確。

###### 3.1.1.1 參數(shù)控制

URL參數(shù)的設(shè)置需遵循簡(jiǎn)潔性與有效性原則。參數(shù)設(shè)計(jì)應(yīng)避免過(guò)度復(fù)雜，過(guò)多的動(dòng)態(tài)參數(shù)會(huì)增加蜘蛛解析難度，甚至導(dǎo)致頁(yè)面內(nèi)容無(wú)法被正確索引；同時(shí)，禁止使用無(wú)效參數(shù)，此類(lèi)參數(shù)對(duì)搜索引擎與用戶均無(wú)實(shí)際意義，易引發(fā)頁(yè)面重復(fù)或內(nèi)容丟失問(wèn)題。例如，部分站長(zhǎng)為統(tǒng)計(jì)訪問(wèn)行為而添加的追蹤參數(shù)（如`?s=a67b0e875ae58a14e3fcc460422032d3`），不僅無(wú)助于內(nèi)容識(shí)別，還可能因參數(shù)變化導(dǎo)致同一內(nèi)容生成大量相似URL，造成資源浪費(fèi)。又如過(guò)長(zhǎng)的動(dòng)態(tài)參數(shù)鏈（如`/;NTESnmtpSI=029FF574C4739E1D0A45C9C90D656226.hzayq-nmt07.server.163.org-8010#/app/others/details?editId=&articleId=578543&articleType=0&from=sight`），會(huì)顯著降低抓取效率，建議通過(guò)靜態(tài)化改造或參數(shù)精簡(jiǎn)優(yōu)化。

##### 3.1.2 鏈接發(fā)現(xiàn)

鏈接發(fā)現(xiàn)是蜘蛛發(fā)現(xiàn)并抓取頁(yè)面的關(guān)鍵環(huán)節(jié)，涉及蜘蛛識(shí)別、主動(dòng)推送等技術(shù)手段。

###### 3.1.2.1 百度蜘蛛識(shí)別

準(zhǔn)確識(shí)別百度蜘蛛是避免誤封、保障抓取的基礎(chǔ)。站長(zhǎng)需通過(guò)UA（User-Agent）與IP反查雙重驗(yàn)證：

- UA驗(yàn)證：百度移動(dòng)蜘蛛的UA已公開(kāi)，移動(dòng)端包括`Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0;+http://www.baidu.com/search/spider.html)`和`Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 likeMac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143Safari/601.1 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)`；PC端則為`Mozilla/5.0 (compatible; Baiduspider/2.0;+http://www.baidu.com/search/spider.html）`和`Mozilla/5.0(compatible;Baiduspider-render/2.0;+http://www.baidu.com/search/spider.html)`。非UA或UA格式不符的請(qǐng)求可判定為非百度蜘蛛。

- IP反查：通過(guò)DNS反向解析驗(yàn)證IP歸屬。Linux平臺(tái)下使用`hostip`命令，Windows平臺(tái)使用`nslookup`命令，Mac OS平臺(tái)使用`dig`命令，均需確認(rèn)IP對(duì)應(yīng)的hostname為`.baidu.com`格式（如建議使用公共DNS 8.8.8.8避免解析錯(cuò)誤），否則即為仿冒蜘蛛。

###### 3.1.2.2 普通收錄

普通收錄工具支持網(wǎng)站主動(dòng)推送數(shù)據(jù)，可顯著縮短蜘蛛發(fā)現(xiàn)新頁(yè)面的時(shí)間。當(dāng)前提供四種提交方式：

- API推送：實(shí)時(shí)性最強(qiáng)，建議站點(diǎn)當(dāng)日新產(chǎn)出的鏈接通過(guò)API即時(shí)提交，確保內(nèi)容第一時(shí)間被處理；

- Sitemap提交：將網(wǎng)站鏈接結(jié)構(gòu)化整理為Sitemap文件并周期性提交，適合內(nèi)容時(shí)效性要求不高的站點(diǎn)，但抓取速度慢于主動(dòng)推送；

- 手動(dòng)提交：適用于技術(shù)能力較弱或內(nèi)容量較少的站點(diǎn)，通過(guò)人工方式逐條提交鏈接；

- 插件自動(dòng)推送：借助插件實(shí)現(xiàn)數(shù)據(jù)自動(dòng)提交，降低人工操作成本。不同站點(diǎn)需結(jié)合屬性選擇：新聞?lì)愓军c(diǎn)優(yōu)先API推送，新驗(yàn)證平臺(tái)或靜態(tài)內(nèi)容站點(diǎn)適用Sitemap，小型站點(diǎn)可依賴手動(dòng)提交。

##### 3.1.3 網(wǎng)頁(yè)抓取

網(wǎng)頁(yè)抓取階段，蜘蛛對(duì)頁(yè)面的訪問(wèn)速度、返回狀態(tài)及內(nèi)容合規(guī)性進(jìn)行評(píng)估。

###### 3.1.3.1 訪問(wèn)速度

2017年10月推出的“閃電算法”明確將移動(dòng)端首屏加載速度納入排名考量：首屏加載時(shí)間≤2秒的頁(yè)面可獲得流量?jī)A斜，≥3秒的頁(yè)面則面臨排名打壓。提速需從資源加載與頁(yè)面渲染雙管齊下：

- 資源加載優(yōu)化：合并同類(lèi)資源并啟用服務(wù)器端壓縮，減少網(wǎng)絡(luò)請(qǐng)求次數(shù)與傳輸體積；引用通用資源并利用瀏覽器緩存降低重復(fù)加載；部署CDN加速，實(shí)現(xiàn)用戶請(qǐng)求就近調(diào)度；非首屏圖片、視頻等資源延遲加載，優(yōu)先保障首屏內(nèi)容呈現(xiàn)。

- 頁(yè)面渲染優(yōu)化：CSS樣式表置于頭部，避免渲染阻塞；JavaScript腳本移至文檔末尾或采用異步加載，防止JS執(zhí)行阻塞頁(yè)面渲染；為圖片、視頻等非文本元素指定寬高，減少瀏覽器重排重繪。站長(zhǎng)可參考MIP（移動(dòng)網(wǎng)頁(yè)加速器）等通用解決方案持續(xù)優(yōu)化加載體驗(yàn)。

###### 3.1.3.2 返回碼

HTTP狀態(tài)碼是服務(wù)器響應(yīng)的核心指標(biāo)，部分狀態(tài)碼直接影響SEO效果：

- 301（永久移動(dòng)）：資源已永久遷移至新位置，搜索引擎會(huì)自動(dòng)更新索引；

- 302（臨時(shí)移動(dòng)）：資源暫時(shí)失效，返回臨時(shí)替代頁(yè)（如首頁(yè)、404頁(yè)），需注意302僅適用于短期調(diào)整，長(zhǎng)期失效應(yīng)使用404；

- 404（未找到）：死鏈標(biāo)準(zhǔn)返回碼，死鏈提交工具要求嚴(yán)格返回404，若自定義404頁(yè)面返回200，易被判定為重復(fù)內(nèi)容；

- 403（禁止訪問(wèn)）、500（服務(wù)器錯(cuò)誤）、502（錯(cuò)誤網(wǎng)關(guān)）、503（服務(wù)不可用）、504（網(wǎng)關(guān)超時(shí)）：均屬服務(wù)器端錯(cuò)誤，需及時(shí)修復(fù)以避免影響抓取。

###### 3.1.3.3 robots

robots文件需符合百度蜘蛛的解析規(guī)范：不支持中文字符，建議使用英文及UrlEncode編碼（如`http://www.test.cn/%E7%89%B9%E6%AE%8A:%E6%B5%8F%E8%A7%88/%E7%94%9F%E6%AD%BB%E7%8B%99%E5%87%BB:%E7%99%BD%E9%93%B6%E5%8A%A0%E7%89%B9%E6%9E%97`），具體使用細(xì)則可參考4.3.4章節(jié)。

###### 3.1.3.4 死鏈

死鏈分為三類(lèi)：協(xié)議死鏈（404、403、503等狀態(tài)碼）、內(nèi)容死鏈（狀態(tài)正常但內(nèi)容失效）、跳轉(zhuǎn)死鏈（跳轉(zhuǎn)至錯(cuò)誤頁(yè)或首頁(yè)）。死鏈累積過(guò)多會(huì)降低用戶體驗(yàn)，并增加蜘蛛抓取負(fù)擔(dān)。站長(zhǎng)需通過(guò)死鏈提交工具（4.3.2章節(jié)）定期提交死鏈數(shù)據(jù)，確保搜索引擎及時(shí)清理無(wú)效頁(yè)面。

##### 3.1.4 訪問(wèn)穩(wěn)定性

穩(wěn)定性是保障抓取持續(xù)性的基礎(chǔ)，需關(guān)注以下維度：

- DNS解析穩(wěn)定性：中文站點(diǎn)優(yōu)先選擇國(guó)內(nèi)大型DNS服務(wù)商，避免使用存在穩(wěn)定性問(wèn)題的國(guó)外DNS（如.DOMAINCONTROL.COM），防止因解析失敗導(dǎo)致蜘蛛判定網(wǎng)站為“死站點(diǎn)”。

- 蜘蛛封禁管理：robots封禁、IP封禁、UA封禁需謹(jǐn)慎操作，誤封可能導(dǎo)致蜘蛛無(wú)法正常訪問(wèn)，臨時(shí)封禁后需盡快恢復(fù)。

- 服務(wù)器負(fù)載控制：避免因程序內(nèi)存泄露、服務(wù)混布不合理等問(wèn)題引發(fā)負(fù)載過(guò)高，需預(yù)留資源緩沖以應(yīng)對(duì)突發(fā)流量。

- 人為操作規(guī)范：建立嚴(yán)格的升級(jí)與操作流程，減少因人為失誤導(dǎo)致的訪問(wèn)異常。

##### 3.1.5 可訪問(wèn)鏈接總量

網(wǎng)站鏈接需具備“可窮盡性”，避免因URL動(dòng)態(tài)生成（如綁定用戶行為、搜索詞參數(shù)）導(dǎo)致“鏈接黑洞”，使蜘蛛陷入無(wú)限抓取循環(huán)。

3.2 頁(yè)面解析

頁(yè)面解析是蜘蛛識(shí)別頁(yè)面內(nèi)容的關(guān)鍵環(huán)節(jié)，直接影響搜索引擎對(duì)網(wǎng)站的評(píng)價(jià)。頁(yè)面被抓取是網(wǎng)站被發(fā)現(xiàn)的起點(diǎn)，而解析效果則決定了內(nèi)容能否被準(zhǔn)確理解與索引。

##### 3.2.1 頁(yè)面元素

###### 3.2.1.1 頁(yè)面標(biāo)題

標(biāo)題需符合“清風(fēng)算法”要求，禁止“文不對(duì)題”或“關(guān)鍵詞堆砌”等作弊行為。TDK（標(biāo)題、描述、關(guān)鍵詞）設(shè)置需注意：

- 搜索引擎可能根據(jù)用戶檢索詞動(dòng)態(tài)調(diào)整摘要展示，不完全依賴description內(nèi)容，site語(yǔ)法下的摘要差異不代表網(wǎng)站被懲罰；

- 需確保HTML代碼規(guī)范，避免因代碼錯(cuò)誤導(dǎo)致摘要解析異常（如亂碼）。

###### 3.2.1.2 主體內(nèi)容

內(nèi)容長(zhǎng)度需控制在128k以內(nèi)，過(guò)長(zhǎng)易被截?cái)?；同時(shí)需避免“空短內(nèi)容”（如需驗(yàn)證碼查看、登錄后可見(jiàn)），此類(lèi)內(nèi)容會(huì)被判定為低價(jià)值。優(yōu)化建議：

- 針對(duì)爬蟲(chóng)的優(yōu)化需將主體內(nèi)容前置，避免因圖片base64編碼等操作導(dǎo)致內(nèi)容截?cái)啵?/p>

- 未完成的內(nèi)容需通過(guò)robots封禁，避免提前被蜘蛛抓取。

###### 3.2.1.3 網(wǎng)頁(yè)發(fā)布時(shí)間

需添加規(guī)范的發(fā)布時(shí)間（如`2017-08-12 10:23:06`），避免亂用時(shí)間導(dǎo)致搜索引擎提取不可信。

###### 3.2.1.4 canonical標(biāo)簽

用于解決內(nèi)容重復(fù)問(wèn)題，同時(shí)關(guān)聯(lián)移動(dòng)端與PC端頁(yè)面。設(shè)置時(shí)需注意：

- 僅在head中添加單個(gè)`rel="canonical"`標(biāo)簽，避免重復(fù)；

- href地址需有效，不可指向死鏈或被robots封禁的頁(yè)面。

##### 3.2.2 落地頁(yè)體驗(yàn)

需符合《百度移動(dòng)搜索落地頁(yè)體驗(yàn)白皮書(shū)——廣告篇2.0》要求，嚴(yán)格控制廣告內(nèi)容、位置與大小，保障用戶體驗(yàn)。

3.3 頁(yè)面價(jià)值

##### 3.3.1 內(nèi)容價(jià)值

原創(chuàng)內(nèi)容需獨(dú)立創(chuàng)作，改編內(nèi)容需注明來(lái)源并補(bǔ)充增值信息，避免使用“admin”“佚名”等模糊署名。

##### 3.3.2 外鏈建設(shè)

外鏈需基于真實(shí)推薦意圖，指向內(nèi)容相關(guān)的高質(zhì)量頁(yè)面，避免無(wú)關(guān)鏈接、交換鏈接或指向作弊站點(diǎn)。同時(shí)需及時(shí)處理被黑頁(yè)面中的垃圾外鏈，防止權(quán)重流失。

##### 3.3.3 內(nèi)鏈建設(shè)

內(nèi)鏈需結(jié)構(gòu)清晰、版式一致，合理使用nofollow標(biāo)簽控制權(quán)重傳遞，避免因垃圾鏈接影響站點(diǎn)評(píng)價(jià)。

##### 3.3.4 anchor

錨文本需具有典型意義，與鏈接內(nèi)容相符，避免高頻無(wú)意義anchor，同一URL的anchor種類(lèi)不宜過(guò)多。