一、網站異常
1、連接錯誤
無法連接或者連接建立后對方服務器拒絕。
2、抓取超時
抓取請求連接建立后,下載頁面速度過慢,導致超時,可能原因服務器過載,帶寬不足。
3、連接超時
抓取請求連接超時,可能原因服務器過載,網絡不穩定??梢栽俅螠y試抓取
4、dns異常
當Baiduspider無法解析您網站的IP時,會出現DNS異常??赡苁悄木W站IP地址錯誤,或者域名服務商把Baiduspider封禁。請使用WHOIS或者host查詢自己網站IP地址是否正確且可解析,如果不正確或無法解析,請與域名注冊商聯系,更新您的IP地址。
二、鏈接異常
1、服務器錯誤
爬蟲發起抓取,httpcode返回碼是5XX。
2、找不到頁面
爬蟲發起抓取,httpcode返回碼是404。
3、訪問被拒絕
爬蟲發起抓取,httpcode返回碼是403。
4、其他錯誤
爬蟲發起抓取,httpcode返回碼是4XX,不包括403和404。
網頁抓取異常?受什么因素影響?當網站出現抓取異常的時候,這是會對網站的關鍵詞排名出現很多影響的,從而也會導致網站排名出現一定的波動,降低搜索引擎對網站的信任度,因此就會給網站帶來很多的負面影響。