百度官方教你三步輕松解除百度蜘蛛封禁_揚(yáng)州森禾網(wǎng)絡(luò)
經(jīng)常有運(yùn)營人員問，為什么我的網(wǎng)站或智能小程序資源的內(nèi)容非常優(yōu)質(zhì)，但是沒有查詢到百度蜘蛛抓取記錄，或在百度搜索中沒有得到收錄和展現(xiàn)？ 這有可能是部分網(wǎng)站或智能小程序存在封禁百度蜘蛛的情況，導(dǎo)致百度蜘蛛無法正常抓取，所以無法在百度搜索中正常收錄和展現(xiàn)。 常見的封禁行為包括robots封禁、封禁百度UA、封禁百度IP等。
如何驗(yàn)證網(wǎng)站和智能小程序是否存在封禁百度蜘蛛的情況？
快來按照以下方法自查吧~
1、自查robots.txt文件 首先， 開發(fā)者們先查看robots.txt文件，是否存在封禁記錄。一般robots.txt文件放置在網(wǎng)站根目錄下~
【建議方案】如果存在robots封禁的情況，請開發(fā)者們及時(shí)修改或者刪除robots.txt文件。
2、自查是否封禁百度UA 如果開發(fā)者們自查robots.txt文件無異常，可以進(jìn)一步排查是否存在封禁百度UA情況。
1 執(zhí)行代碼進(jìn)行自查 執(zhí)行以下命令進(jìn)行排查： curl--head--user-agent'Mozilla/5.0 (compatible;Baiduspider/2.0;+http://www.baidu.com/search/spider.html)'--request GET 'xxxxxxx' xxxxxxx為網(wǎng)站域名，如：http://www.abc.com 注意：如果站點(diǎn)正常，不存在封禁百度UA的情況，則其返回碼是200，如出現(xiàn)其他返回碼為異常。
2 變更瀏覽器進(jìn)行UA驗(yàn)證 通過觀察站點(diǎn)資源在其他瀏覽器是否得到正常的抓取和收錄，來判斷網(wǎng)站是否有封禁百度UA的情況。
【建議方案】查看網(wǎng)站反爬蟲策略，進(jìn)行策略調(diào)整，解除百度UA封禁；或者針對百度UA添加策略白名單。
3、自查是否存在IP封禁 如果以上驗(yàn)證均無異常，開發(fā)者們則可以排查是否存在IP封禁的情況。 常見的IP封禁，源自網(wǎng)站的防火墻系統(tǒng)配置，需要查看防火墻配置系統(tǒng)后臺，檢查是否存在百度蜘蛛的IP級別封禁措施。
