日韩亚洲欧美色欲在线_精品无码aⅴ人妻受辱系列_大陆国语一级毛片_亚洲国产日韩不卡综合

Unknown robot (identified by 'spider')是什么意思?

日期:2021年04月23日 /人氣: /來(lái)源:本站原創(chuàng)

因國(guó)內(nèi)大部分虛擬主機(jī)限制了每月的流量,在通過(guò)空間商提供的控制面板查看訪問(wèn)流量時(shí)發(fā)現(xiàn)非瀏覽器瀏覽占去大量的流量,通過(guò)查看:
搜索引擎網(wǎng)站的機(jī)器人發(fā)現(xiàn)大量流量是被Unknown robot (identified by ‘spider’)、Unknown robot (identified by 'robot')消耗掉,除了百度,GOOGLE等常見(jiàn)搜索引擎蜘蛛外,有些不知名搜索引擎蜘蛛違規(guī)胡亂爬行我們的網(wǎng)站,造成流量被大量消耗和占用CPU資源,導(dǎo)致網(wǎng)站訪問(wèn)速度變慢,超出流量還需要單獨(dú)再付費(fèi)購(gòu)買流量,給客戶造成經(jīng)濟(jì)負(fù)擔(dān)。那么我們需要做一些設(shè)置將其屏蔽。為客戶快速解決這個(gè)問(wèn)題。 
robots.txt爬蟲(chóng)協(xié)議 對(duì)正規(guī)的搜索引擎會(huì)有效,但對(duì)一些不知名的搜索引擎可能會(huì)無(wú)效,現(xiàn)在GOOGLE被國(guó)內(nèi)封鎖,如果你的用戶是國(guó)內(nèi)客戶,可以將GOOGLE搜索引擎一起屏蔽掉。 以下代碼為:
禁止除百度、360外的一切搜索引擎索引你的網(wǎng)站
User-agent: Baiduspider
User-agent: 360spider
Disallow: User-agent: *
Disallow: /
 在網(wǎng)站根目錄下創(chuàng)建名為robots.txt的記事本文件,把以上代碼的紅色部份放到robots.txt內(nèi)即可。
User-agent為充許某個(gè)搜索引擎索引你的網(wǎng)站。如要增加搜狗:Sogou web spider、有道:YoudaoBot等,增加User-agent即可。

如果對(duì)代碼不熟悉,可以通過(guò)在線生成工具操作生成。http://tool.chinaz.com/robots/

作者:chuangxinkeji

上一頁(yè): PbootCMS程序后臺(tái)賬號(hào)密碼忘記了怎么辦   下一頁(yè): 如何檢查robots.txt是否錯(cuò)誤