五星云站融合人机区分技术搭建智能反爬虫体系
发布时间:2020-01-07浏览次数:46
目
网络上爬虫横行,轻则消耗网络和 资源,影响网站服务的访问速度,重则 网站无法访问
最热文章
行业资讯
目前网络上爬虫横行,轻则消耗网络和带宽资源,影响网站服务的访问速度,重则窃取企业产品信息,甚至让网站无法访问。
五星云站中借助极验等云服务商,基于人工智能,融合人机区分技术,层层过滤风险流量。
1.基于Headers和User-Agent信息识别爬虫
一般爬虫的IP代理分布都比较广,五星云站在日志里记录里每个请求的User-Agent信息,从中找出访问量最大的User-Agent,可以统计出每个爬虫的请求次数,对请求较多的爬虫进行封锁。
2.基于网站流量统计和分析查找爬虫
比较流量统计系统记录和服务器程序日志记录,如果服务器日志里某个IP发起了大量的请求,在流量统计系统里根本找不到,那么无疑就是一个网络爬虫。
3.智能识别
根据业务场景,不断收集爬虫信息,区分正面样本和负面样本。
4.IP限制
在后台对访问进行统计,如果一个IP地址在短时间内访问频率超过阈值,可以暂时对这个IP予以封锁,需通过验证码访问后才能继续访问,甚至可以禁止访问。