企业微信服务商
当前位置:首页科研安全特性五星云站融合人机区分技术搭建智能反爬虫体系

五星云站融合人机区分技术搭建智能反爬虫体系

发布时间:2020-01-07浏览次数:46

网络上爬虫横行,轻则消耗网络和带宽资源,影响网站服务的访问速度,重则窃取企业产品信息,甚至让网站无法访问

五星云站中借助极验等云服务商,基于人工智能,融合人机区分技术,层层过滤风险流量。

 

1.基于Headers和User-Agent信息识别爬虫

一般爬虫的IP代理分布都比较广,五星云站在日志里记录里每个请求的User-Agent信息,从中找出访问量最大的User-Agent,可以统计出每个爬虫的请求次数,对请求较多的爬虫进行封锁。

2.基于网站流量统计和分析查找爬虫

比较流量统计系统记录和服务器程序日志记录,如果服务器日志里某个IP发起了大量的请求,在流量统计系统里根本找不到,那么无疑就是一个网络爬虫。

3.智能识别

根据业务场景,不断收集爬虫信息,区分正面样本和负面样本。

4.IP限制

在后台对访问进行统计,如果一个IP地址在短时间内访问频率超过阈值,可以暂时对这个IP予以封锁,需通过验证码访问后才能继续访问,甚至可以禁止访问。