【安全告警分析之道：四】扫描识别（上）

做扫描识别的目标是准确地发现恶意扫描，交于运营人员进行后续操作。这里就涉及到两点，第一是“恶意”，实际上，扫描只是搜集信息的一种行为，本身并不一定是恶意的，学术界和工业界往往会因某些原因（如完成科学研究、网络空间引擎（如shodan）、网络存档（Internet Archive）行为）发起扫描行为，这些扫描行为并不会对企业造成危害，理论上可以忽略；第二是“扫描”，扫描行为在告警上最直观的感受就是在短时间内触发大量告警，可是在网络空间内有大量的行为与之类似，造成干扰，需要设计更加精确的算法将这些行为与扫描行为分离。

在所有的干扰行为中，最明显的属于搜索引擎的爬虫行为[2]。搜索引擎会爬取目标网站的资源数据，当这些数据比较敏感时，就会触发告警。如图1所示，百度爬虫每天会触发大量安全设备的告警，且告警类型众多，图2为告警的payload样例，可以明显看出“User-Agent”字段中包含有“Baiduspider”的标志。实际上，除了百度，其他各大厂商（如google，bing）的爬虫也会触发大量告警。这些爬虫行为虽然与扫描行为类似，但严格意义上讲并不属于扫描行为，需要从算法上将两种行为区分开来。

图1. 百度爬虫触发的告警样例

• 为了满足扫描行为在拓扑上的差异，需要选择“sip”，“dip”字段，从而观测是一对一、一对多、还是多对一的扫描类型
• 为了符合扫描的基本特性（短时间内触发大量告警），需要选择“timestamp”字段，判断告警产生的密集程度。
• 为了检测不同类型的扫描，需要针对性的选择不同字段，如：对于漏洞扫描，该行为会触发大量不同类型的告警，“log_message”字段就需要考虑；对于弱口令扫描，需要提取“payload”字段中的用户名和密码信息，若payload为密文（如ssh登录），则从网络侧告警中无法检测；对于Web漏洞扫描，需要对考虑“q_body”,”r_body”字段，对请求体和响应体做一定的解析处理
• 为了过滤大量的干扰行为，如爬虫、正常用户登录、web渗透测试等。需要考虑许多其他字段：‘r_body’中的响应码，爬虫一般会扫描已经存在的资源，而扫描行为一般扫描攻击者自己想要的资源，大概率不存在，一般会触发“4XX”响应码；q_body中URL的文件类型，爬虫一般访问一些静态资源，如图片、视频类型（.jpg, .mp4等），而扫描一般访问可以进行渗透或者获取重要信息的资源，如 php文件、asp文件、mdb（数据库）文件等；

参考文献

绿盟科技研究通讯由绿盟科技创新中心负责运营，绿盟科技创新中心是绿盟科技的前沿技术研究部门。包括云安全实验室、安全大数据分析实验室和物联网安全实验室。团队成员由来自清华、北大、哈工大、中科院、北邮等多所重点院校的博士和硕士组成。

绿盟科技创新中心作为“中关村科技园区海淀园博士后工作站分站”的重要培养单位之一，与清华大学进行博士后联合培养，科研成果已涵盖各类国家课题项目、国家专利、国家标准、高水平学术论文、出版专业书籍等。

我们持续探索信息安全领域的前沿学术方向，从实践出发，结合公司资源和先进技术，实现概念级的原型系统，进而交付产品线孵化产品并创造巨大的经济价值。

长按上方二维码，即可关注我