爱奇艺分布式漏洞扫描系统

在企业内部，部署漏洞扫描器，供研发、测试、运维团队使用，尽早发现和修复安全漏洞，可以显著地降低线上系统被黑客攻击沦陷的风险。

爱奇艺拥有数十万域名和IP资产，覆盖常见操作系统，包括大量主机设备、交换设备、移动设备、IoT设备。在这些设备上，又运行着种类丰富的应用程序。我们设计了一套 "爱奇艺云扫描" 系统，用于在内部高效地发现漏洞。在部署30个节点时，云扫描每月完成超过一亿次端口安全检查，其中，耗时的重型web扫描任务达到50万次，并且保证了极低的误报率。

爱奇艺云扫描由3大功能模块组成： 

1. Web 

2. Monitor

3. Scan Node

Web用于管理任务、漏洞、各类资产，提供对外接口。

Monitor用于主动资产发现、执行扫描策略、执行定时任务、处理邮件通知。

Scan Node运行着4大扫描插件：端口发现插件、Web漏洞扫描插件、通用漏洞插件、信息泄露插件。插件之间互不通信，扫描任务只通过中央的任务队列来管理。

资产发现得越全，扫到漏洞的几率越大。云扫描结合多种方式，尽可能多、尽可能快地发现内部资产：

1. 监控新域名的生效

2. 监控新机器（IP）的创建和上线

3. 全网PING，发现新的存活IP

上述主动资产发现可在半小时内完成。云扫描使用了优先级任务队列：新发现的资产，将以最高优先级添加到扫描队列。从新域名（IP）发现 -> 端口发现 -> 逐个端口完成漏洞检查，整个流程将在90分钟内结束。

云扫描是一个高度自动化的系统，由策略执行模块来管理扫描队列，系统7x24小时不间断执行巡检任务。同时，内部员工还可以在平台内自助提交扫描任务。自助任务最高优先级插队后，立即开始扫描。巡检策略遵循以下基本原则：

1. 外网资产优先 

2. 高危漏洞插件优先

通过组合资产和插件集，执行基础扫描策略。

云扫描支持对全网任意范围（选取任意 IP、域名、端口、服务）一键发起应急扫描。快速应急能力建立在插件快速部署的基础上，我们支持插件的快速上线和自动重载：

1. 插件完成代码review，合并到master分支后，自动触发rsync同步到所有扫描节点

2. 变更或新增插件后，POC框架自动reload，无需重启扫描进程，保证了扫描连续不中断、不丢任务消息、不丢中间结果

当情报监控到一个严重的通用漏洞爆发，安全团队在取得可用POC后，可以快速开发上线扫描插件，进行全网排查。“应急扫描” 功能如下图所示：

使用过滤器选定目标域名、IP、端口、服务，再勾选所需的 插件，一键提交，即可发起全网应急，简化了应急响应流程。

云扫描支持对大部分漏洞进行一键自动化验证。常规的扫描报告在提单前都需要经过安全工程师的人工验证，我们认为，能够机器确认的漏洞，不应该浪费人力再次进行人工分析。一键验证目前的实现方式是：

1. 将指定漏洞写入Redis

2. 扫描器从Redis取走验证任务，进行常规扫描，将结果写回Redis

      3. 用户在Web界面轮询扫描结果，60秒内返回验证结果

云扫描支持一键提交漏洞单，这得益于扫描器进行了完善的资产管理：域名和IP都可以精准找到业务owner。另外，通过对接值班表，归属特定业务的安全漏洞，将会直接分配给当天值班人员，提高处置效率。

云扫描不断在发现新的漏洞，本着外网漏洞优先处理的原则，我们对存在漏洞的外网端口，是否已经暴露给攻击者，进行了二次确认，用于确定处置优先级。

云扫描Agent将端口分块投递给部署于海外的扫描服务，海外节点完成检测，返回结果给Agent程序，再由Agent更新端口数据库。如下图所示：

在云扫描后台中，如果一个存在漏洞的目标，是外部攻击者可以访问的，会以红色高亮标记，提醒安全人员尽快提单处置。如下图所示：

扫描节点上的插件，每隔10分钟投递一次心跳，在管理员面板中，可以查看节点在线状态。一旦插件意外离线，系统会邮件告警，提醒尽快排查离线原因。下图示例将3台Win主机上的端口扫描插件离线：

“统计功能” 展示了指定时间范围内发现和提交的漏洞数，各个扫描插件执行的任务数量，下图是最近7天数据，可以查看系统的整体效率：

端口扫描分为3种模式：

1. Fast模式：内部维护的 TOP 1000 端口

2. Full模式：1-65535 端口

3. 联动模式：其他安全服务投递的端口扫描任务，可以指定任意范围

对于外网IP地址，我们定义Fast模式优先。只有在Fast模式满足时效（如6小时），扫描器才会主动扫全端口。

用户自助任务被认为是优先级最高的，这类任务的全端口发现，会按照1000个端口进行分片，被拆分为66个端口扫描任务，充分地利用分布式系统，不会对单个节点造成短时大量发包、丢包的问题。目前，一个自助任务目标的65535端口扫描，可以在30秒内完成。另外，自助任务还允许更大的超时、更多的重传次数。

云扫描系统内的漏洞具备唯一性，同一目标的同一漏洞，若再次发现，只更新最近发现时间。对于漏洞而言，不区分是巡检还是自助扫描发现的。漏洞和任务是一对多的关系。避免同一漏洞在系统内部反复创建和处置。

云扫描对爱奇艺所有HTTP应用进行了持续收集，建立全文索引。高危Web漏洞爆发后，内部可以根据Web中的指纹特征，快速定位应用，无需盲目地开始全网扫描。

内部基于Headless Chrome实现了动态爬虫系统，对公司Web应用进行了大量的URL收集，支持全文检索，支撑快速应急。同时，爬虫系统将URL投递给被动式代理扫描服务，进一步增强了漏洞发现能力。

扫描器基本要求是：稳定、高效、高危漏洞覆盖全、误报率低。本篇没有深入讨论具体某个插件的实现细节，只是从全貌上，对爱奇艺云扫描做了简单介绍：

    1. 由扫描策略驱动任务队列自动化管理，实现了系统的高效运转

    2.  通过漏洞一键自动化验证、一键提交漏洞工单，提升漏洞运营效率

    3.  快速的插件发布、一键全网应急能力，提升了应急响应效率

    4.  高效的资产发现，即使是一个新接入Guest WIFI的访客手机设备，也能保证在90分钟内完成漏洞检测

    5. HTTP应用和全网URL收集，支持全文索引，无需提前为应用打标签。特殊情形下，支持正则扫表，依然能够快速定位目标应用。

高级（资深）安全开发工程师   

25k-40k （14薪）/ 北京-中关村 / 经验3-5年 / 本科及以上

负责内部安全服务的功能开发、持续优化

员工福利

12天带薪年假、有机会近距离接触喜欢的明星、

基本要求

1. 2~5年Python后台开发经验，掌握Django等Web框架

2. 具备相对完整的知识体系：操作系统、数据结构、算法、网络、数据库

3. 熟练使用Linux，可编写shell脚本

4. 熟练使用Python或Go，能够设计实现相对复杂的工程。具备良好的代码风格，掌握程序调试和性能优化

5. 熟练使用MySQL、Redis、MongoDB等数据库，了解常见的数据库优化

6. 掌握JavaScript和CSS：Jquery、AngularJS、Bootstrap等

7. 了解ES、kafka、hadoop、hbase、hive、docker

CS和软件工程优先。有一定漏洞挖掘、应急响应经验者优先。 

简历请投递   lijiejie[at]qiyi.com