威胁情报的私有化生产和级联：威胁搜寻和情报共享

一，背景

  1.威胁情报数据库建设的背景和要求

  1）新时代攻防趋势和需求的变化。

  随着Internet尤其是移动Internet的发展，网络环境变得越来越复杂，不同的攻击行为已经变得更加工业化和基于团伙，入侵方法也变得越来越多样化和复杂。 可以使用基于防御漏洞的传统安全策略。难以检测，拦截和分析无穷无尽的新威胁，持久威胁和高级威胁。 安全攻防要求已从传统的以漏洞为中心，主动，以情报为中心的构建模型逐步发展。

  2）银联自身的业务要求。

  错误的注册，批处理卡绑定以及恶意的一次刷卡优惠券等各种恶意行为，将影响企业相关产品的日常运营和营销，而传统金融业本身缺乏与互联网相关的安全数据，需要高质量的信息。 情报数据支持相关的风险预防和控制工作。 因此，有必要将安全性与业务相结合，并引入与业务相关的威胁情报，例如风险控制，以帮助提高公司的风险预防和控制能力。

  2.现有的威胁情报数据库

威胁情报数据库的数据源分为三个区域，包括内部情报，专业组织和行业联盟。 内部情报包括拦截传统安全设备，分析后端SIEM和其他安全分析系统以及发现业务风险控制系统； 专业组织将提供专业的多源情报，根据每个组织的专业特征相互补充，并在冲突期间研究和判断数据； 目前正在探索由行业联盟共享威胁情报。 内部情报，专业组织和行业联盟数据被汇总形成一个本地图书馆。 经过处理后，数据结果最终会反馈到顶层应用程序层，并推送到后台应用程序，防御设备或手动调用。 综合考虑威胁情报数据库的需求，我们对国内相关厂商进行了研究和测试，最终选择了北京微步在线技术有限公司旗下的本地威胁情报管理平台作为银联威胁情报数据库的载体平台。  。

  建立威胁情报数据库可以帮助我们及时发现黑客或恶意攻击者的各种战术，方法和行为模式，掌握针对支付场景的最新攻击趋势，并有效地预防和处理各种网络风险安全事件； 高质量的情报数据可以为风险的预防和控制提供有力的支持，并可以准确识别外部网络的异常访问行为。 及时地掌握安全状况并做出正确的反应，对维权者的安全风险控制团队具有重要的意义。

  研究目标

  在威胁情报的应用中，我们发现仍有一些问题需要解决。

  合法有序地共享情报

  建立信息库后，立即提出了信息共享的需求。 与公司和行业机构共享信息可以快速改善威胁感知和风险共享。 另一方面，合法有序地共享信息也有利于整个生态系统的健康持续运行，降低了运营成本。

  2.私人情报生产

  银联是典型的多工作场所，多组织的协作防御结构。 它具有更多的安全设备，并且易于受到攻击。 会有大量的警报信息。 如何从大量的告警信息中获取真实的攻击行为是一个很大的挑战。 同时，外部威胁情报数据无法完全支持对实际攻击的检测，阻止和可追溯性分析。 攻击者对外围资产进行跳跃式攻击时，也可能导致联合防御困难。 在这些情况下，我们对威胁情报数据和威胁情报生产有强烈的需求。

  为了实现这两个目标，我们进行了情报共享技术和全流威胁搜寻的研究。

  信息共享技术研究

  1.信息上传与发布的基本逻辑

  在现有情报数据库中部署情报管理平台，每个分支机构都部署一个分支情报管理平台，总经理将信息推送到每个分支机构。 每个分支的私人信息将自动报告给常规控件。 分布。

总体规划主要由两部分组成：核心情报管理平台和下游情报管理平台：

  核心情报管理平台的主要功能包括接收云情报以进行情报查询； 向下游情报管理平台分发情报； 接收报告情报的下游情报管理平台； 自己的情报条目，用于情报查询和分发。

  下游情报管理平台的主要功能包括用于情报查询和报告的自身信息输入；以及 向核心情报管理平台报告本地输入的情报； 接收核心情报管理平台分发的信息。

  对于具有自己的情报平台的组织，情报管理平台可以使用行业同行的标准进行信息交换。

  2.完整的信息流

  根据银联威胁情报数据库的结构，首先自动从内部日志，行业情报和联盟数据中生成和过滤情报，然后从云中提取社区情报和定期情报更新。 启用协作研究和判断功能后，威胁情报数据库将自动通过加密通道，从云中提取其他信息并将其与本地简化的私人情报合并，最终形成完整的威胁情报表格。 可以查看，删除，导出本地私人情报，并将其直接应用于第三方系统。

  在协作研究和判断过程中，威胁情报团队的成员将共同完善攻击组织方法，最终形成一个自主的攻击者肖像数据库； 情报管理平台支持水平比较和查看单个情报的多个情报源数据，并从多个角度全面评估情报的整体情况，然后通过Restful API共享威胁功能，以实现推送，报告和报告。 主控件和每个分支之间的可控辅助分布。

  威胁情报数据库将基于机器可读情报，高级报告和月度报告，第三方机器可读情报，用户手动导入的私人情报以及统一存储，检索和比较多个开源情报的功能自动补充辅助信息。 在全球范围内使用统一的生命周期管理信息的整个过程，从产生，使用，沉默到消亡。

  3.技术重点和难点

  在项目的开发和部署测试期间，还发现了许多重要的节点和技术难题。 经过根据实际需要进行充分讨论和评估，取得了突破，包括：

  1）如何建立和实施24 * 7全自动多机构情报共享和消费机制

  目标包括由核心情报管理平台发布信息，编写，报告和下游情报管理平台的消费者情报的过程。 重点是弄清楚谁将信息写入下游智能管理平台，谁消费了下游智能管理平台的信息以及如何消费。

  “谁将信息写入下游智能管理平台”：除了核心智能管理平台以外，下游组织实际上没有直接可写的准确信息。 实际的可写信息由部署在下游组织的网络环境中的安全设备生成。 警报。 当许多下游机构报告警报时，核心情报管理平台可以基于情报策略动态地动态生成行业威胁情报。 例如，当下游组织的网络不连续时，外部IP会连续攻击多个下游组织。 该攻击IP非常可疑。 根据策略将其作为行业情报生成，并推送到尚未意识到风险的其他下游机构。

  “谁消耗了下游智能管理平台的信息以及如何使用它”：一些敏感服务（例如付款门户和登录门户）可以使用推送的智能进行主动防御。 即使来自攻击IP的用户提供了正确的用户名和密码，企业也将必须强制进行上游和下游文本消息验证。 对于Internet行业中的某些类型的抽奖活动，还可以减少在其所在的网络段中获胜的机会，并且可以在不侵犯用户和中断业务的情况下保证业务安全性。

  2）如何解决分支智能冲突和误报

  在项目开始时并未完全考虑到智能冲突问题，但是在测试部署期间，我们发现一些IP被不同的分支机构标记为白名单和恶意地址，从而导致下游机构提出问题。 经过调查，主要原因是：机构A将其办公网络出口地址标记为白名单，但其办公网络中存在蠕虫。 它通过办公室网络出口扫描了其他机构，其他机构被标记为恶意；

  信息错误的问题主要是由于多个下游机构购买了同一制造商的安全产品。 对类似安全产品的误判后，会通过下游智能管理平台将其上传到核心智能管理平台，造成误判问题。 针对此类问题的后续计划是增加对安全设备的识别。 类型实现将被进一步规避。

  3）标准化安全设备日志格式问题

由于下游机构购买的安全设备多种多样，因此日志标准化不可避免地会导致问题。 当前没有完美的解决方案来解决此问题。 当前，在下游智能管理平台的入口处使用技术手段进行统一格式处理是一种可行的解决方案。

  四，全面的交通威胁追捕

  1.威胁搜寻的定义和过程

  威胁搜寻是组织根据威胁情报进行的自我检查。 威胁搜寻需要事先掌握攻击者的一些基本模糊特征和线索，即威胁情报，然后基于情报，使用旁路流量检测，系统日志检测或主机行为检测来挖掘正在进行的攻击或内部攻击。 掉落的网络主机，其影响随线索或情报的准确性，及时性和多样性而变化。

2.技术重点和威胁搜寻的难度

  威胁搜寻技术的重点和难点主要来自以下三个方面：

  1）如何在大量辅助情况下获取准确，及时和多样化的威胁情报；

  为了满足对威胁情报的准确性，及时性和多样性的需求，威胁情报数据库采用了多源威胁情报的收集和管理。 本地情报平台应至少能够承载四种情报和两种情报功能，包括多源计算机。 阅读情报，高级人类阅读报告，漏洞信息，自定义情报等，情报功能应包括情报代理功能，本地生产情报功能等。此外，情报共享和级联是确保成功狩猎的关键能力之一 威胁。

  2）如何自动筛选更多潜在客户，并将有效潜在客户进一步转化为智能；

  智力的辅助上下文是不可忽视的重要点。 机器可读信息字段的丰富程度决定了威胁情报是否可以真正降落。 现有情报可以准确地描述攻击行为或帮派特征，包括但不限于发现时间，端口协议，严重性级别，URL，相关样本，域名所有者，家族标记，行业特定和30多个字段。 相反，仅提供黑名单，并且在没有任何辅助上下文信息的情况下，几乎无法在金融生产环境中使用开源情报。 自动化的筛选和有效的线索变成了情报。 主要测试是我们威胁情报数据库中私有威胁情报的本地化生产能力。

  3）如何在旁路流量检测，系统日志检测或主机行为检测产品中实施威胁情报。

  这要求我们打开与外部SIEM / SOC数据平台，防火墙或WAF设备，主机管理产品，路由和交换设备以及其他安全产品的链接。 它还分析了特定情况下的设备链接。 对于命中的高风险信息，它会呼叫下游设备以进行阻止，并将情报从检测和响应方案提升到全面的安全保护。

  3.全面的交通威胁搜寻技术

  通过对访问数据源，底层软件和硬件体系结构，大数据标准化处理，模型算法和顶级安全业务应用程序进行系统规划，依靠威胁情报大数据知识映射技术，高级入侵检测和分析技术，黑客肖像 以及可追溯性核心技术，例如技术，情报和数据共享技术，自动编排和处置响应策略，以及建立完整的威胁检测和分析闭环，威胁事件线索提取，攻击者肖像和可追溯性分析，威胁阻止 覆盖整个行业网络的响应和协作链接该解决方案形成了由威胁情报数据驱动的检测，分析，响应，可追溯性和预测功能。

  1）访问数据源

  全面收集企业相关网络边界的入站和出站双向流量以及内部网络各个区域之间的水平东西向流量。 流量收集器采用流量镜像的方法，实时收集网络中产生的流量的所有实时数据，主要收集数据，包括三种类型的流量信息，流量中恢复的有效载荷或文件以及终端日志数据。 其中，流量信息包括DNS，HTTP，TCP，SMTP，POP3，RSYNC，RDP和TFTP等8种协议。  DNS日志包括双向日志中的请求和响应解析域名，查询类型，源地址和端口，目标地址和端口。 基于此，全流威胁会持续检测访问数据。

2）软硬件基本组成及数据分析

  依靠微服务，分布式集群，海量数据存储，消息队列等大数据软件和硬件基本组件，使用开源分布式技术（例如ElasticSearch）构建“松散耦合，高度凝聚力”的基础大数据架构，  Hadoop，Spark，Kafka解决了关键链接中并发瓶颈的问题，例如大规模数据访问，分析，分析，存储和输出，并且可以根据检测环境动态扩展。

  对于访问原始流量的数据访问形式，系统需要将原始流量中的二进制数据解析为结构化DNS消息。 在调查和测试了常见的流量分析工具（包括Bro，Suricata等）之后，发现它们不适合DNS分析方案，因为1.这些工具是为全面流量分析而设计的。 为了与其他协议功能兼容，系统的大部分资源用于数据流会话维护，流量缓存等。这在DNS解析期间是不必要的系统开销。  2.另外，在相同流量下，DNS数据包的长度较小，QPS较高，并且Bro和Suricata上的性能测试结果并不理想。 因此，系统在技术路线上使用了自行开发的数据包捕获模块来优化DNS协议特性的性能。

  3）威胁检测分析模型

  该架构具有十种类型的威胁检测模型，包括基于威胁情报的大数据冲突模型，DNS隐藏通道检测模型，动态沙箱检测模型，DGA随机域名生成检测模型，Intranet横向渗透检测模型以及深度学习算法self  -学习。 检测模型等。检测覆盖阶段包括嗅探，漏洞利用，武器交付，远程控制，横向移动，外部攻击，行动（勒索软件，挖掘，数据盗窃）。 确定的攻击和威胁类型至少包括：端口扫描，应用程序扫描，子域突发，远程溢出，Web攻击，SQL注入，配置漏洞，命令注入，CC破坏性攻击，XSS，SSRF，文件泄漏，目录遍历，暴力攻击 强制，Web木马，木马执行，WebShell，僵尸蠕变检测，高风险漏洞利用，勒索软件，采矿木马，高级APT组织，隐蔽通道通信等

  依靠视觉关联分析技术，对威胁情报，网络原始日志，终端日志和告警日志进行关联分析，从攻击者的角度完全还原攻击路径，从角度全面描述受控主机的网络行为。 主机，并提供威胁的完整图片。

五，研究成果及意义

  安全施工保证连续性

  在原始情报管理平台和威胁检测平台上，增加了附加功能，并不断升级现有功能，以确保原始功能的连续运行以及与新技术的无缝连接，以确保连续有效的安全建设。

  2.增加网络范围的威胁可见性

  基于原始威胁检测平台的功能，可以检测丢失的主机，增强流量覆盖范围，覆盖Intranet流量，并应用流量文件恢复技术，引擎和动态沙箱技术，机器学习技术等来提高检测能力并威胁流程 威胁。 执行分析性搜索，以增加对Intranet上威胁和全攻击过程的了解。

  3.行业情报共享以增强响应能力

  基于威胁情报自动响应，原始情报管理平台具有集成情报和提供情报检测界面，增强行业情报共享能力，提供对采矿情报接口的批量访问以及建立与现有安全设备进行交互的能力的能力。

  4.对于整个网络安全威胁情报共享系统的建设和开发具有重要意义

 基于以前的威胁情报中心的功能，增强流量监控和威胁搜寻分析功能，并准确定位整个攻击过程； 同时，提高情报挖掘能力，对行业情报共享机制进行研究，为今后的实际应用奠定理论和技术基础。