在家工作的网络安全挑战的10点计划
|
1、以Akka并行框架为基础解决报警采集高性能问题 由于报警接入范围很广，采集器需要接收各种数据报文，当产生报警风暴时，必须要并行接收和预处理各种报警，才能使报警得到及时处理；采集器以Akka并行框架为基础实现。 Akka是Java虚拟机平台上构建的高并发、分布式和容错应用的工具包和运行时。Akka用Scala语言编写，同时提供了Scala和Java的开发接口。Akka处理并发的方法基于Actor模型，Actor之间通信的唯一机制就是消息传递。
其最大优势是消息发送者与已经发送的消息解耦，允许异步通信同时又满足消息传递模式的控制结构。以Akka为基础的报警采集器架构如下： 二、监控报警系统的关键特性 监控报警系统在整个监控体系的作用是接收企业内各类专业监控工具产生的报警消息，其功能定位是报警MOM（Managerof Manager），通过本其定位以及前面的功能说明可以看出，监控报警系统有以下关键特性：
作为企业级的报警管理中心，是对企业的所有报警作统一的监控管理，报警接入的范围和监控工具覆盖的范围是一致的，从底层的基础设施、物理服务器、网络设备、存储设备、操作系统、云平台等，到中间件组件、数据库、WebServer和大数据组件等等，再到上层的业务和应用，如交易、应用等。
当设备有异常情况出现时，设备可能产生大量的报警，有时会达到每秒几万条，而形成报警风暴，当报警接入范围很广时，报警风暴可能随时时不时发生，报警管理中心必须自身必须能应对这种情况，对报警数据进行有效处理。
报警处理分为流处理和批处理，所谓流处理，是指一条报警接入之后过来之后，需要实时经过很多个逻辑处理单元之后才能入库，而在每个逻辑处理单元里面，都会频繁地操作告警数据库，和原有的报警上下文进行关联分析。无论是告警本身的处理，还是告警数据库，都存在巨大的性能压力。所谓批处理，是指定时地对报警库里面的数据做二次处理，报警处理中心有大量的批处理规则来处理各类不同的报警数据，同样会对报警处理机和数据库造成巨大的压力。
由于报警接入范围很广，报警类型和报文格式复杂多样，每一类报警的解析不一样，每一类报警的处理逻辑也不一样。而且，随着时间的推移和业务的变化，报警类型会增加，原来的报警处理逻辑也需要随着运维场景的变化持续改进会变化，因此报警处理规则所以，不可能将报警处理逻辑写死，而必须做到灵活定义和可扩展高度可配。 上面的四个特性中，前三个合起来产生一个问题，那就是报警管理系统中心高性能的问题。 第四个特性是报警管理系统规则灵活配置的问题，那如何解决高性能和高可配的问题呢？ 三、监控报警系统的关键技术实现设计 G行新一代上一代监控报警系统使用国外的商业套件，报警采集和报警处理都是采用的单机单线程处理，而报警存储采用的是单机版的内存数据库。 存在的问题是为解决告警风暴、高频报警的问题，而我们： 当出现告警风暴时，采集器可能丢数据，而数据库也会发生阻塞，导致告警处理效率低下，报警延迟时间达到分钟级。 告警处理逻辑只能支持比较简单的处理，对于复杂的高并发高频率的处理，是无法应付的。 为解决上述问题，G行新一代监控报警系统基于开源组件进行自主研发，从报警采集、处理和入库三大关键环节入手，解决报警高性能和规则高可配的问题的。
其中主要的关键设计包括报警采集器的设计、分布式服务框架的引入和分布式数据库的选型和适配处理引擎和后面的几点对上。结合需求和技术约束，监控报警的整体框架为： （编辑：衡水站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
