TikTok 买家讨论四种收购方案

数据获取阶段，通常涉及从多源异构的数据源获取数据，这些数据源可能是批处理数据源，也有可能是实时流数据源;

在数据存储阶段，需要对前一阶段已经获取到的数据进行存储，以便进行后续的分析与处理，常见的存储方式有磁盘(disk)形式和无盘(diskless)形式。

在数据分析阶段，针对不同的应用需求，会运用各类模型和算法来对数据进行分析与处理。

在表1-2中，三代技术中不同的处理阶段所涉及的工具存在重叠。此外，对于混合计算技术，其本身同时涉及批处理技术和实时处理技术，实现混合计算模型的技术也要比单纯的批处理技术和实时处理技术更加复杂;鉴于混合计算技术的上述特点，这里不对在数据的获取、存储与分析方面所涉及的具体工具做特别的划分。

01 HDFS

Hadoop分布式文件系统(Hadoop Distributed File System，HDFS)目前是Apache Hadoop项目的一个子项目，与已有的分布式文件系统有很多相似之处

 

报警处理引擎对Ignite的使用如下：

•  持久化数据(SQL方式存取)：活动告警、历史告警、通知归档、配置数据；
•  缓存数据(key-value方式存取)：定时从其它应用查询资源数据，如用于丰富的MO、用于事件预处理的Lookup数据；
•  内存分区(5个节点，每个节点总内存128G)：活动库16G，资源8G，历史库：52G，通知库：16G；
•  事务方式：告警处理几乎没有需要ACID强一致性保证，并且告警库访问频繁，为提高性能，配置为ATOMIC方式，即保证单个数据操作的一致性，当遇到更新冲突时，重复执行此更新操作直至成功。

5、实现效果

G行现已在生产环境实际部署了自主研发的报警处理系统，进行功能和性能验证。关键运行指标经测试如下：

•  活动库报警数量：最高可达千万级报警数据，是原有商业套件存储能力的200倍；
•  历史库数量：最高可归档存储亿级数据；
•  写入TPS：存1000万平均速度，11653条/s，是原有商业套件的10倍；
•  报警处理延迟：100毫秒以内，性能提升30-50倍以上；
•  扩展性：每增加1台服务器，写入速度提升：2000条/s。

通过此次新一代监控报警系统的部署，G行的监控管理平台实现全部组件的开源和自主可控，大幅度提升了报警处理的效率，减少了报警处理延迟时间。

四、未来展望

通过自研监控报警系统，提升了平台整体报警的处理能力和管理规则的可定制化能力，为后续提升报警智能分析能力打下了数据和处理能力层面的技术基础。

未来，优化和改进的方向包括：

•  报警接入方面：基于微服务的理念，提供企业级的监控报警接入服务。技术上提供webhook等事件集成接口，更加简便、友好的接收应用程序内部推送的各类报警信息，并且提升报警接口的管理能力；
•  报警处理能力方面：需要加强报警分析能力，尤其是大规模报警的情况下报警根因的定向和定位能力，提升运用AI算法解决报警压缩和收敛的能力；
•  报警展示和关联：提升报警与性能数据、配置数据的关联能力，在阅读报警时能够同步了解到故障点KPI快照、指标趋势分析、变更切换操作等相关的运维数据信息，提升故障处置效率，缩短故障影响的时间。 

（编辑：衡水站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!