加入收藏 | 设为首页 | 会员中心 | 我要投稿 衡水站长网 (https://www.0318zz.com/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 站长资讯 > 评论 > 正文

数字和印刷营销活动的数据驱动见解

发布时间:2021-02-13 11:44:51 所属栏目:评论 来源:互联网
导读:各层次作用说明如下: 数据采集Actor: 原始数据采集,或者主动采集,或者被动接收,不同类型的数据有一个Actor采集,对于主动采集的Actor,采用轮询的方式,定时采集数据; 原始数据分发Actor: 所有采集到的原始数据都会发送到原始数据分发Actor,由它来分

各层次作用说明如下:

  •  数据采集Actor:原始数据采集,或者主动采集,或者被动接收,不同类型的数据有一个Actor采集,对于主动采集的Actor,采用轮询的方式,定时采集数据;
  •  原始数据分发Actor:所有采集到的原始数据都会发送到原始数据分发Actor,由它来分发到数据分析Actor,同时,这个Actor可以对原始数据做整体调度控制;
  •  数据分析Actor:这是一组Actor,采集器主要业务处理和资源消耗的组件,可灵活配置Actor的并发个数;
  •  持久化数据分发Actor:所有需要持久化的数据都发送到这个Actor,它对需要持久化的数据分发到持久化Actor,同时对持久化数据做整体的控制,比如数据库有问题或网络有问题,导致持久化无法进行或很慢,可以控制实现背压;
  •  数据持久化Actor:这是一组Actor,对数据进行持久化,Actor个数可以配置,采集器的IO主要消耗者。

2、  以Apache Dubbo分布式框架为基础解决报警处理高性能问题

新一代监控报警系统,以ApacheDubbo分布式框架为基础搭建分布式处理集群,集群的每一个节点都并行处理报警,当未来报警规模扩大时,集群的节点可以水平扩充,当集群的处理能力有冗余时,宕掉一个或多个节点不影响报警处理。

Apache Dubbo是一款高性能、轻量级的开源JavaRPC框架,它提供了三大核心能力:面向接口的远程方法调用,智能容错和负载均衡,以及服务的自动注册和发现。为了保证集群本身的高可用,还可以搭建备集群,主备集群之间的数据可以实时同步。

在报警处理集群中,实现了两个Dubbo服务:

  •  数据处理服务:提供了数据的增、删、改、查接口,用于采集器(EPP)调用和其它应用调用,采集器用来发送数据给报警处理集群进一步处理,如告警压缩、告警恢复等,其它应用用来查询和操作告警,如删除、接管等;
  •  数据同步服务:集群数据同步服务,提供数据的定时备份接口和增量备份接口,用于从主集群同步数据多备集群,备集群可以是多个。

Dubbo服务的调用关系如下图所示:

 

B+Tree相对于B-Tree有几点不同:

非叶子节点只存储键值信息, 数据记录都存放在叶子节点中, 将上一节中的B-Tree优化,由于B+Tree的非叶子节点只存储键值信息,所以B+Tree的高度可以被压缩到特别的低。

具体的数据如下:

InnoDB存储引擎中页的大小为16KB,一般表的主键类型为INT(占用4个字节)或BIGINT(占用8个字节),指针类型也一般为4或8个字节,也就是说一个页(B+Tree中的一个节点)中大概存储16KB/(8B+8B)=1K个键值(因为是估值,为方便计算,这里的K取值为〖10〗^3)。

也就是说一个深度为3的B+Tree索引可以维护10^3 * 10^3 * 10^3 = 10亿 条记录。(这种计算方式存在误差,而且没有计算叶子节点,如果计算叶子节点其实是深度为4了)

我们只需要进行三次的IO操作就可以从10亿条数据中找到我们想要的数据,比起最开始的百万数据9000秒不知道好了多少个华莱士了。

而且在B+Tree上通常有两个头指针,一个指向根节点,另一个指向关键字最小的叶子节点,而且所有叶子节点(即数据节点)之间是一种链式环结构。所以我们除了可以对B+Tree进行主键的范围查找和分页查找,还可以从根节点开始,进行随机查找。

数据库中的B+Tree索引可以分为聚集索引(clustered index)和辅助索引(secondary index)。

上面的B+Tree示例图在数据库中的实现即为聚集索引,聚集索引的B+Tree中的叶子节点存放的是整张表的行记录数据,辅助索引与聚集索引的区别在于辅助索引的叶子节点并不包含行记录的全部数据,而是存储相应行数据的聚集索引键,即主键。

当通过辅助索引来查询数据时,InnoDB存储引擎会遍历辅助索引找到主键,然后再通过主键在聚集索引中找到完整的行记录数据。


(编辑:衡水站长网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

    热点阅读