加入收藏 | 设为首页 | 会员中心 | 我要投稿 衡水站长网 (https://www.0318zz.com/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 站长资讯 > 动态 > 正文

哪一种才是企业AI部署的理想途径?

发布时间:2021-02-13 11:24:05 所属栏目:动态 来源:互联网
导读:图中,需要 CPU 参与工作的步骤只有第③个步骤,对比于传统的 IO,CPU 需要在用户空间与内核空间之间参与拷贝工作,需要无意义地占用 2 次 CPU 资源,导致 CPU 资源的浪费。 下面总结一下操作系统中零拷贝的优点: 降低 CPU 的压力:避免 CPU 需要参与内核空

图中,需要 CPU 参与工作的步骤只有第③个步骤,对比于传统的 IO,CPU 需要在用户空间与内核空间之间参与拷贝工作,需要无意义地占用 2 次 CPU 资源,导致 CPU 资源的浪费。

下面总结一下操作系统中零拷贝的优点:

  • 降低 CPU 的压力:避免 CPU 需要参与内核空间与用户空间之间的数据拷贝工作
  • 减少不必要的拷贝:避免用户空间与内核空间之间需要进行数据拷贝

上面的图示可能并不严谨,对于你理解零拷贝会有一定的帮助,关于零拷贝的知识点可以去查阅更多资料哦,这是一门大学问。

  • 介绍完通道后,我们知道它是用于传输数据的一种介质,而且是可以双向读写的,那么如果放在网络 IO 中,这些通道如果有数据就绪时,服务器是如何发现并处理的呢?接下来我们去学习 NIO 中的最后一个重要知识点:选择器(Selector)

选择器(Selectors)

选择器是提升 IO 性能的灵魂之一,它底层利用了多路复用 IO机制,让选择器可以监听多个 IO 连接,根据 IO 的状态响应到服务器端进行处理。通俗地说:选择器可以监听多个 IO 连接,而传统的 BIO 每个 IO 连接都需要有一个线程去监听和处理。

 

这时,无论是用户空间还是内核空间操作自己的缓冲区,本质上都是操作这一块共享内存中的缓冲区数据,省去了用户空间和内核空间之间的数据拷贝操作。

现在我们重新来拷贝文件,就会变成下面这个步骤:

  • 用户进程通过系统调用 read() 请求读取文件到用户空间缓冲区(第一次上下文切换),用户态 -> 核心态,数据从硬盘读取到内核空间缓冲区中(第一次数据拷贝)
  • 系统调用返回到用户进程(第二次上下文切换),此时用户空间与内核空间共享这一块内存(缓冲区),所以不需要从内核缓冲区拷贝到用户缓冲区
  • 用户进程发出 write() 系统调用请求写数据到硬盘上(第三次上下文切换),此时需要将内核空间缓冲区中的数据拷贝到内核的 Socket 缓冲区中(第二次数据拷贝)
  • 由 DMA 将 Socket 缓冲区的内容写到硬盘上(第三次数据拷贝),write() 系统调用返回(第四次上下文切换)

整个过程就如下面这幅图所示。

 

  • 力和振动读数等,以通过各种受支持的驱动程序和协议从边缘处理纯非结构化数据(例如图像、视频、文本、频谱数据),以及热成像、声音信号等其他形式的数据。
  • 管理实时数据的复杂性:为了推动连续过程监控、产量优化或预测性维护,数据管理平台需要对流数据进行实时分析,并有效采集、存储和处理这些数据,以便及时提供洞察,采取行动。
  • 解放孤岛中的数据:由于价值链中存在特殊流程(创新平台、QMS、MES等),因此需要针对每个独立的孤岛解决方案定制不同的数据源和数据管理平台。鉴于跨企业数据仅能提供一小部分洞察力,这些窄点解决方案会限制企业价值;而且重复的孤岛解决方案会分割业务,从而限制合作机会。因此,该平台必须能够将价值链中各点的流数据与ERP、MES和QMS来源相结合,并形成可执行的洞察。

Cloudera DataFlow从边缘获得洞察

鉴于制造业本身和物联网数据的复杂性和多样性,制造企业十分重视从边缘到人工智能获取清晰可见的洞察力。因此,在一开始就应将数据放入数据湖和企业数据平台中。

Cloudera Data Platform通过Cloudera DataFlow(CDF)中的技术组合来应对这些挑战。CDF可提供以下解决方案:

  • 管理、控制和监视所有数据流和物联网计划边缘的能力。Cloudera Edge Management(CEM)由边缘代理和边缘管理中心组成,通过管理、控制和监视边缘代理,以收集边缘设备中的数据并将情报发回。
  • 获取和管理实时流数据的能力。Cloudera Flow Management(CFM)是由Apache NiFi支撑的无需编码的一种数据获取和管理解决方案。通过NiFi直观的图形界面和300余个处理器,CFM可为企业提供具有高度可扩展性的数据移动、转换和管理功能。
  • 通过Apache Kafka实现的高级消息传递和流处理功能。Cloudera Stream Processing(CSP)使用Apache Kafka提供流数据的高级消息传递、实时处理和分析,以及Cloudera Streams Management支持的管理和监视功能。
  • Cloudera Streaming Analytics(CSA)提供的实时洞察。在Apache Flink的支持下,CSA提供低延迟的处理能力,可从边缘对流数据进行实时可行的智能处理。 


(编辑:衡水站长网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

    热点阅读