如何创建3个节点HDFS集群

件的访问权限。它维护和管理文件系统元数据;例如由哪些块构成文件，以及存储这些块的数据节点。

DataNode：可以有多个DataNode，通常是集群中每个节点有一个DataNode，它负责管理运行节点的存储访问。HDFS中的DataNode存储实际数据，可以添加更多的DataNode来增加可用空间。

备用NameNode ：备用NameNode服务并非真正的备用NameNode，尽管名称是称为备用NameNode。具体来说，它并不为NameNode提供高可用性(HA)。

为什么需要备用NameNode?

• 备用NameNode记录文件系统的修改痕迹，追加到本机文件系统文件的后面，作为修改日志。
• 启动备用NameNode时，它会从映像文件fsimage中读取HDFS状态，然后启用“编辑日志文件”对它进行编辑。
• 然后将新的HDFS状态写入fsimage，并使用“空编辑文件”启动正常操作。
• 由于NameNode只在启动时合并fsimage和编辑文件，所以在繁忙的集群中，随着时间的推移，“编辑日志文件”会变得非常大。
• 大“编辑日志文件”的另一个副作用是：在下次重新启动NameNode时，需要花费更长的时间。
• 备用NameNode定期合并fsimage和“编辑日志文件”，并将“编辑日志文件”的大小保持在限定范围内。
• 备用NameNode通常在与主NameNode不同的计算机上运行，因为它的内存要求与主NameNode的相同。

关键特征

容错：为了防止机器故障，可跨多个DataNode复制容错数据，复制因子的默认值是3(如果有3个DataNode，每个块至少存储在三台计算机上)。

可伸缩性- DataNode之间可实现直接数据传输，所以读/写次数应与DataNode的数量相匹配。

空间-需要更多的磁盘空间?只需添加更多DataNodes和再平衡。

（编辑：衡水站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!