56星座屋
当前位置: 首页 星座百科

hdfs工作原理(hdfs工作原理图)

时间:2025-08-22 作者: 小编 阅读量: 1 栏目名: 星座百科

hdfs工作原理,1、客户端通过调用FileSystem对象的open括号来读取希望打开的文件。对于HDFS来说,这个对象是分布式文件系统的一个实例。2、DistributedFileSystem通过RPC来调用namenode。

hdfs工作原理如下:


1、客户端通过调用FileSystem对象的open括号来读取希望打开的文件。对于HDFS来说,这个对象是分布式文件系统的一个实例。


2、DistributedFileSystem通过RPC来调用namenode,以确定文件的开头部分的块位置。对于每一块,namenode返回具有该块副本的datanode地址。此外,这些datanode根据他们与client的距离来排序(根据网络集群的拓扑)。如果该client本身就是一个datanode,便从本地datanode中读取。DistributedFileSystem返回一个FSDataInputStream对象给client读取数据,FSDataInputStream转而包装了一个DFSInputStream对象。


3、接着client对这个输入流调用read()。存储着文件开头部分的块的数据节点的地址DFSInputStream随即与这些块最近的datanode相连接。


4、通过在数据流中反复调用read(),数据会从datanode返回client。


5、到达块的末端时,DFSInputStream会关闭与datanode间的联系,然后为下一个块找到最佳的datanode。client端只需要读取一个连续的流,这些对于client来说都是透明的。


6、在读取的时候,如果client与datanode通信时遇到一个错误,那么它就会去尝试对这个块来说下一个最近的块。它也会记住那个故障节点的datanode,以保证不会再对之后的块进行徒劳无益的尝试。 client也会确认datanode发来的数据的校验和。如果发现一个损坏的块,它就会在client试图从别的datanode中读取一个块的副本之前报告给namenode。


7、这个设计的一个重点是,client直接联系datanode去检索数据,并被namenode指引到块中最好的datanode。因为数据流在此集群中是在所有datanode分散进行的。


    推荐阅读
  • 减肥低卡食物做法(几乎0卡的食材)

    几乎0卡的食材今天还没出去运动,可却吃了好多好多......下午收到试吃的咸水鸭,同时又收到超喜欢的烧鸡,吃一口咸水鸭后就没停下来,味道感觉比烧鸡要微微咸,于是又打开烧鸡再尝尝比较比较,一尝又没停不下来......。

  • 常德出租车司机被杀(常德网约司机被杀案)

    杨某淇事后到公安机关投案自首,据杨某淇供述,其因悲观厌世早有轻生念头,当晚因精神崩溃无故将司机陈某杀害。目前,犯罪嫌疑人杨某淇已被公安机关刑事拘留,案件正在进一步侦办中。在坊间,人们对警方通报中嫌疑人“悲观厌世”一词多有议论。事发后,杨博淇的家人一直没有露面,陈江的家属也一直未能和他们取得联系。并达成补偿协议。3月27日,陈江的遗体被家人运往乡下的老家准备下葬。遇害司机陈江的追悼会现场。

  • 乌鲁木齐经济技术开发区招商引资(乌鲁木齐经济技术开发区)

    展厅两侧,分别放置一台梳棉机和一台全自动气流纺纱机。据介绍,该公司目前已完成一笔签约订单,洽谈多笔意向订单。该公司参加了本届亚欧博览会的线上展,带着主打的“沙枣花”品牌棉制品亮相展会。“沙枣花”牌棉被是由100%新疆长绒棉制作而成,面料采用纯棉多层纱布或黑科技液态氨60支以上的纯棉布料,加上研磨、针刺、绗缝等多项工艺组成。

  • 女性妇科疾病注意什么(是因为同房频繁吗)

    工作1年后,小婷终于有了2万元积蓄后。当天小婷就交了钱进行手术,然而在上了手术台后,她差点下不来。美容院担心出事,紧急将小婷送往医院抢救。好在送来的及时,目前小婷已经脱离危险了。部分身体没有明显症状的子宫肌瘤患者,在日常只需要定期随访即可,完全可以做到和瘤共存,无需过多担心。而一些因为子宫肌瘤出现症状而影响生活的情况,则需要及时就医进行治疗,在医生的指导下服药控制,必要时可手术切除肌瘤。

  • 梨形脸是最丑的脸吗(被说长相丑的女生)

    女生的脸型可以说是掌控全局的存在,不管五官如何整体协调才能构成美。然而并不可能人人长相漂亮,而那些总是被认为长相一般,甚至长相丑的女生,有一大部分原因,就是因为脸型没有规则感。这种脸型的女生男相会更重,因为脸型较长,导致面部的五官向中线集中,是典型的男性长相特征。这也是一种偏男相的脸型,面部整体上骨感较重,缺乏肉感。

  • 三生三世演技炸裂片段介绍(从让人绝望的主角的选角到整容般的演技)

    颜妍言今天终于忍不住要来评一评《三生三世十里桃花》这部神剧了。毕竟大家对人选是这样想象▼其实在电影版的《三生三世》的选角里大家一片叫好就能看出。▼尤其是是大幂幂一开始演司音的时候的发际线,真是让人绝望。而大幂幂却也是鼓足了劲演戏,在墨渊死后,司音要让翼族给墨渊陪葬,眼神犀利而坚决,丝毫不怀疑她的内心。感谢《三生三世》和《大唐荣耀》,在一姐受到抠图神剧以后,差点要放弃的时候,看到了来自国剧的光辉。

  • 鸿运当头花心怎么剪(鸿运当头花心剪法)

    鸿运当头花心怎么剪?鸿运当头花心怎么剪鸿运当头一生只开一次花,开花时间会有三个月,它的花期是在春末至夏初的时候,所以鸿运当头的花修剪时间是在夏末初秋的时候,要选一个阳光明媚的温暖天气进行修剪。有枯萎迹象的花都得从花径部全部剪掉,不能只剪掉花叶子,不全部剪掉。叶子发黄也要剪掉,更为美观,对于鸿运当头也更加健康。分株也要确保一株一花盆,营养才供的上,花盆不用太大但也不能太小。

  • 清洗田螺的方法(怎么清洗田螺)

    清洗田螺的方法准备一盆清水,将田螺倒入清水里,用双手将田螺表面的泥土搓洗干净,反复多搓几遍。搓洗不干净的用毛刷(刷子)一个一个慢慢的刷,表面一定要清洗干净。每半个小时更换一次清水,直到盆里看不见田螺吐出的泥土就是洗干净了。田螺去尾的方法,用一把剪刀将田螺尾部剪去,剪刀剪不动就用不好的刀将田螺尾部去除。

  • 二次元十大冷知识(二次元术语整理)

    例如,大多数的会议出席者都持赞成看法,却有一个人高唱反调,这个人就被认为KY。反感一切男女交往的活动,对于有女生给男生送便当的事情更为愤怒,且FFF团不对女性下手。所以在ACG领域里用领便当来比喻一个人物的死亡。ACG文化发源于日本,以网络及其他方式传播。宅都武汉目前已经发展成为天朝三大都会的一个大型二次元集散地中继点。像上面提到的周边世界,存在于动漫和现实之间的产物,所存在的圈子,被称为2.5次元。