江苏龙网


首页 > 人文 >>

大数据的处理(云计算)中有哪些棘手的技术问题有待解决谢谢

『江苏龙网摘要:大数据的处理(云计算)中有哪些棘手的技术问题有待解决谢谢|Hadoop里出现』数据倾斜总结我是搞流式计算的,接触到的更多是流式计算狼9依υ?题,在流式计算里这个问题就更为复杂了,特别是流式计算里的计算单位带状况的时刻,计算单位迁徙、重启成本较高,并且因为状况也做过partition,就导致更改并发数更为艰苦,今朝我们只有想办...



按关键词阅读:

Hadoop里出现慢机器节点的问题可以通过一种被称作”推测执行“的方案解决的,大致思想就是计算出其它节点计算耗时,如果某结点用时明显比其它多时,可能会多启动一些计算单元对同样的数据同时计算,谁先完成就采用谁的结果。如果Partition不均一般就需要自己想办法将Partition拆分均匀了,或者有时候宁愿去多添加一轮MR也要避免Partition不均。据说还有一些动态Partition方法,不过我没怎么接触过具体的应用,不多做评说。hive的许多优化都是为了解决数据倾斜的,可以参考一下阿里的这篇 数据倾斜总结我是搞流式计算的,接触到的更多是流式计算里的问题,在流式计算里这个问题就更为复杂了,特别是流式计算里的计算单元带状态的时候,计算单元迁移、重启成本较高,而且因为状态也做过partition,就导致更改并发数更为困难,目前我们只有想办法尽可能的让Worker不带状态,或带的状态较小使其迁移成本降低,再或者就是使用全局存储维护一个全局状态。
■网友
现在百度还在使用改装的hadoop么?@张云聪


    来源:(未知)

    【江苏龙网】网址:http://www.jiangsulong.com/news/0F1H34022020.html

    标题:大数据的处理(云计算)中有哪些棘手的技术问题有待解决谢谢


    上一篇:朗逸|如果正在考虑这两款车,我或许能帮到你

    下一篇:日本南海海沟大地震很有可能会发生吗


    人文

    『花箭』剪掉的多肉花剑别扔,这样种起来,明年又是一盆多肉!

    阅读(42)

    但大年夜家都知道,花箭会抢走肉肉的养分,尤颇昵喃花掌属,长人口属,瓦松属等,更是不克不及让它开花,所以看见肉肉开花,多半都是要剪掉落的,可是这么好看标花箭仍了多可惜,我们可以把花箭扦插,如许还能长出很多肉肉来。若何剪掉落花箭在剪的时刻,先要...

    人文

    猫小鱼|新生儿体重越重越聪明?宝宝出生的最佳体重妈妈要知道

    阅读(49)

    而为了验证第2个观点,英国的医学协会曾经针对3900名性格不同的孩子进行系统的调研和观察。经过他们的研究发现,孩子未来的智商确实与体重有关,而且在大多数的孩子里,体重和智商都是成正比的。因为这个研究,很多孕妈都相信,只要孩子的体重越重,那孩子未...

    人文

    Matlab传值调用会导致效率低多少

    阅读(13)

    2. 即就是传值调用,也不料味着每次调用函数都要从新把变量在内存里复制一遍。实际上Matlab有其内部的内存治理机制:如不雅一个函数在内部不修改传进来的矩阵,则复制矩阵并不会产生;只有在函数内部对传进来的矩阵进行修改时,才会产生复制的动作。...

    人文

    汽车葫芦圈|BEIJING-X7如何引领Z世代新国潮?“飒、懂、灵”亮了

    阅读(49)

    近年来,中国传统文化越来越受存眷,无论是诗词歌赋、故宫国宝照样京窘鸱绯榉狷,都成为时下的热点甚至非潮。而既带有中国文化元素、又能代表“中国制造”技巧水准的本土品牌,也逐渐成为新生代花费者彰显个性、打造小我属性标签的选择。年青人的花费行动与生...

    人文

    贵州松桃石板村发生山体滑坡已转移安置156人救出6人

    阅读(43)

    中新网贵州铜仁7月8日电 (采访人员 张伟 袁超 瞿宏伦)7月8日7时5分 , 贵州省铜仁市松桃苗族自治县甘龙镇石板村发生山体滑坡 。 经官方进一步核实 , 此次山体滑坡造成石板村田堡、陈家、石家3个村民组共79户320人不同程度受灾(其中在家162人 , 外出158人)...