帐户注册

登录

找回密码

忘记密码了?输入你的注册邮箱,并点击重置,稍后,你将会收到一封密码重置邮件。

spark中的mapper和reducer个数是否可以配置?

如图,这是网上一张讲解shuffle的经典图,不过我感觉这个图有点问题。spark中的task分为两类,一类是shuffleMapTask,另一类是resultTask。shuffle的过程应该是在shuffleMapTask之间,或者shuffleMapTask和resultTask之间。也就是说,图中的map task应该对应的是以shuffle write为结尾的某个task过程,reduce task对应的是以shuffle read为开头的task过程。(不知道理解是否正确) 针对spark,我有一下几个问题,还请大牛帮答疑: 1)我记得hadoop mapreduce中的map和reduce个数是可以设定的。在spark […]

查看全文

华为大数据与paas团队比较?

我是今年应届生,拿了华为杭州大数据的Offer,已签三方。后hr告知没有大数据的岗位,把我转了paas团队。我觉得 华为云平台的市场份额比较小,感觉paas的前景一般且不容易跳槽,所以还是倾向于大数据平台,觉得底层技术不错(对Hadoop贡献很多),路子较宽。但我想听听前辈们的意见,比较下这两个团队的工作内容和前景,尤其是在这两部门工作过的前辈。另外怎么和hr争取这个事,手里还有一个30w的offer对方愿意给我保留一个月(因为地点和岗位问题,备胎着),是否要作为砝码?我真挺想去华为的,但这些工作内容实在不了解,也怕去了不喜欢的岗位,故求助过来的前辈们。 另外我把这个事摊开说,一个我还不是华为员工,处于考虑阶段,没什么忌讳的。另一个 […]

查看全文

中国电信和华为就云计算及大数据合作,对中国移动未来会产生哪些影响?

事件背景:8月7日,华为与中国电信集团公司在2015年中国电信云数据中心发展高峰论坛期间,正式签署云计算及大数据战略合作协议。中国电信副总经理高同庆、中国电信云公司副总经理黄礼莲,华为运营商BG总裁邹志磊、华为中国电信系统部部长曹既斌等出席战略合作签约。中国电信与华为在云计算及大数据领域已有广泛合作,特别在IT基础设施层面,本次战略合作在现有基础上,加强技术及业务联合创新、新商业模式探索,基于中国电信在网络、IDC等领域资源优势及丰富运营服务经验与实力,结合华为强大研发能力及创新的ICT产品与解决方案进行优势互补。

查看全文