致与数据中心联盟Hadoop基础能力测评死磕的我们

       DS4.0产品于2017年9月21日-2017年9月22日参加数据中心联盟第五批大数据产品能力评估中的基础能力评测,包含运维、多租户、可用性、安全性、兼容性、扩展性、功能和易用性8方面内容,DS4.0产品共参评用例数40个。
       作为评测小组的一员,这份充满挑战感和成就感的工作让我收获满满,我们团队并肩作战攻克难题的精神也是航天人应有的态度。
       两个月多月前,评测组组长把小组成员召集到一起,郑重的宣布评测工作启动的那一刻起,我们便开始了与每一个用例死磕的历程。初始阶段的现实情况是,时间紧,任务难度大,技术栈复杂,而我们只能迎难而上,不能有任何松懈的理由与借口,因为评测对于我们的DS4.0产品来说,只能成功,不能失败。
       多租户、HDFS备份恢复、身份认证、流处理能力、存储加密、权限管理、机器学习、Hue、Ooize、Flume等等,一个个难题挡在我们的面前,而留给我们的时间非常紧,只有不到两个月。我们不怕,就是死磕。疯狂的网上查资料,请教前辈,加入Hadoop学习交流群;为解决HDFS备份的问题,我们在各个社区提问,寻求解决办法;为解决Hadoop版本不兼容Logsearch的问题,我们和集成的同事在机房降版本部署到深夜三点;为解决Spark                       Streaming流处理的问题,我们协同成都分部的Gis组同事多次联调共同解决;验证工作流创建用例时,首先Hue和Ooize集成难度大,与此同时,在设计复杂作业流时,每一步跑通都要多个参数配置,从Mapreduce作业到Spark作业再到Hive查询,再到最后执行Python脚本,我们加班加点反复调试,难题最终被攻破。还有很多很多这样的障碍困难,整过过程中,我们足足整理出了50个出错问题解决办法的报告单。我们每解决一个问题,便离评测成功更近了一步,而解决问题后的成就感也总是可以一扫一天的疲惫,团队成员的互帮互助也是一种强大的力量,支撑着我们共同前行。
       为保证正式评测时每个用例都能顺利通过,评测小组在不到一个月的时间里先后安排了三轮验证,不断地验证让我们把难题和风险逐个扫除干净,准备充足,我们也信心十足。
       正式验证时,原计划三天验证完毕,因前期准备充足,我们高效的在一天半的时间里完成了评测项目。
       评测的顺利完成离不开团队所有人的付出。感谢公司给我们强有力的支撑,感谢各位领导对测评的支持,感谢宫潍老师帮助我们解决一个又一个的难题,感谢唐磊全程的有力协助,同时要感谢集成运维的同事包周嘉、刘瑞星、王凯整个过程提供的网络及服务器保障。

时间

2017-10-27 17:13


栏目

行业新闻


作者

恒嘉