大數(shù)據(jù)集群運(yùn)維工程師
【職責(zé)描述】
1.負(fù)責(zé)HDP平臺相關(guān)組件的部署和維護(hù),保證其服務(wù)穩(wěn)定;
2.為數(shù)據(jù)倉庫、數(shù)據(jù)挖掘建模等數(shù)據(jù)應(yīng)用項(xiàng)目提供運(yùn)行環(huán)境支持;
3.負(fù)責(zé)大數(shù)據(jù)平臺內(nèi)部所涉及到的各類數(shù)據(jù)庫,數(shù)據(jù)存儲的搭建、備份、日常維護(hù)、性能調(diào)優(yōu);
4.大數(shù)據(jù)平臺系統(tǒng)運(yùn)維,監(jiān)控和故障分析處理。
【任職要求】
1.學(xué)信網(wǎng)統(tǒng)招本科及以上學(xué)歷,計(jì)算機(jī)相關(guān)專業(yè),5年以上相關(guān)經(jīng)驗(yàn);
2.對大數(shù)據(jù)基礎(chǔ)架構(gòu)和平臺有深刻理解,對基于Hadoop的大數(shù)據(jù)體系有深入認(rèn)識,具備相關(guān)產(chǎn)品(Hadoop、Hive、HBase、Kafka、Sqoop、Spark等)項(xiàng)目應(yīng)用研發(fā)經(jīng)驗(yàn),熟悉底層原理和工作流程;
3.熟悉Hadoop及相關(guān)組件部署維護(hù),有實(shí)際大數(shù)據(jù)集群運(yùn)維經(jīng)驗(yàn);
4.精通Hadoop生態(tài)各類存儲格式、原理、壓縮,大量小文件的處理策略。
5.集群節(jié)點(diǎn)數(shù)據(jù)均衡、磁盤數(shù)據(jù)均衡,集群每臺服務(wù)器的內(nèi)存大小、CPU核數(shù)、硬盤情況的預(yù)留、監(jiān)控與優(yōu)化。
6.Hadoop參數(shù)調(diào)優(yōu):HDFS、YARN參數(shù)調(diào)優(yōu),MapReduce、Hive、Hbase、Spark等優(yōu)化。
7.對大商用數(shù)據(jù)平臺tchouse、iceberg等具有豐富的搭建、運(yùn)維、使用經(jīng)驗(yàn);
8.對大數(shù)據(jù)技術(shù)和生態(tài)的認(rèn)知和理解自成體系,具備良好的解決方案歸納能力;
9.集群穩(wěn)定性運(yùn)維、擴(kuò)容縮容,大版本的熱升級、有災(zāi)備,跨域?qū)嵤┙?jīng)驗(yàn)。