崗位職責(zé):
1.負(fù)責(zé)大數(shù)據(jù)平臺集群建設(shè)優(yōu)化,包括整體架構(gòu)設(shè)計、組件選型、部署維護(hù)、參數(shù)調(diào)優(yōu)等;
2.負(fù)責(zé)大數(shù)據(jù)平臺集群整體運(yùn)維、監(jiān)控及安全體系建設(shè),包括集群運(yùn)行、調(diào)度任務(wù)監(jiān)控告警等;
3.參與大數(shù)據(jù)平臺數(shù)據(jù)產(chǎn)品架構(gòu)設(shè)計與優(yōu)化;
4.為平臺上層數(shù)據(jù)應(yīng)用提供技術(shù)支持;
5.參與大數(shù)據(jù)領(lǐng)域前沿技術(shù)調(diào)研和引進(jìn)。
任職要求:
1.碩士研究生及以上學(xué)歷,計算機(jī)相關(guān)專業(yè);
2.5年以上工作經(jīng)驗,3年以上大數(shù)據(jù)平臺開發(fā)、運(yùn)維經(jīng)驗;
3.精通Hadoop生態(tài)圈(如:Hive、Hbase、CK、Spark、Flink等等),熟悉各組件運(yùn)行原理及運(yùn)維部署調(diào)優(yōu),至少需要具備HDFS(含Yarn、Hive、Spark)、Hbase、CK集群的實際部署及運(yùn)維經(jīng)驗,對華為MRS集群有實際部署維護(hù)經(jīng)驗優(yōu)先;
4.熟悉MPP類型數(shù)據(jù)庫運(yùn)行原理及調(diào)優(yōu),對華為DWS數(shù)據(jù)庫有實際部署維護(hù)經(jīng)驗優(yōu)先;
5.熟悉各類關(guān)系型數(shù)據(jù)庫(如:Mysql、Postgres、Oracle),有良好的sql編寫.優(yōu)化能力;
6.具備Shell、Python 等腳本編程能力,邏輯思維能力強(qiáng),問題排查思路清晰;
7.有良好的Java語言編程基礎(chǔ),具備至少一個應(yīng)用類項目開發(fā)經(jīng)驗;
8.能夠熟練調(diào)用大數(shù)據(jù)生態(tài)圈各組件API接口;
9.有良好的代碼編寫規(guī)范。