工作職責(zé):
1、負(fù)責(zé)公司大數(shù)據(jù)基礎(chǔ)平臺(tái)的運(yùn)維、規(guī)劃、部署、管理、擴(kuò)容和優(yōu)化等,保障服務(wù)的穩(wěn)定性和可用性,發(fā)現(xiàn)并解決性能瓶頸等;
2、負(fù)責(zé)公司大數(shù)據(jù)/Hadoop/Hive/Oozie/spark等大數(shù)據(jù)組件服務(wù)穩(wěn)定性保障;
3、參與數(shù)據(jù)平臺(tái)的相關(guān)工具開發(fā)包括自動(dòng)化部署、監(jiān)控、ETL等;
4、負(fù)責(zé)大數(shù)據(jù)平臺(tái)的用戶管理、權(quán)限分配、資源分配;
5、跟進(jìn)大數(shù)據(jù)技術(shù)研究的大方向,做新技術(shù)預(yù)研工作;
6、開發(fā)大數(shù)據(jù)自動(dòng)化運(yùn)維、監(jiān)控、故障處理工具,推動(dòng)程序架構(gòu)與部署優(yōu)化,優(yōu)化和控制運(yùn)營(yíng)成本。
任職資格:
1、本科以上學(xué)歷,計(jì)算機(jī)相關(guān)專業(yè),3年以上同類工作經(jīng)驗(yàn);
2、熟悉Python/Shell等至少一種腳本語(yǔ)言,能夠編寫腳本進(jìn)行自動(dòng)化處理;
3、運(yùn)維過(guò)CDH/Ambari等大數(shù)據(jù)集群,能快速定位并解決問(wèn)題;
4、對(duì)大數(shù)據(jù)相關(guān)開源組件(Hadoop/Hive/Spark/Impala/Flink/ES等)有深入理解和建設(shè),能夠進(jìn)行性能調(diào)優(yōu);
5、能夠利用各種開源監(jiān)控工具,如Prometheus+Grafana、Zabbix、Nagios等,至少熟悉兩種以上。