【崗位職責(zé)】
(以下提到恒河平臺(tái),為贏時(shí)勝大數(shù)據(jù)產(chǎn)品,將有贏時(shí)勝遠(yuǎn)程運(yùn)維支持,需要根據(jù)遠(yuǎn)程指令進(jìn)行現(xiàn)場(chǎng)操作):
一.數(shù)據(jù)平臺(tái)組件維護(hù)升級(jí)
1、hadoop、yarn、hdfs維護(hù)、升級(jí)
2、zookeeper維護(hù)、升級(jí)
3、恒河平臺(tái)調(diào)度系統(tǒng)維護(hù)、升級(jí)(產(chǎn)品jar包替換、測(cè)試等)
4、hbase、hive、doris、elasticsearch維護(hù)、升級(jí)
5、kafka、konx、minio維護(hù)、升級(jí)
6、ldap、kerberos、ranger維護(hù)、升級(jí)
7、datax、flink、spark、presto維護(hù)、升級(jí)
8、恒河平臺(tái)用戶中心、運(yùn)維平臺(tái)、調(diào)度平臺(tái)、資源中心、監(jiān)控平臺(tái)維護(hù)、升級(jí) (產(chǎn)品jar包替換、測(cè)試等)
二.日常任務(wù)
1、恒河平臺(tái)調(diào)度任務(wù)實(shí)時(shí)、準(zhǔn)實(shí)時(shí)、離線數(shù)倉(cāng)任務(wù)巡檢及報(bào)錯(cuò)排查處理(需要熟悉恒河產(chǎn)品的常用功能)
2、hbase、hive數(shù)據(jù)生命周期管理
3、元數(shù)據(jù)上報(bào)(按照現(xiàn)有機(jī)制完成)
4、技術(shù)支持?jǐn)?shù)倉(cāng)及任務(wù)開(kāi)發(fā)(需要的技術(shù)有shell、sql,非開(kāi)發(fā),類似sql優(yōu)化、用shell調(diào)用http短信服務(wù)等接口進(jìn)行短信預(yù)警等,偶發(fā)非常規(guī)工作)
5、支持平臺(tái)對(duì)光伏、地上鐵、工程機(jī)械物聯(lián)網(wǎng),客服、第三方GTP、其他業(yè)務(wù)部門數(shù)據(jù)服務(wù)(需要熟悉kafka,能完成kafka的topic分配、日志排查)
6、平臺(tái)服務(wù)及組件漏洞修復(fù)升級(jí) (產(chǎn)品jar包替換、測(cè)試等)
7、支持各業(yè)務(wù)導(dǎo)數(shù)據(jù)需求 (進(jìn)生產(chǎn)操作間獲取業(yè)務(wù)需要提取的文件等)
8、維護(hù)平臺(tái)用戶權(quán)限管理(需要熟悉恒河產(chǎn)品的常用功能)
9、大數(shù)據(jù)平臺(tái)容量管理 (hadoop擴(kuò)容、偶爾可能有基于恒河產(chǎn)品遠(yuǎn)程運(yùn)維支持對(duì)產(chǎn)品進(jìn)行橫向、縱向擴(kuò)容)
【能夠使用其中大部分組件,包括服務(wù)啟停、日志查看、升級(jí)維護(hù)等,有信心完成清單中的工作任務(wù)。】