崗位職責(zé):
1.負(fù)責(zé)大數(shù)據(jù)平臺的搭建、配置、優(yōu)化和維護(hù)工作,確保平臺穩(wěn)定、高效運(yùn)行,滿足業(yè)務(wù)需求;
2. 運(yùn)用大數(shù)據(jù)技術(shù)對數(shù)據(jù)進(jìn)行全流程處理,包括數(shù)據(jù)采集、存儲、分析和可視化等;
3. 負(fù)責(zé)將各個(gè)子系統(tǒng)集成到大數(shù)據(jù)平臺中,確保各系統(tǒng)模塊協(xié)同工作;
4. 跟蹤技術(shù)趨勢,評估引入新技術(shù),優(yōu)化平臺和系統(tǒng)性能以及功能。
任職要求:
1. 擁有本科及以上學(xué)歷,計(jì)算機(jī)科學(xué)、軟件工程、數(shù)據(jù)科學(xué)等相關(guān)專業(yè)優(yōu)先;
2.掌握數(shù)據(jù)湖,數(shù)據(jù)倉庫,數(shù)據(jù)中臺,數(shù)據(jù)應(yīng)用等理論知識,具備6年以上大數(shù)據(jù)相關(guān)工作經(jīng)驗(yàn)(數(shù)據(jù)平臺建設(shè)、數(shù)據(jù)采集、數(shù)據(jù)建模、數(shù)據(jù)處理分析、數(shù)據(jù)可視化等)
3. 熟練掌握 Hadoop、Flink、HBase、Kafka 等大數(shù)據(jù)框架。精通 Flink 的流批一體化處理,實(shí)現(xiàn)高效的數(shù)據(jù)實(shí)時(shí)處理;熟悉 HBase 的分布式存儲模型,進(jìn)行數(shù)據(jù)的高效讀寫;掌握 Kafka 的消息隊(duì)列機(jī)制,保障數(shù)據(jù)的可靠傳輸;熟悉Java,Python者優(yōu)先考慮;
4. 熟練掌握大數(shù)據(jù)環(huán)境下,數(shù)據(jù)庫性能優(yōu)化方法,如數(shù)據(jù)庫分庫、分表、分層索引等,監(jiān)控和優(yōu)化數(shù)據(jù)庫的性能;
5.具有高度的責(zé)任感,優(yōu)秀的溝通能力和領(lǐng)導(dǎo)能力,有創(chuàng)新意識;具有大規(guī)模數(shù)據(jù)平臺建設(shè)和運(yùn)維的實(shí)際經(jīng)驗(yàn),對數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)生命周期管理、數(shù)據(jù)API發(fā)布和數(shù)據(jù)應(yīng)用管理等數(shù)據(jù)治理服務(wù)有深刻理解;有從0-1大數(shù)據(jù)平臺架構(gòu)搭建能力者優(yōu)先。