崗位職責(zé):
1.技術(shù)開發(fā):負(fù)責(zé)大數(shù)據(jù)存儲(chǔ)、計(jì)算平臺(tái)搭建和開發(fā);負(fù)責(zé)數(shù)據(jù)倉(cāng)庫(kù)建設(shè),數(shù)據(jù)抽取、清洗、轉(zhuǎn)化等數(shù)據(jù)處理程序開發(fā)。
2.技術(shù)選型:負(fù)責(zé)根據(jù)具體應(yīng)用場(chǎng)景進(jìn)行技術(shù)選型,提出解決方案;
3.體系建設(shè):負(fù)責(zé)數(shù)據(jù)治理體系建設(shè),能夠從零搭建數(shù)據(jù)治理產(chǎn)品,包括但不限于數(shù)據(jù)存儲(chǔ)體系建設(shè)、ETL、數(shù)據(jù)血緣、數(shù)據(jù)安全、數(shù)據(jù)分類分級(jí)等。
4.團(tuán)隊(duì)協(xié)作:參與進(jìn)行客戶業(yè)務(wù)需求、數(shù)據(jù)分析需求的調(diào)研、收集與分析。
5.技術(shù)預(yù)研:負(fù)責(zé)新技術(shù)調(diào)研、測(cè)試和落地應(yīng)用,對(duì)初中級(jí)數(shù)據(jù)工程師開展帶教。
任職要求:
1.技術(shù)技能:精通大數(shù)據(jù)開發(fā)相關(guān)技術(shù)以及Hadoop/HBae/Hive等開發(fā)框架;精通Doris、Flink、Hive、Hbase、ES、Clickhouse等大數(shù)據(jù)常用技術(shù),熟悉數(shù)據(jù)提取Flume、Syslog等技術(shù)并有實(shí)際使用經(jīng)驗(yàn);熟悉國(guó)內(nèi)外大數(shù)據(jù)安全、網(wǎng)絡(luò)安全行業(yè)發(fā)展,具備大型數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)設(shè)計(jì)、模型設(shè)計(jì)、存儲(chǔ)設(shè)計(jì)能力;對(duì)數(shù)據(jù)建模及業(yè)務(wù)抽象有深入的理解,有海量分布式數(shù)據(jù)庫(kù)系統(tǒng)的需求分析、架構(gòu)設(shè)計(jì)經(jīng)驗(yàn);具備扎實(shí)的java技術(shù)基礎(chǔ),精通Spring生態(tài)體系,熟練掌握SpringBoot/SpringCloud微服務(wù)研發(fā)體系。
2.工作經(jīng)驗(yàn):計(jì)算機(jī)相關(guān)專業(yè)本科及以上學(xué)歷,5年以上分布式系統(tǒng)、大數(shù)據(jù)系統(tǒng)開發(fā)工作經(jīng)驗(yàn),有一定項(xiàng)目管理/團(tuán)隊(duì)管理經(jīng)驗(yàn)。
3.通用能力:優(yōu)秀的溝通和協(xié)作能力,能夠與團(tuán)隊(duì)成員有效溝通;能提出創(chuàng)新的技術(shù)解決方案,推動(dòng)技術(shù)進(jìn)步;快速學(xué)習(xí)新技術(shù)和新工具的能力。
4.優(yōu)先條件:熟悉數(shù)據(jù)分類分級(jí)、數(shù)據(jù)脫敏、數(shù)據(jù)水印等技術(shù);研究過前沿?cái)?shù)據(jù)安全技術(shù),如同態(tài)加密、數(shù)據(jù)脫敏、數(shù)據(jù)鑒權(quán)等;有海量數(shù)據(jù)實(shí)踐經(jīng)驗(yàn),閱讀過源碼。