崗位職責(zé):
1.負(fù)責(zé)企業(yè)級數(shù)據(jù)中臺架構(gòu)設(shè)計與核心模塊開發(fā),支撐全域數(shù)據(jù)資產(chǎn)化;
2.搭建高可用數(shù)據(jù)管道(ETL/ELT),完成多源異構(gòu)數(shù)據(jù)采集、清洗與標(biāo)準(zhǔn)化處理;
3.主導(dǎo)數(shù)據(jù)倉庫建模(維度建模/Data Vault),優(yōu)化數(shù)據(jù)分層存儲與計算性能;
4.設(shè)計數(shù)據(jù)服務(wù)化接口(API/數(shù)據(jù)沙箱),支持業(yè)務(wù)部門自助分析需求;
5.制定數(shù)據(jù)治理規(guī)范(元數(shù)據(jù)/數(shù)據(jù)質(zhì)量/血緣追蹤),保障數(shù)據(jù)資產(chǎn)可管可控;
6.協(xié)同算法團(tuán)隊構(gòu)建數(shù)據(jù)應(yīng)用場景(用戶畫像/實時大屏/智能風(fēng)控)。
任職要求:
1.統(tǒng)招本科及以上學(xué)歷,計算機/統(tǒng)計相關(guān)專業(yè),3年以上數(shù)據(jù)開發(fā)經(jīng)驗;
2.精通Hadoop/Spark/Flink生態(tài)圈,具備TB級數(shù)據(jù)處理及性能調(diào)優(yōu)經(jīng)驗;
3.熟練使用SQL/Python/Scala,掌握DolphinScheduler等調(diào)度工具;
4.熟悉數(shù)據(jù)倉庫技術(shù)(Kimball理論/數(shù)據(jù)湖架構(gòu)),有Hive/ClickHouse/StarRocks實戰(zhàn)經(jīng)驗;
5.了解數(shù)據(jù)治理框架(Apache Atlas/DataHub),熟悉數(shù)據(jù)安全管控方案;
6.具備云平臺(AWS/阿里云數(shù)據(jù)工場)開發(fā)經(jīng)驗,掌握Kafka/Pulsar流處理技術(shù)。
優(yōu)先條件:
1.有數(shù)據(jù)中臺從0到1搭建經(jīng)驗,熟悉OneData方法論;
2.掌握實時數(shù)倉(Flink CDC/Doris)或湖倉一體架構(gòu)(Iceberg/Hudi);
3.熟悉DataOps理念,有DataMesh架構(gòu)實踐經(jīng)驗;
4.了解主流BI工具(Tableau/FineBI)或數(shù)據(jù)建模工具(PowerDesigner/Erwin)。