崗位職責(zé):
標(biāo)簽:數(shù)據(jù)開發(fā)、數(shù)據(jù)架構(gòu)、數(shù)據(jù)建模、數(shù)據(jù)倉庫、實時計算
崗位職責(zé):
1.深入理解行業(yè)數(shù)據(jù),理解和提煉標(biāo)準(zhǔn),結(jié)合數(shù)據(jù)的技術(shù)特點設(shè)計數(shù)據(jù)模型和加工生產(chǎn)邏輯,并不斷提煉共性需求,形成企業(yè)級統(tǒng)一數(shù)據(jù)模型;
2.主導(dǎo)項目數(shù)據(jù)架構(gòu)、數(shù)據(jù)模型設(shè)計,確保項目建設(shè)滿足架構(gòu)原則、規(guī)范和標(biāo)準(zhǔn),為項目建設(shè)提供數(shù)據(jù)架構(gòu)設(shè)計支持;
3.負(fù)責(zé)數(shù)據(jù)源調(diào)研、入庫、離線和實時數(shù)據(jù)處理的全流程開發(fā)工作,并保證數(shù)據(jù)質(zhì)量;
4.制定數(shù)據(jù)湖倉相關(guān)技術(shù)規(guī)劃、標(biāo)準(zhǔn)制定,并且推動團隊遵循標(biāo)準(zhǔn);
任職要求:
1.本科及以上學(xué)歷,7年以上工作經(jīng)驗;
2.熟悉Hadoop生態(tài)系統(tǒng),熟悉Hive、HBase、Kafka、Spark、Flink、Hudi/Iceberg等組件的工作原理,熟悉MPP數(shù)據(jù)庫如Clickhouse、Doris、StarRocks等;
3.熟悉Hive SQL語言,熟悉scala語言,熟悉java, python等至少一種編程語言;
4.較強的業(yè)務(wù)理解能力,善于抽象提煉企業(yè)領(lǐng)域數(shù)據(jù)模型,有豐富的數(shù)據(jù)倉庫建設(shè)、數(shù)據(jù)模型設(shè)計經(jīng)驗;
5.熟悉數(shù)據(jù)治理(數(shù)據(jù)管理)的理論知識,例如DAMA、DCMM、數(shù)據(jù)資產(chǎn)管理白皮書等優(yōu)先;
6.具備優(yōu)秀的邏輯思維能力和自驅(qū)力,有良好的溝通能力和團隊協(xié)作精神