任職要求:
1、本科及以上學(xué)歷,研究生優(yōu)先,計算機、軟件、電子、人工智能、通信及相關(guān)專業(yè),5年以上相關(guān)工作經(jīng)驗。
2、熟練使用工具如Apache NiFi、DataX、Airflow,能設(shè)計高效的數(shù)據(jù)抽取、清洗、轉(zhuǎn)換流程;理解CDC(變更數(shù)據(jù)捕獲)、日志解析等實時同步技術(shù)。
3、掌握元數(shù)據(jù)管理(如Apache Atlas)、數(shù)據(jù)血源追蹤、數(shù)據(jù)標(biāo)準(zhǔn)化方法;熟悉數(shù)據(jù)質(zhì)量監(jiān)控工具(Great Expectations)和主數(shù)據(jù)管理(MDM)。
4、精通維度建模(星型/雪花模型)、數(shù)據(jù)分層(ODS/DWD/DWS等;了解Data Vault 2.0等新型建模方法。
5、對AI與數(shù)據(jù)融合有工作經(jīng)驗優(yōu)先,如MLflow管理機器學(xué)習(xí)模型,或利用LLM(大語言模型)增強數(shù)據(jù)目錄。
6、對實時數(shù)倉如ClickHouse、Doris等OLAP引擎的深度應(yīng)用有工作經(jīng)驗優(yōu)先。
崗位職責(zé):
1、負(fù)責(zé)數(shù)據(jù)中臺產(chǎn)品的演進規(guī)劃與研發(fā)團隊管理。
2、負(fù)責(zé)數(shù)據(jù)中臺產(chǎn)品核心技術(shù)路線的制定和執(zhí)行。
3、負(fù)責(zé)與數(shù)據(jù)治理實施團隊的溝通、技術(shù)應(yīng)用指導(dǎo)。