崗位職責(zé):
1、負(fù)責(zé)數(shù)據(jù)倉庫腳本任務(wù)及數(shù)據(jù)的遷移工作,確保最終數(shù)據(jù)完整性和一致性。
2、使用 Hive SQL 進(jìn)行數(shù)據(jù)查詢操作,基于 Hadoop 大數(shù)據(jù)組件完成數(shù)據(jù)腳本部署、驗(yàn)證。
編寫和維護(hù)數(shù)據(jù)搬遷相關(guān)的操作文檔。
3、與業(yè)務(wù)團(tuán)隊和開發(fā)團(tuán)隊協(xié)作,確保數(shù)據(jù)搬遷項目按時交付,
4、負(fù)責(zé)搬遷工具的用戶支持、問題排查和系統(tǒng)運(yùn)維等工作,沉淀工具手冊,支持用戶完成搬遷項目。
任職要求:
1、5年以上大數(shù)據(jù)相關(guān)工作經(jīng)驗(yàn),具備數(shù)據(jù)倉庫、數(shù)據(jù)開發(fā)能力。
2、有大型數(shù)據(jù)倉庫遷移項目經(jīng)驗(yàn)者優(yōu)先。
3、數(shù)據(jù)倉庫技術(shù):熟悉數(shù)據(jù)倉庫的設(shè)計、建模和優(yōu)化,熟悉 ETL 流程。
4、大數(shù)據(jù)組件:熟悉Hadoop生態(tài)系統(tǒng)(如HDFS、YARN),了解 Spark、HBase、Kafka、Flink、ES、Clickhouse 等大數(shù)據(jù)組件的使用,
5、編程語言:精通 Hive SQL,能夠編寫復(fù)雜的査詢語句;有一定 Python、java 等編程語言的基礎(chǔ)。