此崗位 微創(chuàng)本部直招,工作地址在微創(chuàng)大廈,承接上海某互聯(lián)網(wǎng)大廠外包項(xiàng)目,歡迎投遞,謝謝~
面試流程:2輪視頻面試
【工作地點(diǎn)】上海市閔行區(qū)紫星路1000號(hào)微創(chuàng)大廈3F【地鐵15號(hào)線 紫竹高新區(qū)】
【人物畫像】
需 強(qiáng)互聯(lián)網(wǎng) 實(shí)時(shí)數(shù)倉背景和flinkSQL經(jīng)驗(yàn)
精通SQL&至少一門編程語言Spark/Flink/Java/Python
【崗位職責(zé)】
1、負(fù)責(zé)數(shù)據(jù)倉庫腳本任務(wù)及數(shù)據(jù)的遷移工作,確保最終數(shù)據(jù)完整性和一致性。
2、使用 Hive SQL 進(jìn)行數(shù)據(jù)查詢操作,基于 Hadoop 大數(shù)據(jù)組件完成數(shù)據(jù)腳本部署、驗(yàn)證。編寫和維護(hù)數(shù)據(jù)搬遷相關(guān)的操作文檔。
3、與業(yè)務(wù)團(tuán)隊(duì)和開發(fā)團(tuán)隊(duì)協(xié)作,確保數(shù)據(jù)搬遷項(xiàng)目按時(shí)交付。
【任職要求】
技術(shù)要求:
1、數(shù)據(jù)倉庫技術(shù):熟悉數(shù)據(jù)倉庫的設(shè)計(jì)、建模和優(yōu)化,熟悉 ETL 流程。
2、大數(shù)據(jù)組件:熟悉Hadoop生態(tài)系統(tǒng)(如HDFS、YARN),了解 Spark、HBase、Kafka、Flink、ES、Clickhouse 等大數(shù)據(jù)組件的使用。
3、編程語言:精通 Hive SQL,能夠編寫復(fù)雜的查詢語句;有一定 Python、Java 或 Scala 等編程語言的基礎(chǔ)。
經(jīng)驗(yàn)要求:
1、2-4年大數(shù)據(jù)相關(guān)工作經(jīng)驗(yàn),具備數(shù)據(jù)倉庫、數(shù)據(jù)開發(fā)能力。
2、有大型數(shù)據(jù)倉庫遷移項(xiàng)目經(jīng)驗(yàn)者優(yōu)先。