崗位職責(zé):
1、數(shù)據(jù)平臺(tái)搭建與維護(hù)
2、參與公司大數(shù)據(jù)平臺(tái)的架構(gòu)設(shè)計(jì)、選型和搭建工作,確保平臺(tái)的高可用性、高性能和可擴(kuò)展性。
3、負(fù)責(zé)大數(shù)據(jù)平臺(tái)的日常運(yùn)維工作,包括集群的監(jiān)控、管理、故障排查與解決,保障平臺(tái)的穩(wěn)定運(yùn)行。
4、對(duì)大數(shù)據(jù)平臺(tái)進(jìn)行性能優(yōu)化,不斷提升數(shù)據(jù)處理和存儲(chǔ)的效率,降低平臺(tái)的運(yùn)維成本。
5、負(fù)責(zé)海量數(shù)據(jù)的采集、清洗、轉(zhuǎn)換和加載(ETL)工作,確保數(shù)據(jù)的準(zhǔn)確性、完整性和一致性。
6、運(yùn)用 Hadoop、Flink 等大數(shù)據(jù)處理技術(shù),對(duì)數(shù)據(jù)進(jìn)行分布式存儲(chǔ)和計(jì)算,滿足業(yè)務(wù)部門對(duì)數(shù)據(jù)處理的需求。
7、 參與數(shù)據(jù)分析和挖掘項(xiàng)目,根據(jù)業(yè)務(wù)需求提取有價(jià)值的信息,為公司的決策提供數(shù)據(jù)支持。
8、 數(shù)據(jù)倉庫建設(shè)。
9、基于公司的業(yè)務(wù)需求和數(shù)據(jù)特點(diǎn),設(shè)計(jì)和構(gòu)建數(shù)據(jù)倉庫,包括數(shù)據(jù)模型的設(shè)計(jì)、維度表和事實(shí)表的創(chuàng)建等。
10、與業(yè)務(wù)部門合作,理解業(yè)務(wù)需求,為數(shù)據(jù)倉庫提供數(shù)據(jù)查詢和報(bào)表開發(fā)支持,滿足業(yè)務(wù)部門對(duì)數(shù)據(jù)的分析和決策需求。
11、關(guān)注大數(shù)據(jù)技術(shù)的發(fā)展趨勢(shì),積極研究和引入新的技術(shù)和工具,不斷提升團(tuán)隊(duì)的技術(shù)水平和數(shù)據(jù)處理能力。
12、 參與大數(shù)據(jù)相關(guān)技術(shù)的選型和評(píng)估工作,為公司的技術(shù)決策提供建議和支持。
13、負(fù)責(zé)來自BP團(tuán)隊(duì)數(shù)據(jù)需求,如養(yǎng)殖數(shù)據(jù)、財(cái)務(wù)數(shù)據(jù)、sap等數(shù)據(jù)的采集、數(shù)據(jù)同步、數(shù)據(jù)清洗與標(biāo)準(zhǔn)化、數(shù)據(jù)模型設(shè)計(jì)、離線數(shù)據(jù)處理、實(shí)時(shí)數(shù)據(jù)處理、數(shù)據(jù)
服務(wù)化等。
任職要求:
1、本科及以上學(xué)歷,計(jì)算機(jī)科學(xué)、軟件工程、數(shù)學(xué)、統(tǒng)計(jì)學(xué)、大數(shù)據(jù)等相關(guān)專業(yè)。具備5年以上大數(shù)據(jù)開發(fā)工作經(jīng)驗(yàn),有完整的大數(shù)據(jù)項(xiàng)目開發(fā)經(jīng)驗(yàn)者優(yōu)先。
2、具備離線、實(shí)時(shí)計(jì)算開發(fā)能力,熟練掌握數(shù)據(jù)倉庫模型設(shè)計(jì)方法輪,并具有實(shí)際模型設(shè)計(jì)及ETL開發(fā)經(jīng)驗(yàn)。
3、熟練掌握Hadoop生態(tài)相關(guān)的技術(shù)及開發(fā),如Flink、Hive on spark、Doris、CDH、REDIS、Dolphinscheduler、kafka等,有基于分布式存儲(chǔ)與計(jì)算平臺(tái)應(yīng)用開
發(fā)、性能優(yōu)化經(jīng)驗(yàn)。
4、掌握一門活多門編程語言有限,如Java、Scala等。
5、掌握集群環(huán)境日常問題運(yùn)維,如CDH, FLINK, Dolphinscheduler, Doris集群等。
6、對(duì)數(shù)據(jù)業(yè)務(wù)場(chǎng)景非常敏感,具備跨多部門協(xié)作的復(fù)雜數(shù)據(jù)項(xiàng)目開發(fā)經(jīng)驗(yàn),有效結(jié)合業(yè)務(wù)和技術(shù)創(chuàng)新,形成完成的數(shù)據(jù)解決方案