崗位職責(zé):
1、負責(zé)數(shù)據(jù)中臺的數(shù)據(jù)采集、數(shù)據(jù)同步 、數(shù)據(jù)建模、數(shù)據(jù)分析等工作;
2、負責(zé)制定數(shù)據(jù)中臺相關(guān)的設(shè)計方案和開發(fā)計劃,并進行后續(xù)的方案的落地與實施;
3、為客戶或項目團隊提供數(shù)據(jù)庫方面(sql優(yōu)化、Spark等大數(shù)據(jù))技術(shù)支持服務(wù);
4、編寫需求功能詳細設(shè)計文檔,并完成數(shù)據(jù)相關(guān)的工作和任務(wù);
職位要求:
1、熟悉主流數(shù)據(jù)庫(oracle、mysql、hive、gbase)的數(shù)據(jù)開發(fā)工作及相關(guān)工具的使用;
2、善于運用存儲過程、函數(shù)等方法批量處理數(shù)據(jù),實現(xiàn)相關(guān)的業(yè)務(wù)需求;
3、熟悉Liunx/unix操作系統(tǒng),并熟練編寫shell腳本;
4、熟悉編寫表、視圖、存儲過程等程序,性能問題及異常處理,保持程序的穩(wěn)定性和健壯性;
5、熟悉多數(shù)據(jù)庫間的數(shù)據(jù)同步方法及相關(guān)工具的使用;
6、熟練掌握Hadoop框架及技術(shù),如SparkCore、Hbase、Hive、HDFS、Kudu、Impala、Yarn等;
7、熟悉大數(shù)據(jù)ETL工具及技術(shù),如Sqoop、SparkStreaming、Kafka、Flink等;
8、熟悉大數(shù)據(jù)常用開發(fā)語言,如Java、Scala、Python等;
9、對Hadoop性能環(huán)境調(diào)優(yōu)有深入了解;
10、大學(xué)本科;計算機、數(shù)學(xué)或計算機相關(guān)專業(yè)學(xué)歷;
11、具有良好的溝通能力、較強的團隊協(xié)作精神和責(zé)任心、能夠承受一定壓力、有較強的自我學(xué)習(xí)能力;
12、有大型Hadoop項目開發(fā)、實施經(jīng)驗者優(yōu)先;有數(shù)據(jù)中臺經(jīng)驗者優(yōu)先;有g(shù)base mpp數(shù)據(jù)庫使用經(jīng)驗優(yōu)先;
13、編程與框架掌握:
精通至少一種流式計算框架,如Apache Flink、Apache Storm或Kafka Streams等,并具備使用這些框架進行實時數(shù)據(jù)處理和分析的能力。
精通Java、Python或Scala等編程語言,并能編寫高效、可維護的實時計算程序。
14、數(shù)據(jù)處理能力:
具備對大規(guī)模、高并發(fā)的數(shù)據(jù)流進行高效處理的能力,包括數(shù)據(jù)清洗、轉(zhuǎn)換、聚合等操作。
熟悉常見的數(shù)據(jù)結(jié)構(gòu)和算法,能夠針對特定業(yè)務(wù)場景選擇合適的數(shù)據(jù)處理策略。
15、系統(tǒng)設(shè)計與優(yōu)化:
能夠根據(jù)業(yè)務(wù)需求設(shè)計合理的實時計算系統(tǒng)架構(gòu),包括數(shù)據(jù)流設(shè)計、組件選型、資源分配等。
了解性能調(diào)優(yōu)和故障排查的技巧,能夠優(yōu)化實時計算系統(tǒng)的性能和穩(wěn)定性。
16、實時分析與建模:
具備使用流式計算進行實時數(shù)據(jù)分析和建模的能力,包括大跨度統(tǒng)計分析、時間序列分析、機器學(xué)習(xí)模型在線更新等。
能夠根據(jù)業(yè)務(wù)需求設(shè)計并實現(xiàn)實時預(yù)警、監(jiān)控和決策支持等功能。
職位福利:五險一金、年底雙薪、績效獎金