崗位職責(zé):
1、基于Java技術(shù)棧開發(fā)高效穩(wěn)定的數(shù)據(jù)處理系統(tǒng),設(shè)計(jì)數(shù)據(jù)存儲、清洗、計(jì)算及流轉(zhuǎn)架構(gòu);
2、負(fù)責(zé)數(shù)據(jù)ETL流程開發(fā),對接多源數(shù)據(jù)(數(shù)據(jù)庫、日志、API等)并進(jìn)行結(jié)構(gòu)化處理;
3、優(yōu)化數(shù)據(jù)處理性能,解決高并發(fā)、海量數(shù)據(jù)場景下的計(jì)算與存儲瓶頸;
4、參與數(shù)據(jù)應(yīng)用系統(tǒng)開發(fā)(如數(shù)據(jù)報(bào)表、實(shí)時(shí)分析、數(shù)據(jù)API服務(wù)等);
5、 構(gòu)建數(shù)據(jù)質(zhì)量監(jiān)控體系,保障數(shù)據(jù)的準(zhǔn)確性、完整性和及時(shí)性;
6、與數(shù)據(jù)分析師、算法團(tuán)隊(duì)協(xié)作,提供底層數(shù)據(jù)支持。
崗位要求:
1、本科及以上學(xué)歷,計(jì)算機(jī)、軟件工程或相關(guān)專業(yè)
2、至少3年Java開發(fā)經(jīng)驗(yàn),具備大數(shù)據(jù)開發(fā)相關(guān)的經(jīng)驗(yàn)。
3、熟悉大數(shù)據(jù)處理框架與技術(shù)(如Hadoop、Spark、Flink等),并有實(shí)際項(xiàng)目
經(jīng)驗(yàn)。
4、精通Java編程語言,熱悉Spring、MyBatis等常用開發(fā)框架。
5、熟悉常見的大數(shù)據(jù)存儲與處理系統(tǒng),如HDFS、Hive、HBase、Kafka等。
6、具備良好的數(shù)據(jù)庫設(shè)計(jì)能力,熟悉SQ優(yōu)化,了解NoSQL數(shù)據(jù)庫的使用(如Redis、Cassandra等)。
7、了解分布式系統(tǒng)原理,具備高并發(fā)、高可用系統(tǒng)的設(shè)計(jì)和優(yōu)化經(jīng)驗(yàn)。
8、具備良好的編碼習(xí)慣和開發(fā)文檔撰寫能力,能有效進(jìn)行團(tuán)隊(duì)協(xié)作。
加分項(xiàng):
1、有數(shù)據(jù)中臺相關(guān)開發(fā)經(jīng)驗(yàn)優(yōu)先。
2、有億級、PB級數(shù)據(jù)處理實(shí)戰(zhàn)經(jīng)驗(yàn);
3、熟悉云計(jì)算平臺(如AWS、阿里云等)的大數(shù)據(jù)服務(wù)。
4、具備多線程、并發(fā)編程優(yōu)化經(jīng)驗(yàn)、熟練掌握python。
5、了解容器化技術(shù)(Docker、Kubernetes)及微服務(wù)架構(gòu)。