崗位職責(zé):
1.設(shè)計(jì)和實(shí)現(xiàn)高效的大數(shù)據(jù)處理方案,包括ETL。
2.使用Java和相關(guān)大數(shù)據(jù)技術(shù)開發(fā)可擴(kuò)展的數(shù)據(jù)處理應(yīng)用。
3.優(yōu)化數(shù)據(jù)處理流程,提高系統(tǒng)性能和數(shù)據(jù)質(zhì)量。
4.解決大數(shù)據(jù)相關(guān)技術(shù)難題,持續(xù)改進(jìn)系統(tǒng)架構(gòu)。
5.開展技術(shù)選型驗(yàn)證、核心技術(shù)問(wèn)題攻關(guān)。
任職要求:
1.具備扎實(shí)的專業(yè)基礎(chǔ),如計(jì)算機(jī)體系結(jié)構(gòu)、操作系統(tǒng)、計(jì)算機(jī)網(wǎng)絡(luò)等。
2熟悉大數(shù)據(jù)生態(tài)相關(guān)技術(shù),如Hdfs\HBase\Hive\Spark\Kafka\Flink\ES等 。
3.具備扎實(shí)的Java開發(fā)基礎(chǔ),熟悉Java生態(tài)常 用框架與技術(shù)。
4.熟悉SQL與NoSQL數(shù)據(jù)庫(kù)技術(shù)。
5.具備良好的問(wèn)題解決能力和創(chuàng)新思維。
6.良好的團(tuán)隊(duì)合作和溝通能力。
1.有萬(wàn)億級(jí)、PB級(jí)數(shù)據(jù)處理實(shí)戰(zhàn)經(jīng)驗(yàn);
2.有安全行業(yè)從業(yè)或研究經(jīng)歷;
3.熟悉Elastic Stack系列工具;
4.對(duì)機(jī)器學(xué)習(xí)深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)AI等技術(shù)有研究或者有從業(yè)經(jīng)驗(yàn):