工作職責(zé):
1.負(fù)責(zé)大數(shù)據(jù)分析需求設(shè)計(jì)和開(kāi)發(fā),承擔(dān)數(shù)據(jù)抽取、清洗、實(shí)時(shí)統(tǒng)計(jì)及離線數(shù)據(jù)處理等程序開(kāi)發(fā);
2.根據(jù)項(xiàng)目需求預(yù)研并引入新的大數(shù)據(jù)分析技術(shù);
3.參與或負(fù)責(zé)大數(shù)據(jù)倉(cāng)庫(kù)的設(shè)計(jì)、開(kāi)發(fā)、維護(hù),通過(guò)數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)治理體系有效管理和組織PB級(jí)數(shù)據(jù);
4.參與或負(fù)責(zé)數(shù)據(jù)服務(wù)和大數(shù)據(jù)產(chǎn)品研發(fā),通過(guò)對(duì)數(shù)據(jù)理解,發(fā)掘數(shù)據(jù)價(jià)值;
5.負(fù)責(zé)大數(shù)據(jù)相關(guān)系統(tǒng)、產(chǎn)品的設(shè)計(jì)、研發(fā)及相關(guān)系統(tǒng)的部署。
任職要求:
1. 掌握C++、Java、Python等一種或多種編程語(yǔ)言。
2. 熟悉主流開(kāi)源框架,如:Spring、Spring Boot、SpringMVC、Spring Cloud、Mybatis/Hibernate;
3. 熟悉Hadoop體系結(jié)構(gòu)、對(duì)Hadoop生態(tài)圈全面了解;
4. 熟悉大數(shù)據(jù)開(kāi)發(fā)框架,熟練使用HDFS/HBase/Hive/Spark/SparkStreaming/Kafka/flume等相關(guān)技術(shù),有大數(shù)據(jù)項(xiàng)目經(jīng)驗(yàn);
5. 熟悉分布式系統(tǒng)的機(jī)制和應(yīng)用,如:Redis、Zookeeper等;
6. 至少熟悉一種消息隊(duì)列,如:RabbitMQ 或者 ActiveMQ;
7. 熟悉Linux系統(tǒng)以及Shell腳本語(yǔ)言;
8. 掌握常用的設(shè)計(jì)模式和架構(gòu)模式,能夠熟練使用建模工具進(jìn)行系統(tǒng)設(shè)計(jì);
9. 熟悉規(guī)范化的軟件開(kāi)發(fā)過(guò)程,具備學(xué)習(xí)能力、執(zhí)行力、溝通能力等潛質(zhì)要素。
10. 具備優(yōu)秀的溝通能力和團(tuán)隊(duì)協(xié)作能力,抗壓能力強(qiáng),可接受出差。
11.具有公安行業(yè)、智慧城市項(xiàng)目開(kāi)發(fā)經(jīng)驗(yàn)優(yōu)先考慮。