雇員點(diǎn)評(píng)標(biāo)簽
職位描述
Hadoop大數(shù)據(jù)開發(fā)
崗位職責(zé)：
1. 平臺(tái)開發(fā)與部署：
? 設(shè)計(jì)、開發(fā)和維護(hù)基于Hadoop生態(tài)系統(tǒng)的大數(shù)據(jù)平臺(tái)（如HDFS、YARN、Hive、Spark、HBase等）。
? 開發(fā)和優(yōu)化數(shù)據(jù)管道（Data Pipeline），支持?jǐn)?shù)據(jù)采集、存儲(chǔ)、處理和分析。
? 編寫和維護(hù)自動(dòng)化腳本（如Shell、Python）以簡(jiǎn)化部署和管理流程。
2. 平臺(tái)運(yùn)維與監(jiān)控：
? 負(fù)責(zé)Hadoop集群的日常運(yùn)維，包括安裝、配置、升級(jí)和故障排除。
? 監(jiān)控集群性能，優(yōu)化資源利用率，確保系統(tǒng)高可用性和穩(wěn)定性。
? 使用監(jiān)控工具（如Ganglia、Nagios、Prometheus等）實(shí)時(shí)監(jiān)控集群狀態(tài)，及時(shí)發(fā)現(xiàn)并解決問題。
3. 性能優(yōu)化：
? 分析和優(yōu)化Hadoop集群的性能，解決數(shù)據(jù)傾斜、資源爭(zhēng)用等問題。
? 優(yōu)化MapReduce、Spark等計(jì)算框架的任務(wù)執(zhí)行效率。
? 調(diào)整HDFS存儲(chǔ)策略，優(yōu)化數(shù)據(jù)讀寫性能。
4. 安全管理：
? 配置和管理Hadoop平臺(tái)的安全機(jī)制，包括Kerberos認(rèn)證、權(quán)限控制（ACL）和數(shù)據(jù)加密。
? 定期進(jìn)行安全審計(jì)，確保平臺(tái)符合公司安全政策和行業(yè)標(biāo)準(zhǔn)。
5. 故障排查與恢復(fù)：
? 快速定位和解決Hadoop集群中的故障，包括硬件故障、網(wǎng)絡(luò)問題和軟件異常。
? 制定和實(shí)施災(zāi)難恢復(fù)計(jì)劃，確保數(shù)據(jù)安全 任職要求：
1. 教育背景：
? 計(jì)算機(jī)科學(xué)、信息技術(shù)、軟件工程或相關(guān)專業(yè)本科及以上學(xué)歷。
2. 工作經(jīng)驗(yàn)：
? 4年以上大數(shù)據(jù)平臺(tái)開發(fā)或運(yùn)維經(jīng)驗(yàn)，熟悉Hadoop生態(tài)系統(tǒng)及其核心組件（如HDFS、YARN、Hive、Spark、HBase等）。
? 有大規(guī)模集群（100+節(jié)點(diǎn)）運(yùn)維經(jīng)驗(yàn)者優(yōu)先。
3. 技術(shù)技能：
? 熟練掌握Hadoop生態(tài)系統(tǒng)的部署、配置和優(yōu)化。
? 熟悉至少一種編程語(yǔ)言（如Java、Python、Scala）。
? 熟悉Linux操作系統(tǒng)，具備Shell腳本編寫能力。
? 熟悉大數(shù)據(jù)處理框架（如MapReduce、Spark、Flink）。
? 熟悉數(shù)據(jù)倉(cāng)庫(kù)工具（如Hive、Impala）和消息隊(duì)列（如Kafka）。
? 了解容器化技術(shù)（如Docker、Kubernetes）和云計(jì)算平臺(tái)（如AWS、Azure、阿里云）者優(yōu)先。
4. 軟技能：
? 具備良好的問題分析和解決能力。
? 具備較強(qiáng)的溝通能力和團(tuán)隊(duì)協(xié)作精神。
? 能夠在高壓環(huán)境下工作，具備快速學(xué)習(xí)和適應(yīng)新技術(shù)的能力。
工作地點(diǎn)
平頂山湛河區(qū)平高集團(tuán)
相似職位
- 數(shù)據(jù)開發(fā)工程師7000-14000元
平頂山 - 湛河區(qū)
河南馳鵬科技有限公司 - 大數(shù)據(jù)開發(fā)（平頂山市）8000-12000元
平頂山 - 湛河區(qū)
華蘇科技
熱門公司推薦
- 霸王茶姬招聘
- 肯德基招聘
- 順豐招聘
- 美團(tuán)招聘
- 京東招聘
- 餓了么招聘
- 比亞迪招聘
- 中國(guó)一汽招聘
- 北京汽車招聘
- 蔚來(lái)招聘
- 東風(fēng)汽車招聘
- 長(zhǎng)城汽車招聘
- 奇瑞汽車招聘
- 理想汽車招聘
- 長(zhǎng)鑫存儲(chǔ)招聘
- 天江藥業(yè)招聘
- 藍(lán)月亮招聘
- 安踏招聘
- TCL招聘
- 海信招聘
- 聯(lián)想招聘
- 海康威視招聘
- 寧德時(shí)代招聘
- 中興招聘
- 新松招聘
- 京東方招聘
- 申通招聘
- 圓通招聘
- 中通招聘
- 百世物流招聘
- 德邦物流招聘
- 麥當(dāng)勞招聘
- 星巴克招聘
- 海底撈招聘
- 蜜雪冰城招聘
- 瑞幸招聘
- 雀巢招聘
- 騰訊招聘
- 百度招聘
- 快手招聘
- 字節(jié)跳動(dòng)招聘
- 新華網(wǎng)招聘
- 小米招聘
- 招商銀行招聘
- 中信銀行招聘
- 北京銀行招聘
- 興業(yè)銀行招聘
- 交通銀行招聘
- 建發(fā)集團(tuán)招聘
- 中國(guó)移動(dòng)招聘
- 中國(guó)聯(lián)通招聘
- 中國(guó)電信招聘
- 中糧集團(tuán)招聘
- 國(guó)藥控股招聘
- 中廣核招聘
- 中國(guó)船舶招聘
- 強(qiáng)生中國(guó)招聘
- 匯豐中國(guó)招聘
- 宜家招聘
- 立邦中國(guó)招聘
- 伊利招聘
- 青島啤酒招聘
- 京港地鐵招聘
- 寶馬招聘
- 小鵬汽車招聘
- 華為招聘
- 特斯拉招聘
- 吉利招聘
- 奔馳招聘
- 海爾招聘
- 美的招聘
- 京東方招聘
- 施耐德電氣招聘
- 德邦物流招聘
職位發(fā)布者
李女士/HR
三日內(nèi)活躍立即溝通
華蘇科技南京華蘇科技有限公司（簡(jiǎn)稱：華蘇科技）成立于2003年，是軟件產(chǎn)品、解決方案和技術(shù)服務(wù)的提供商，致力為產(chǎn)業(yè)數(shù)字化轉(zhuǎn)型注入新動(dòng)能?？偛课挥谥袊?guó)（南京）軟件谷，目前在北京、廣州、福州、沈陽(yáng)、成都、西安、杭州、濟(jì)南等多地?fù)碛蟹种C(jī)構(gòu)。2016年加入神州信息，承載其ICT業(yè)務(wù)。深耕行業(yè)二十年，華蘇科技具備行業(yè)領(lǐng)先的研發(fā)能力、產(chǎn)品和服務(wù)。憑借對(duì)IT、網(wǎng)絡(luò)環(huán)境和行業(yè)運(yùn)營(yíng)需求的深入理解，過硬的項(xiàng)目管理能力和豐富的產(chǎn)品研發(fā)經(jīng)驗(yàn)，與中國(guó)移動(dòng)、中國(guó)電信、中國(guó)聯(lián)通、華為、中興、愛立信、國(guó)家電網(wǎng)等行業(yè)龍頭企業(yè)建立了深厚的合作伙伴關(guān)系。業(yè)務(wù)覆蓋全國(guó)除港澳臺(tái)外所有省級(jí)行政區(qū)，以及海外多個(gè)國(guó)家和地區(qū)。華蘇科技始終堅(jiān)持研發(fā)高投入，以通信基礎(chǔ)能力為底座，加速擁抱5G、人工智能、云計(jì)算、大數(shù)據(jù)、物聯(lián)網(wǎng)等新興技術(shù)，形成“浩”和“Howso@”系列數(shù)字化產(chǎn)品。以深厚的技術(shù)底蘊(yùn)和敏捷的創(chuàng)新能力，持續(xù)驅(qū)動(dòng)軟件和服務(wù)產(chǎn)品的智能化迭代，深度參與產(chǎn)業(yè)數(shù)字化發(fā)展進(jìn)程，為通信、電力、政企、汽車、地產(chǎn)、互聯(lián)網(wǎng)等行業(yè)獻(xiàn)力賦能。
公司主頁(yè)