職位描述
Python爬蟲開發(fā)云計算/大數(shù)據(jù)人工智能
崗位職責(zé)：
負責(zé)設(shè)計和開發(fā)高性能、高可用的分布式網(wǎng)絡(luò)爬蟲系統(tǒng)，保障數(shù)據(jù)采集的效率和穩(wěn)定性；
使用Elasticsearch構(gòu)建搜索和分析系統(tǒng)，實現(xiàn)海量數(shù)據(jù)的快速檢索與聚合；
基于MongoDB/Redis設(shè)計數(shù)據(jù)存儲方案，優(yōu)化數(shù)據(jù)庫性能及查詢效率；
對接阿里云OSS等對象存儲服務(wù)，管理非結(jié)構(gòu)化數(shù)據(jù)資源；
參與LLM（大語言模型）相關(guān)項目的開發(fā)，包括數(shù)據(jù)預(yù)處理、特征工程及API集成；
持續(xù)優(yōu)化系統(tǒng)架構(gòu)，解決高并發(fā)、分布式場景下的技術(shù)難題。
任職要求：
本科及以上學(xué)歷，計算機相關(guān)專業(yè)，3年以上Python開發(fā)經(jīng)驗；
精通Scrapy/Requests/BeautifulSoup等爬蟲框架，熟悉反爬機制破解（驗證碼識別、IP代理等）；
熟練掌握以下至少兩種數(shù)據(jù)庫技術(shù)：
Elasticsearch（索引設(shè)計、分詞優(yōu)化、聚合查詢）
MongoDB（副本集、分片集群、聚合管道）
Redis（數(shù)據(jù)結(jié)構(gòu)、持久化、集群模式）
熟悉阿里云OSS/S3等對象存儲服務(wù)，了解文件分片上傳和CDN加速；
有LLM項目經(jīng)驗者優(yōu)先（如：LangChain應(yīng)用、RAG系統(tǒng)開發(fā)、Prompt工程等）；
熟悉分布式系統(tǒng)設(shè)計，了解Celery/Dask等異步任務(wù)框架；
良好的編碼習(xí)慣，能獨立完成技術(shù)方案設(shè)計和文檔編寫。
加分項：
有千萬級數(shù)據(jù)爬取或處理經(jīng)驗
熟悉Kubernetes/Docker容器化部署
了解機器學(xué)習(xí)基礎(chǔ)算法和框架（PyTorch/TensorFlow）
工作地點
深圳鹽田區(qū)華大時空中心
相似職位
- python爬蟲工程師【線上面試+反饋快】1-1.7萬
深圳 - 龍華
軟通動力信息技術(shù)(集團)股份有限公司 - python爬蟲工程師1.5-2.3萬
深圳 - 寶安
中電金信軟件有限公司 - Python數(shù)據(jù)處理（雙休+五險一金）1.1-1.4萬
深圳 - 南山
軟通動力信息技術(shù)(集團)股份有限公司 - 數(shù)據(jù)爬蟲工程師3.5-4萬
深圳 - 南山
香港城市大學(xué)深圳研究院 - 逆向爬蟲開發(fā)工程師1-2萬
深圳 - 光明
深圳市留鳳科技有限公司 - python爬蟲工程師1-1.6萬
深圳 - 福田
深圳盛豐易科技有限公司
熱門公司推薦
- 霸王茶姬招聘
- 肯德基招聘
- 順豐招聘
- 美團招聘
- 京東招聘
- 餓了么招聘
- 比亞迪招聘
- 中國一汽招聘
- 北京汽車招聘
- 蔚來招聘
- 東風(fēng)汽車招聘
- 長城汽車招聘
- 奇瑞汽車招聘
- 理想汽車招聘
- 長鑫存儲招聘
- 天江藥業(yè)招聘
- 藍月亮招聘
- 安踏招聘
- TCL招聘
- 海信招聘
- 聯(lián)想招聘
- ?？低曊衅?/a>
- 寧德時代招聘
- 中興招聘
- 新松招聘
- 京東方招聘
- 申通招聘
- 圓通招聘
- 中通招聘
- 百世物流招聘
- 德邦物流招聘
- 麥當勞招聘
- 星巴克招聘
- 海底撈招聘
- 蜜雪冰城招聘
- 瑞幸招聘
- 雀巢招聘
- 騰訊招聘
- 百度招聘
- 快手招聘
- 字節(jié)跳動招聘
- 新華網(wǎng)招聘
- 小米招聘
- 招商銀行招聘
- 中信銀行招聘
- 北京銀行招聘
- 興業(yè)銀行招聘
- 交通銀行招聘
- 建發(fā)集團招聘
- 中國移動招聘
- 中國聯(lián)通招聘
- 中國電信招聘
- 中糧集團招聘
- 國藥控股招聘
- 中廣核招聘
- 中國船舶招聘
- 強生中國招聘
- 匯豐中國招聘
- 宜家招聘
- 立邦中國招聘
- 伊利招聘
- 青島啤酒招聘
- 京港地鐵招聘
- 寶馬招聘
- 小鵬汽車招聘
- 華為招聘
- 特斯拉招聘
- 吉利招聘
- 奔馳招聘
- 海爾招聘
- 美的招聘
- 京東方招聘
- 施耐德電氣招聘
- 德邦物流招聘
職位發(fā)布者
譚琦明/HR
今日活躍立即溝通
深圳建廣數(shù)字科技有限公司青島分公司
深圳建廣數(shù)字科技有限公司是中國領(lǐng)先的傳統(tǒng)產(chǎn)業(yè)數(shù)字化轉(zhuǎn)型完整IT解決方案和端到端IT服務(wù)的提供商。公司在北京、上海、廣州、深圳、武漢、青島、大連、無錫等地均設(shè)有分支機構(gòu)。二十余年來一直在數(shù)字化轉(zhuǎn)型領(lǐng)域持續(xù)積累，致力于為客戶提供具有行業(yè)特色、覆蓋企業(yè)數(shù)字化轉(zhuǎn)型所需的整體解決方案以及相關(guān)的端到端服務(wù)。800多位專家顧問，1700多位專業(yè)服務(wù)人員，以專業(yè)精神、豐富的經(jīng)驗和出色的服務(wù)享譽業(yè)界。迄今已服務(wù)超過800多家包括財富500強在內(nèi)的國內(nèi)外眾多客戶，獲得廣泛贊譽。公司一直致力于助力傳統(tǒng)產(chǎn)業(yè)數(shù)字化轉(zhuǎn)型（Digital transformation），在建立數(shù)字化轉(zhuǎn)換（Digitization）、數(shù)字化升級（Digitalization）基礎(chǔ)上，進一步賦能公司核心業(yè)務(wù)，以新建一種商業(yè)模式為目標的高層次轉(zhuǎn)型。圍繞這一理念，公司已建立起套裝軟件及服務(wù)、數(shù)字化解決方案及服務(wù)、IT開發(fā)與外包服務(wù)三大縱深賦能體系。并滿足客戶從咨詢、技術(shù)實施到運維完整的端到端需求。
公司主頁