職位描述
Python分布式爬蟲爬蟲開發(fā)數(shù)據(jù)清洗
崗位職責(zé)：
1、負(fù)責(zé)設(shè)計和開發(fā)分布式爬蟲和調(diào)度系統(tǒng)，爬蟲核心算法和調(diào)度策略優(yōu)化；
2、負(fù)責(zé)部分網(wǎng)站驗證碼破解和現(xiàn)有爬蟲系統(tǒng)效率的提升；
3、負(fù)責(zé)網(wǎng)絡(luò)數(shù)據(jù)抓取規(guī)劃和數(shù)據(jù)鏈路規(guī)劃、高效且穩(wěn)定爬取指定網(wǎng)站的數(shù)據(jù)；
4、構(gòu)建高可用性、高可擴(kuò)展性的網(wǎng)絡(luò)信息搜集平臺；
5、優(yōu)化現(xiàn)有數(shù)據(jù)清洗，數(shù)據(jù)提取，結(jié)構(gòu)化，入庫等過程；
6、深度思考并參與業(yè)務(wù)等數(shù)據(jù)瓶頸，并有效解決；
7、項目中遇到其他問題。
任職要求
1、計算機(jī)相關(guān)專業(yè)，python語言，三年以上爬蟲經(jīng)驗；
2、有獨立負(fù)責(zé)過爬蟲平臺搭建、爬蟲系統(tǒng)處理經(jīng)驗，爬蟲項目規(guī)劃能力；；
3、熟悉Scrapy、Pyspider、nutch、webmagic等主流爬蟲框架使用，了解js引擎技術(shù)等優(yōu)先考慮；
4、熟悉js逆向，混淆原理，js語法樹，客戶端常用簽名算法等。
5、具備web挖掘等搜索引擎相關(guān)知識，有豐富的網(wǎng)絡(luò)爬蟲、網(wǎng)頁去重、網(wǎng)頁信息抽取的經(jīng)驗，
6、掌握網(wǎng)頁抓取原理及技術(shù)，包括基于Cookie的登錄管理，基于headless的采集，熟悉正則表達(dá)式、XPath、Jsoup等網(wǎng)頁信息抽取技術(shù)。
7、熟悉Linux平臺開發(fā)、常用操作及命令，良好的編碼習(xí)慣，有獨立思考的能力，善于解決問題。
8、具備較強(qiáng)的團(tuán)隊協(xié)作精神，工作責(zé)任心強(qiáng)，良好的溝通、理解和執(zhí)行能力。
工作地點
石家莊長安區(qū)朝暉商務(wù)8樓
相似職位
- python爬蟲工程師8000-12000元
石家莊 - 裕華
豐翼實業(yè)集團(tuán)有限公司 - python爬蟲工程師7000-14000元
石家莊 - 長安
河北八千財務(wù)咨詢有限公司 - 高級爬蟲python工程師1-1.5萬
石家莊 - 長安
中數(shù)智創(chuàng)科技有限公司
熱門公司推薦
- 霸王茶姬招聘
- 肯德基招聘
- 順豐招聘
- 美團(tuán)招聘
- 京東招聘
- 餓了么招聘
- 比亞迪招聘
- 中國一汽招聘
- 北京汽車招聘
- 蔚來招聘
- 東風(fēng)汽車招聘
- 長城汽車招聘
- 奇瑞汽車招聘
- 理想汽車招聘
- 長鑫存儲招聘
- 天江藥業(yè)招聘
- 藍(lán)月亮招聘
- 安踏招聘
- TCL招聘
- 海信招聘
- 聯(lián)想招聘
- ?？低曊衅?/a>
- 寧德時代招聘
- 中興招聘
- 新松招聘
- 京東方招聘
- 申通招聘
- 圓通招聘
- 中通招聘
- 百世物流招聘
- 德邦物流招聘
- 麥當(dāng)勞招聘
- 星巴克招聘
- 海底撈招聘
- 蜜雪冰城招聘
- 瑞幸招聘
- 雀巢招聘
- 騰訊招聘
- 百度招聘
- 快手招聘
- 字節(jié)跳動招聘
- 新華網(wǎng)招聘
- 小米招聘
- 招商銀行招聘
- 中信銀行招聘
- 北京銀行招聘
- 興業(yè)銀行招聘
- 交通銀行招聘
- 建發(fā)集團(tuán)招聘
- 中國移動招聘
- 中國聯(lián)通招聘
- 中國電信招聘
- 中糧集團(tuán)招聘
- 國藥控股招聘
- 中廣核招聘
- 中國船舶招聘
- 強(qiáng)生中國招聘
- 匯豐中國招聘
- 宜家招聘
- 立邦中國招聘
- 伊利招聘
- 青島啤酒招聘
- 京港地鐵招聘
- 寶馬招聘
- 小鵬汽車招聘
- 華為招聘
- 特斯拉招聘
- 吉利招聘
- 奔馳招聘
- 海爾招聘
- 美的招聘
- 京東方招聘
- 施耐德電氣招聘
- 德邦物流招聘
職位發(fā)布者
梁女士/人資經(jīng)理
三日內(nèi)活躍立即溝通
中數(shù)智創(chuàng)科技有限公司中數(shù)智創(chuàng)科技有限公司成立于2018年，總部在河北石家莊，在北京、深圳設(shè)立全資子公司，集團(tuán)技術(shù)研發(fā)團(tuán)隊超過300人，主要業(yè)務(wù)為數(shù)字金融、數(shù)字產(chǎn)業(yè)、數(shù)字交易三大領(lǐng)域，產(chǎn)品和服務(wù)面向全國，已為全國數(shù)百家政、企客戶打造數(shù)字化服務(wù)平臺，上百家金融機(jī)構(gòu)研發(fā)創(chuàng)新金融科技產(chǎn)品。核心技術(shù)依托國內(nèi)領(lǐng)先的大數(shù)據(jù)、AI大模型、區(qū)塊鏈、隱私計算、物聯(lián)網(wǎng)、數(shù)字孿生等技術(shù)推動產(chǎn)業(yè)的深度發(fā)展。公司是中國招標(biāo)投標(biāo)協(xié)會成員單位、中物聯(lián)金融委常務(wù)理事單位、河北省中小企業(yè)投融資促進(jìn)會會長單位、河北省信息產(chǎn)業(yè)與信息化協(xié)會常務(wù)理事成員、河北省基于區(qū)塊鏈的電子保函系統(tǒng)技術(shù)創(chuàng)新中心、參編全國首部團(tuán)體標(biāo)準(zhǔn)《公共數(shù)據(jù)授權(quán)運營平臺技術(shù)要求》(T/CECC024-2023)。公司通過涉密乙級資質(zhì)、CCRC二級、CMMI3、ITSS三級、DCMM三級、EBS交易平臺三星認(rèn)證等。經(jīng)營理念：客戶至上、高效團(tuán)隊、創(chuàng)新發(fā)展、合作共贏企業(yè)使命：以科技創(chuàng)新，技術(shù)賦能政銀企數(shù)字化轉(zhuǎn)型企業(yè)愿景：成為政銀企數(shù)字化轉(zhuǎn)型與科技創(chuàng)新的開拓者企業(yè)精神：開放、務(wù)實、進(jìn)取、拼搏
公司主頁