職位描述
爬蟲開發(fā)分布式爬蟲爬蟲
【崗位職責(zé)】
1.參與爬蟲項(xiàng)目的架構(gòu)設(shè)計(jì)、研發(fā)、編程工作，改進(jìn)和提升爬蟲效率；
2.負(fù)責(zé)爬蟲數(shù)據(jù)的分布式存儲(chǔ)設(shè)計(jì)及代碼實(shí)現(xiàn)；
3.負(fù)責(zé)網(wǎng)頁信息抽取、清洗、消重和結(jié)構(gòu)化處理等工作；
4.解決各類反爬問題，如字體加密、JS混淆、驗(yàn)證碼、APP抓包和逆向工程;
5.對(duì)爬蟲數(shù)據(jù)進(jìn)行數(shù)據(jù)處理、分析及匹配。
【任職要求】
1.計(jì)算機(jī)相關(guān)專業(yè)，有三年以上 Python 開發(fā)經(jīng)驗(yàn)，熟練 Python 語言；
2.熟練掌握selenium、html、js、css、xpath、正則表達(dá)式等數(shù)據(jù)采集與提取工具；
3.精通常見的反爬蟲技術(shù)如字體加密、js混淆、滑塊驗(yàn)證、點(diǎn)選驗(yàn)證、app逆向等；
4.精通scrapy爬蟲框架，對(duì)分布式爬蟲、海量數(shù)據(jù)采集有深刻理解;
5.熟悉 Django 、Flask等web框架，以及自動(dòng)化開發(fā)經(jīng)驗(yàn)者優(yōu)先考慮；
6.能熟練使用Linux、Mongo、ES、Redis、kafka等技術(shù)優(yōu)先考慮；
7.有激情和責(zé)任心，積極主動(dòng)，具有良好的團(tuán)隊(duì)協(xié)作、對(duì)外溝通能力，有良好的自學(xué)能力。提供 Github 或者博客地址，有開源項(xiàng)目貢獻(xiàn)者優(yōu)先考慮
工作地點(diǎn)
上海浦東新區(qū)浦江2162浦東南路2162號(hào)3樓C座
相似職位
- 網(wǎng)絡(luò)爬蟲實(shí)習(xí)生150-250元/天
上海 - 浦東
上海張江數(shù)學(xué)研究院 - 資深爬蟲開發(fā)工程師（反爬與數(shù)據(jù)處理）2-2.5萬·15薪
上海 - 浦東
上海騰道信息技術(shù)有限公司 - python高級(jí)爬蟲工程師2-2.5萬·15薪
上海 - 浦東
上海騰道信息技術(shù)有限公司 - python爬蟲工程師1.6-1.8萬
上海 - 浦東
中科創(chuàng)達(dá)軟件股份有限公司 - 爬蟲工程師1-1.5萬
上海 - 浦東
上海問道云人工智能科技有限公司 - Python爬蟲架構(gòu)師（反爬/分布式系統(tǒng)）2-2.5萬·15薪
上海 - 浦東
上海騰道信息技術(shù)有限公司
熱門公司推薦
- 霸王茶姬招聘
- 肯德基招聘
- 順豐招聘
- 美團(tuán)招聘
- 京東招聘
- 餓了么招聘
- 比亞迪招聘
- 中國(guó)一汽招聘
- 北京汽車招聘
- 蔚來招聘
- 東風(fēng)汽車招聘
- 長(zhǎng)城汽車招聘
- 奇瑞汽車招聘
- 理想汽車招聘
- 長(zhǎng)鑫存儲(chǔ)招聘
- 天江藥業(yè)招聘
- 藍(lán)月亮招聘
- 安踏招聘
- TCL招聘
- 海信招聘
- 聯(lián)想招聘
- ?？低曊衅?/a>
- 寧德時(shí)代招聘
- 中興招聘
- 新松招聘
- 京東方招聘
- 申通招聘
- 圓通招聘
- 中通招聘
- 百世物流招聘
- 德邦物流招聘
- 麥當(dāng)勞招聘
- 星巴克招聘
- 海底撈招聘
- 蜜雪冰城招聘
- 瑞幸招聘
- 雀巢招聘
- 騰訊招聘
- 百度招聘
- 快手招聘
- 字節(jié)跳動(dòng)招聘
- 新華網(wǎng)招聘
- 小米招聘
- 招商銀行招聘
- 中信銀行招聘
- 北京銀行招聘
- 興業(yè)銀行招聘
- 交通銀行招聘
- 建發(fā)集團(tuán)招聘
- 中國(guó)移動(dòng)招聘
- 中國(guó)聯(lián)通招聘
- 中國(guó)電信招聘
- 中糧集團(tuán)招聘
- 國(guó)藥控股招聘
- 中廣核招聘
- 中國(guó)船舶招聘
- 強(qiáng)生中國(guó)招聘
- 匯豐中國(guó)招聘
- 宜家招聘
- 立邦中國(guó)招聘
- 伊利招聘
- 青島啤酒招聘
- 京港地鐵招聘
- 寶馬招聘
- 小鵬汽車招聘
- 華為招聘
- 特斯拉招聘
- 吉利招聘
- 奔馳招聘
- 海爾招聘
- 美的招聘
- 京東方招聘
- 施耐德電氣招聘
- 德邦物流招聘
職位發(fā)布者
趙艷艷/高級(jí)招聘經(jīng)理
昨日活躍立即溝通
上海騰道信息技術(shù)有限公司TENDATA INFO(騰道信息)，國(guó)際貿(mào)易B2B電子商務(wù)領(lǐng)域的創(chuàng)新者和領(lǐng)導(dǎo)者，全球知名貿(mào)易信息服務(wù)商和提供商，“信息創(chuàng)造財(cái)富”是TENDATA INFO為客戶創(chuàng)造財(cái)富與夢(mèng)想的動(dòng)力與起點(diǎn)，TENDATA INFO依靠強(qiáng)大的市場(chǎng)資源優(yōu)勢(shì)和卓越的技術(shù)團(tuán)隊(duì)，創(chuàng)建了北美、南美、亞、歐、非等五大洲，200多個(gè)國(guó)家和地區(qū)不斷更新的貿(mào)易渠道，結(jié)合電子商務(wù)和傳統(tǒng)國(guó)際貿(mào)易，為全球企業(yè)打造了及信息流、資金流、物流的綜合性在線貿(mào)易服務(wù)平臺(tái)。 TENDATA INFO創(chuàng)新的服務(wù)模式和飛快的發(fā)展速度吸引了眾多的國(guó)內(nèi)外風(fēng)險(xiǎn)投資商青睞,公司已經(jīng)獲得來自多家國(guó)際知名投資商的聯(lián)合注資，公司計(jì)劃將在未來2~3年內(nèi)在美國(guó)IPO。 05年公司在英國(guó)和香港成立了海外分支機(jī)構(gòu)正與國(guó)際化的運(yùn)轉(zhuǎn)模式及先進(jìn)理念拓展整個(gè)全球貿(mào)易電子商務(wù)市場(chǎng)，在穩(wěn)步發(fā)展中國(guó)市場(chǎng)的同時(shí)，向打造成為國(guó)際性貿(mào)易信息先導(dǎo)的戰(zhàn)略部署邁出了堅(jiān)實(shí)的步伐。 TENDATA INFO積聚了大批優(yōu)秀的國(guó)際貿(mào)易和互聯(lián)網(wǎng)業(yè)界的精英人士，組成了高素質(zhì)、專業(yè)化的管理團(tuán)隊(duì)和互聯(lián)網(wǎng)科研力量。目前我們處于事業(yè)的快速騰飛階段，希望有更多的精英人才加盟！
公司主頁