職位描述
分布式爬蟲爬蟲
崗位職責(zé)：
1.參與爬蟲項目的架構(gòu)設(shè)計、研發(fā)、編程工作，改進和提升爬蟲效率；
2.負責(zé)爬蟲數(shù)據(jù)的分布式存儲設(shè)計及代碼實現(xiàn)；
3.負責(zé)網(wǎng)頁信息抽取、清洗、消重和結(jié)構(gòu)化處理等工作；
4.解決各類反爬問題，如字體加密、JS混淆、驗證碼、APP抓包和逆向工程;
5.對爬蟲數(shù)據(jù)進行數(shù)據(jù)處理、分析及匹配。
任職要求：
1.計算機相關(guān)專業(yè)，有三年以上 Python爬蟲經(jīng)驗，熟練 Python 語言；
2.熟練掌握selenium、html、js、css、xpath、正則表達式等數(shù)據(jù)采集與提取工具；
3.精通常見的反爬蟲技術(shù)如字體加密、js混淆、滑塊驗證、點選驗證、app逆向等；
4.精通scrapy爬蟲框架，對分布式爬蟲、海量數(shù)據(jù)采集有深刻理解;
5.熟悉 Django 、Flask等web框架，以及自動化開發(fā)經(jīng)驗者優(yōu)先考慮；
6.能熟練使用Linux、Mongo、ES、Redis、kafka等技術(shù)優(yōu)先考慮；
7.有激情和責(zé)任心，積極主動，具有良好的團隊協(xié)作、對外溝通能力，有良好的自學(xué)能力。提供 Github 或者博客地址，有開源項目貢獻者優(yōu)先考慮
工作地點
上海浦東新區(qū)浦江2162浦東南路2162號3樓C座
相似職位
- Python爬蟲架構(gòu)師（反爬/分布式系統(tǒng)）2-2.5萬·15薪
上海 - 浦東
上海騰道信息技術(shù)有限公司 - 資深爬蟲開發(fā)工程師（反爬與數(shù)據(jù)處理）2-2.5萬·15薪
上海 - 浦東
上海騰道信息技術(shù)有限公司 - 爬蟲工程師1-1.5萬
上海 - 浦東
上海問道云人工智能科技有限公司 - python高級爬蟲工程師2-2.5萬·15薪
上海 - 浦東
上海騰道信息技術(shù)有限公司 - 高級爬蟲工程師（反爬/分布式方向）2-2.5萬·15薪
上海 - 浦東
上海騰道信息技術(shù)有限公司 - python爬蟲工程師1.6-1.8萬
上海 - 浦東
中科創(chuàng)達軟件股份有限公司
熱門公司推薦
- 霸王茶姬招聘
- 肯德基招聘
- 順豐招聘
- 美團招聘
- 京東招聘
- 餓了么招聘
- 比亞迪招聘
- 中國一汽招聘
- 北京汽車招聘
- 蔚來招聘
- 東風(fēng)汽車招聘
- 長城汽車招聘
- 奇瑞汽車招聘
- 理想汽車招聘
- 長鑫存儲招聘
- 天江藥業(yè)招聘
- 藍月亮招聘
- 安踏招聘
- TCL招聘
- 海信招聘
- 聯(lián)想招聘
- ?？低曊衅?/a>
- 寧德時代招聘
- 中興招聘
- 新松招聘
- 京東方招聘
- 申通招聘
- 圓通招聘
- 中通招聘
- 百世物流招聘
- 德邦物流招聘
- 麥當(dāng)勞招聘
- 星巴克招聘
- 海底撈招聘
- 蜜雪冰城招聘
- 瑞幸招聘
- 雀巢招聘
- 騰訊招聘
- 百度招聘
- 快手招聘
- 字節(jié)跳動招聘
- 新華網(wǎng)招聘
- 小米招聘
- 招商銀行招聘
- 中信銀行招聘
- 北京銀行招聘
- 興業(yè)銀行招聘
- 交通銀行招聘
- 建發(fā)集團招聘
- 中國移動招聘
- 中國聯(lián)通招聘
- 中國電信招聘
- 中糧集團招聘
- 國藥控股招聘
- 中廣核招聘
- 中國船舶招聘
- 強生中國招聘
- 匯豐中國招聘
- 宜家招聘
- 立邦中國招聘
- 伊利招聘
- 青島啤酒招聘
- 京港地鐵招聘
- 寶馬招聘
- 小鵬汽車招聘
- 華為招聘
- 特斯拉招聘
- 吉利招聘
- 奔馳招聘
- 海爾招聘
- 美的招聘
- 京東方招聘
- 施耐德電氣招聘
- 德邦物流招聘
職位發(fā)布者
趙艷艷/高級招聘經(jīng)理
昨日活躍立即溝通
上海騰道信息技術(shù)有限公司TENDATA INFO(騰道信息)，國際貿(mào)易B2B電子商務(wù)領(lǐng)域的創(chuàng)新者和領(lǐng)導(dǎo)者，全球知名貿(mào)易信息服務(wù)商和提供商，“信息創(chuàng)造財富”是TENDATA INFO為客戶創(chuàng)造財富與夢想的動力與起點，TENDATA INFO依靠強大的市場資源優(yōu)勢和卓越的技術(shù)團隊，創(chuàng)建了北美、南美、亞、歐、非等五大洲，200多個國家和地區(qū)不斷更新的貿(mào)易渠道，結(jié)合電子商務(wù)和傳統(tǒng)國際貿(mào)易，為全球企業(yè)打造了及信息流、資金流、物流的綜合性在線貿(mào)易服務(wù)平臺。 TENDATA INFO創(chuàng)新的服務(wù)模式和飛快的發(fā)展速度吸引了眾多的國內(nèi)外風(fēng)險投資商青睞,公司已經(jīng)獲得來自多家國際知名投資商的聯(lián)合注資，公司計劃將在未來2~3年內(nèi)在美國IPO。 05年公司在英國和香港成立了海外分支機構(gòu)正與國際化的運轉(zhuǎn)模式及先進理念拓展整個全球貿(mào)易電子商務(wù)市場，在穩(wěn)步發(fā)展中國市場的同時，向打造成為國際性貿(mào)易信息先導(dǎo)的戰(zhàn)略部署邁出了堅實的步伐。 TENDATA INFO積聚了大批優(yōu)秀的國際貿(mào)易和互聯(lián)網(wǎng)業(yè)界的精英人士，組成了高素質(zhì)、專業(yè)化的管理團隊和互聯(lián)網(wǎng)科研力量。目前我們處于事業(yè)的快速騰飛階段，希望有更多的精英人才加盟！
公司主頁