職位描述
反爬蟲分布式爬蟲爬蟲
崗位職責：
1.參與爬蟲項目的架構設計、研發(fā)、編程工作，改進和提升爬蟲效率；
2.負責爬蟲數(shù)據(jù)的分布式存儲設計及代碼實現(xiàn)；
3.負責網(wǎng)頁信息抽取、清洗、消重和結構化處理等工作；
4.解決各類反爬問題，如字體加密、JS混淆、驗證碼、APP抓包和逆向工程;
5.對爬蟲數(shù)據(jù)進行數(shù)據(jù)處理、分析及匹配。
任職要求：
1.計算機相關專業(yè)，有三年以上 Python 爬蟲經(jīng)驗，熟練 Python 語言；
2.熟練掌握selenium、html、js、css、xpath、正則表達式等數(shù)據(jù)采集與提取工具；
3.精通常見的反爬蟲技術如字體加密、js混淆、滑塊驗證、點選驗證、app逆向等；
4.精通scrapy爬蟲框架，對分布式爬蟲、海量數(shù)據(jù)采集有深刻理解;
5.熟悉 Django 、Flask等web框架，以及自動化開發(fā)經(jīng)驗者優(yōu)先考慮；
6.能熟練使用Linux、Mongo、ES、Redis、kafka等技術優(yōu)先考慮；
7.有激情和責任心，積極主動，具有良好的團隊協(xié)作、對外溝通能力，有良好的自學能力。提供 Github 或者博客地址，有開源項目貢獻者優(yōu)先考慮
工作地點
上海浦東新區(qū)浦江2162浦東南路2162號3樓C座
相似職位
- 資深爬蟲開發(fā)工程師（反爬與數(shù)據(jù)處理）2-2.5萬·15薪
上海 - 浦東
上海騰道信息技術有限公司 - Python爬蟲架構師（反爬/分布式系統(tǒng)）2-2.5萬·15薪
上海 - 浦東
上海騰道信息技術有限公司 - python爬蟲工程師1-1.2萬
上海 - 浦東
軟通動力信息技術(集團)股份有限公司 - 爬蟲工程師1-1.5萬
上海 - 浦東
上海問道云人工智能科技有限公司 - python爬蟲工程師1.6-1.8萬
上海 - 浦東
中科創(chuàng)達軟件股份有限公司 - python高級爬蟲工程師2-2.5萬·15薪
上海 - 浦東
上海騰道信息技術有限公司
熱門公司推薦
- 霸王茶姬招聘
- 肯德基招聘
- 順豐招聘
- 美團招聘
- 京東招聘
- 餓了么招聘
- 比亞迪招聘
- 中國一汽招聘
- 北京汽車招聘
- 蔚來招聘
- 東風汽車招聘
- 長城汽車招聘
- 奇瑞汽車招聘
- 理想汽車招聘
- 長鑫存儲招聘
- 天江藥業(yè)招聘
- 藍月亮招聘
- 安踏招聘
- TCL招聘
- 海信招聘
- 聯(lián)想招聘
- 海康威視招聘
- 寧德時代招聘
- 中興招聘
- 新松招聘
- 京東方招聘
- 申通招聘
- 圓通招聘
- 中通招聘
- 百世物流招聘
- 德邦物流招聘
- 麥當勞招聘
- 星巴克招聘
- 海底撈招聘
- 蜜雪冰城招聘
- 瑞幸招聘
- 雀巢招聘
- 騰訊招聘
- 百度招聘
- 快手招聘
- 字節(jié)跳動招聘
- 新華網(wǎng)招聘
- 小米招聘
- 招商銀行招聘
- 中信銀行招聘
- 北京銀行招聘
- 興業(yè)銀行招聘
- 交通銀行招聘
- 建發(fā)集團招聘
- 中國移動招聘
- 中國聯(lián)通招聘
- 中國電信招聘
- 中糧集團招聘
- 國藥控股招聘
- 中廣核招聘
- 中國船舶招聘
- 強生中國招聘
- 匯豐中國招聘
- 宜家招聘
- 立邦中國招聘
- 伊利招聘
- 青島啤酒招聘
- 京港地鐵招聘
- 寶馬招聘
- 小鵬汽車招聘
- 華為招聘
- 特斯拉招聘
- 吉利招聘
- 奔馳招聘
- 海爾招聘
- 美的招聘
- 京東方招聘
- 施耐德電氣招聘
- 德邦物流招聘
職位發(fā)布者
趙艷艷/高級招聘經(jīng)理
剛剛活躍立即溝通
上海騰道信息技術有限公司TENDATA INFO(騰道信息)，國際貿(mào)易B2B電子商務領域的創(chuàng)新者和領導者，全球知名貿(mào)易信息服務商和提供商，“信息創(chuàng)造財富”是TENDATA INFO為客戶創(chuàng)造財富與夢想的動力與起點，TENDATA INFO依靠強大的市場資源優(yōu)勢和卓越的技術團隊，創(chuàng)建了北美、南美、亞、歐、非等五大洲，200多個國家和地區(qū)不斷更新的貿(mào)易渠道，結合電子商務和傳統(tǒng)國際貿(mào)易，為全球企業(yè)打造了及信息流、資金流、物流的綜合性在線貿(mào)易服務平臺。 TENDATA INFO創(chuàng)新的服務模式和飛快的發(fā)展速度吸引了眾多的國內(nèi)外風險投資商青睞,公司已經(jīng)獲得來自多家國際知名投資商的聯(lián)合注資，公司計劃將在未來2~3年內(nèi)在美國IPO。 05年公司在英國和香港成立了海外分支機構正與國際化的運轉模式及先進理念拓展整個全球貿(mào)易電子商務市場，在穩(wěn)步發(fā)展中國市場的同時，向打造成為國際性貿(mào)易信息先導的戰(zhàn)略部署邁出了堅實的步伐。 TENDATA INFO積聚了大批優(yōu)秀的國際貿(mào)易和互聯(lián)網(wǎng)業(yè)界的精英人士，組成了高素質(zhì)、專業(yè)化的管理團隊和互聯(lián)網(wǎng)科研力量。目前我們處于事業(yè)的快速騰飛階段，希望有更多的精英人才加盟！
公司主頁