職位描述
Python爬蟲開發(fā)云計(jì)算/大數(shù)據(jù)互聯(lián)網(wǎng)
崗位職責(zé)：
1、負(fù)責(zé)設(shè)計(jì)和開發(fā)高效、穩(wěn)定的網(wǎng)絡(luò)爬蟲系統(tǒng)，從各種數(shù)據(jù)源中抓取數(shù)據(jù)；
2、對(duì)抓取到的數(shù)據(jù)進(jìn)行清洗、去重、轉(zhuǎn)換等處理，確保數(shù)據(jù)的質(zhì)量和準(zhǔn)確性；
3、解決爬蟲過程中遇到的各種技術(shù)問題，如反爬機(jī)制、IP封鎖、驗(yàn)證碼識(shí)別等；
4、持續(xù)優(yōu)化爬蟲策略和算法，提高數(shù)據(jù)抓取的效率和覆蓋率；
5、與數(shù)據(jù)分析師、開發(fā)團(tuán)隊(duì)等合作，將抓取到的數(shù)據(jù)集成到公司的數(shù)據(jù)平臺(tái)或應(yīng)用中。
任職要求：
1、計(jì)算機(jī)、軟件工程等統(tǒng)招本科及以上學(xué)歷，具有2年及以上工作經(jīng)驗(yàn)；
2、熟練掌握至少一門編程語(yǔ)言 Python、Java 等，精通至少一種常用的爬蟲框架和工具，如 Scrapy、BeautifulSoup、Selenium（Python）、OkHttp；能夠獨(dú)立承擔(dān)爬蟲工作
3、熟悉 HTTP 協(xié)議、HTML、CSS、JavaScript 等，能夠分析網(wǎng)頁(yè)結(jié)構(gòu)和數(shù)據(jù)提取邏輯
4、熟悉數(shù)據(jù)庫(kù)操作，如 MySQL、MongoDB等；
5、熟悉分布式爬蟲架構(gòu)和技術(shù)，能夠應(yīng)對(duì)各種復(fù)雜的反爬機(jī)制；有大型分布式爬蟲系統(tǒng)（全網(wǎng)和垂直抓取）的開發(fā)經(jīng)驗(yàn)優(yōu)先；
6、對(duì)數(shù)據(jù)敏感，有數(shù)據(jù)分析和挖掘經(jīng)驗(yàn)者優(yōu)先；
7、熟悉主流爬取技術(shù)，如協(xié)議破解、模擬點(diǎn)擊、AST解混淆、app逆向等，能夠解決封賬號(hào)、封IP、驗(yàn)證碼等問題者優(yōu)先
8、具有良好的專業(yè)素養(yǎng)，有較好的學(xué)習(xí)能力，有分析問題、解決問題的能力，有較好的領(lǐng)悟力和執(zhí)行力；
9、工作積極互動(dòng)，責(zé)任心強(qiáng)，服從安排，身心健康，有一定的抗壓能力；
10、善于溝通，具備較好的團(tuán)隊(duì)合作精神。
工作地點(diǎn)
閔行區(qū)上海通用識(shí)別技術(shù)研究所-西門
相似職位
- 爬蟲工程師1-1.5萬(wàn)
上海 - 浦東
上海問道云人工智能科技有限公司 - python高級(jí)爬蟲工程師2-2.5萬(wàn)·15薪
上海 - 浦東
上海騰道信息技術(shù)有限公司 - python爬蟲工程師1-1.1萬(wàn)
上海 - 浦東
軟通動(dòng)力信息技術(shù)(集團(tuán))股份有限公司 - 資深爬蟲開發(fā)工程師（反爬與數(shù)據(jù)處理）2-2.5萬(wàn)·15薪
上海 - 浦東
上海騰道信息技術(shù)有限公司 - Python爬蟲架構(gòu)師（反爬/分布式系統(tǒng)）2-2.5萬(wàn)·15薪
上海 - 浦東
上海騰道信息技術(shù)有限公司 - python爬蟲工程師1.6-1.8萬(wàn)
上海 - 浦東
中科創(chuàng)達(dá)軟件股份有限公司
熱門公司推薦
- 霸王茶姬招聘
- 肯德基招聘
- 順豐招聘
- 美團(tuán)招聘
- 京東招聘
- 餓了么招聘
- 比亞迪招聘
- 中國(guó)一汽招聘
- 北京汽車招聘
- 蔚來(lái)招聘
- 東風(fēng)汽車招聘
- 長(zhǎng)城汽車招聘
- 奇瑞汽車招聘
- 理想汽車招聘
- 長(zhǎng)鑫存儲(chǔ)招聘
- 天江藥業(yè)招聘
- 藍(lán)月亮招聘
- 安踏招聘
- TCL招聘
- 海信招聘
- 聯(lián)想招聘
- 海康威視招聘
- 寧德時(shí)代招聘
- 中興招聘
- 新松招聘
- 京東方招聘
- 申通招聘
- 圓通招聘
- 中通招聘
- 百世物流招聘
- 德邦物流招聘
- 麥當(dāng)勞招聘
- 星巴克招聘
- 海底撈招聘
- 蜜雪冰城招聘
- 瑞幸招聘
- 雀巢招聘
- 騰訊招聘
- 百度招聘
- 快手招聘
- 字節(jié)跳動(dòng)招聘
- 新華網(wǎng)招聘
- 小米招聘
- 招商銀行招聘
- 中信銀行招聘
- 北京銀行招聘
- 興業(yè)銀行招聘
- 交通銀行招聘
- 建發(fā)集團(tuán)招聘
- 中國(guó)移動(dòng)招聘
- 中國(guó)聯(lián)通招聘
- 中國(guó)電信招聘
- 中糧集團(tuán)招聘
- 國(guó)藥控股招聘
- 中廣核招聘
- 中國(guó)船舶招聘
- 強(qiáng)生中國(guó)招聘
- 匯豐中國(guó)招聘
- 宜家招聘
- 立邦中國(guó)招聘
- 伊利招聘
- 青島啤酒招聘
- 京港地鐵招聘
- 寶馬招聘
- 小鵬汽車招聘
- 華為招聘
- 特斯拉招聘
- 吉利招聘
- 奔馳招聘
- 海爾招聘
- 美的招聘
- 京東方招聘
- 施耐德電氣招聘
- 德邦物流招聘
職位發(fā)布者
姬女士/人事招聘
剛剛活躍立即溝通
上?，F(xiàn)代通用識(shí)別技術(shù)有限公司
上海現(xiàn)代通用識(shí)別技術(shù)有限公司是專門從事高端證件的防偽設(shè)計(jì)和制作、個(gè)性化數(shù)碼印刷服務(wù)的國(guó)有企業(yè)，承擔(dān)過許多重要身份識(shí)別項(xiàng)目的設(shè)計(jì)研發(fā)工作，國(guó)家和地方重要證件的設(shè)計(jì)制作，并積極努力參與市場(chǎng)竟?fàn)?，為社?huì)開發(fā)了一系列相關(guān)技術(shù)產(chǎn)品。公司擁有先進(jìn)的管理系統(tǒng)，通過了具有"國(guó)際貿(mào)易通行證"之稱的ISO9001國(guó)際質(zhì)量體系認(rèn)證，保證了每個(gè)產(chǎn)品成本合理、質(zhì)量穩(wěn)定、性能可靠。公司擁有一批一流的研發(fā)人才保證了技術(shù)不斷創(chuàng)新，新品層出不窮。近些年來(lái)公司在技術(shù)創(chuàng)新方面取得了不斐的成績(jī)：證件塑卡防偽印刷方面：我們擁有一支高水平的設(shè)計(jì)、制版、印刷專業(yè)技術(shù)人才隊(duì)伍，在印刷防偽工藝上具有獨(dú)步的多方位的技術(shù)手段、配合先進(jìn)的設(shè)計(jì)軟件和一流的工藝設(shè)備，能夠?yàn)橛脩籼峁┚哂懈叻纻涡?、質(zhì)量上乘、數(shù)字準(zhǔn)確的高端防偽產(chǎn)品，如各種塑卡和紙質(zhì)證件和有價(jià)證（券）以及證書等。在防偽印刷工藝、技術(shù)和材料和的開發(fā)方面我們注重特種材料和特殊工藝的研究和開發(fā)，主要產(chǎn)品有：特種紙張、特種油墨、激光全息、裝幀材料、微型標(biāo)識(shí)等。在數(shù)碼印刷方面：我們擁有目前先進(jìn)的富士施樂數(shù)碼印刷機(jī)，可以為我們的客戶提供從各種數(shù)碼圖文設(shè)計(jì)、彩色黑白數(shù)碼快印、可變數(shù)據(jù)快印等個(gè)性化，同時(shí)提供全套的印后加工服務(wù)。在技術(shù)研發(fā)方面：擁有高技術(shù)研發(fā)人員，針對(duì)特定項(xiàng)目開展定制化研發(fā)服務(wù)。公司位于閔行區(qū)浦江鎮(zhèn)863軟件孵化基地內(nèi)，環(huán)境優(yōu)美、設(shè)施完備、配套齊全。除了通過ISO9001質(zhì)量管理體系的認(rèn)證、高新企業(yè)認(rèn)證外，我公司還具備上海市保密局下發(fā)的保密印刷的資質(zhì)，還擁有一支年輕，富有開拓創(chuàng)新精神的團(tuán)隊(duì)。今后我們還將不斷的健全經(jīng)營(yíng)機(jī)制，完善管理模式，優(yōu)化服務(wù)體系，竭誠(chéng)為您擔(dān)供優(yōu)質(zhì)便捷的服務(wù)。
公司主頁(yè)