一、崗位職責(zé)
1.負(fù)責(zé)使用Python開發(fā)高效、穩(wěn)定的網(wǎng)絡(luò)爬蟲程序,采集公開或授權(quán)的網(wǎng)絡(luò)數(shù)據(jù);
2.處理反爬機(jī)制(如驗(yàn)證碼、IP封禁、動(dòng)態(tài)渲染等)優(yōu)化爬蟲策略;
3.對(duì)采集的數(shù)據(jù)進(jìn)行清洗、去重、結(jié)構(gòu)化存儲(chǔ)(如MySQL、MongoDB、CSV等);
4.配合數(shù)據(jù)分析師或業(yè)務(wù)團(tuán)隊(duì),提供高質(zhì)量的數(shù)據(jù)支持;
5.編寫技術(shù)文檔,維護(hù)爬蟲代碼,優(yōu)化數(shù)據(jù)采集流程。
二、任職要求
1、本科及以上學(xué)歷優(yōu)先;
2、專業(yè)不限,計(jì)算機(jī)類專業(yè)優(yōu)先;
3、熟練掌握Python,熟悉Requests、Scrapy、BeautifulSoup、Selenium等爬蟲工具;
4、熟悉 HTML/CSS/JavaScript,能解析動(dòng)態(tài)網(wǎng)頁(yè),以及具備反爬應(yīng)對(duì)經(jīng)驗(yàn);
5、學(xué)習(xí)能力強(qiáng),主動(dòng)性高。