職位描述
1、負(fù)責(zé)爬蟲(chóng)系統(tǒng)的設(shè)計(jì)與開(kāi)發(fā),核心工作是編寫對(duì)應(yīng)java代碼或python腳本;
2、負(fù)責(zé)網(wǎng)頁(yè)信息和APP數(shù)據(jù)抽取、清洗、消重等工作,提升平臺(tái)的抓取效率;
3、實(shí)時(shí)監(jiān)控爬蟲(chóng)進(jìn)度和預(yù)警處理;
4、與產(chǎn)品部門和上級(jí)溝通確保數(shù)據(jù)的準(zhǔn)確性及時(shí)性;
5、了解項(xiàng)目需求和設(shè)計(jì),評(píng)審數(shù)據(jù)庫(kù)表結(jié)構(gòu)設(shè)計(jì);
6、參與需求評(píng)審,根據(jù)需求進(jìn)行數(shù)據(jù)采集工作;
任職要求:
1、本科及以上,計(jì)算機(jī)相關(guān)專業(yè),5年以上相關(guān)工作經(jīng)驗(yàn);
2、Mysql、python、scrapy、selenium、正則表達(dá)式、html;
3、熟悉java、python的爬蟲(chóng)框架;
4、熟練掌握 html、css、xpath、正則表達(dá)式、scrapy、selenium、pandas;
5、深入了解 HTTP,TCP/IP 網(wǎng)絡(luò)協(xié)議;
6、熟悉常見(jiàn)的反爬策略,有一定的研究和解決問(wèn)題的能力;
7、具備相關(guān)IT專業(yè)證書優(yōu)先;