崗位職責(zé)
1、負責(zé)公司爬蟲核心技術(shù)開發(fā),滿足公司對多源數(shù)據(jù)海量、實時、高質(zhì)量采集要求
2、積極主動思考探索爬蟲在實際業(yè)務(wù)中的價值,參與設(shè)計數(shù)據(jù)有效利用策略,從數(shù)據(jù)合理性、完整性角度提供建議
3、把握網(wǎng)絡(luò)爬蟲核心技術(shù)研究方向,研究優(yōu)化方向,提升爬蟲系統(tǒng)的穩(wěn)定性、可擴展性
4、設(shè)計爬蟲策略和防屏蔽規(guī)則,提升網(wǎng)頁抓取的效率和質(zhì)量
5、負責(zé)攻克實際業(yè)務(wù)中遇到的難題
任職要求
1、統(tǒng)招本科以上學(xué)歷,3年以上爬蟲項目經(jīng)驗
2、有豐富的web端逆向經(jīng)驗,對web端環(huán)境補全,算法還原有一定經(jīng)驗
3、熟練使用使用 App 逆向工具frida,ida,apktool,xposed, 還原算法,java 層、so 層調(diào)用等
4、熟悉linux系統(tǒng),熟悉mongodb,nosql(redis/kafka/rabbitmq),elasticsearch
5、充分的耐心以及靈活的頭腦