崗位要求:
1.負責設計開發(fā)爬蟲系統以及優(yōu)化爬蟲策略,進行多平臺信息的抓取和分析
2.設計爬蟲策略和防屏蔽規(guī)則,完成對復雜網站和APP的信息抓取
3.參與業(yè)務功能需求探討,數據分析處理落地,并提供后端接口
任職資格:
1.熟悉web、APP抓取原理及技術,熟悉常用的爬蟲網絡框架及重要組件;
2.至少熟悉Python、Nodejs、Go等一種編程語言,熟練掌握MySQL、Redis等數據庫的使用
3.了解常見的反爬機制,能夠破解常見的反爬機制
4.了解抓包技巧,突破抓包驗證
5.具備優(yōu)秀的邏輯思維能力,對解決挑戰(zhàn)性問題充滿熱情,善于分析問題解決問題
加分項(非必須):
1.了解相關APP逆向技術、js逆向和相關調試工具
2.掌握軟件加密解密知識
3.了解反爬蟲相關技術棧
4.有機票行業(yè)相關經驗優(yōu)先