(一)崗位職責(zé)
1.負(fù)責(zé)分析項目所需要的數(shù)據(jù)采集與處理需求;
2.負(fù)責(zé)網(wǎng)頁信息、APP數(shù)據(jù)等采集、解析、處理和入庫;
3.研究策略和防屏蔽機(jī)制,解決關(guān)鍵技術(shù)難點(diǎn),提升數(shù)據(jù)抓取效率和質(zhì)量。
(二)崗位要求
1.碩士以上學(xué)歷,計算機(jī)信息系統(tǒng)及相關(guān)專業(yè),3年以上工作經(jīng)驗(yàn);工作經(jīng)驗(yàn)豐富者優(yōu)先;
2.熟悉Java/Python等主流語言,熟悉反爬蟲、驗(yàn)證碼識別、自然語言處理等技術(shù)者優(yōu)先;
3.對現(xiàn)有主流的網(wǎng)站、APP有一定數(shù)據(jù)采集經(jīng)驗(yàn);
4.具有外文數(shù)據(jù)采集、分析能力,有大規(guī)模數(shù)據(jù)采集與處理經(jīng)驗(yàn)者優(yōu)先;
5.擁有良好的發(fā)現(xiàn)、分析、解決問題的能力,學(xué)習(xí)能力強(qiáng),有責(zé)任感,具有團(tuán)隊精神與服務(wù)意識;研究策略和防屏蔽機(jī)制,解決關(guān)鍵技術(shù)難點(diǎn),提升數(shù)據(jù)抓取效率和質(zhì)量;
6.面試提供自己編寫的相關(guān)代碼案例。