職位描述
反爬蟲分布式爬蟲數(shù)據(jù)爬蟲SPIDER-FLOWWebMagicScrapyPythonJavaGOGA行業(yè)云計(jì)算/大數(shù)據(jù)
一、崗位職責(zé)
1、基于內(nèi)部采集框架，熟悉采集架構(gòu)，熟悉開源數(shù)據(jù)采集程序方法策略，設(shè)計(jì)采集策略和防屏蔽規(guī)則，提升開源數(shù)據(jù)采集效率和質(zhì)量，能夠進(jìn)行論壇、網(wǎng)站等平臺(tái)信息的抓取和分析
2、深入了解采集平臺(tái)數(shù)據(jù)獲取邏輯，完成數(shù)據(jù)采集、解析處理、數(shù)據(jù)入庫等數(shù)據(jù)日常工作，完成數(shù)據(jù)采集規(guī)則編寫和維護(hù)
3、把握開源數(shù)據(jù)采集核心技術(shù)研究方向，研究優(yōu)化平臺(tái)，提升采集程序的穩(wěn)定性、可擴(kuò)展性，支撐相關(guān)單位的數(shù)據(jù)需求
二、任職要求
1、具備良好的計(jì)算機(jī)專業(yè)只是，有開源數(shù)據(jù)采集項(xiàng)目經(jīng)驗(yàn)
2、熟悉開源數(shù)據(jù)采集原理，負(fù)責(zé)或參與過日采集數(shù)據(jù)量過十萬規(guī)模的采集系統(tǒng)
3、熟悉scrapy、webmagic、spider-flow等開源數(shù)據(jù)采集框架
4、有較強(qiáng)的逆襲和解決問題能力，具備良好的溝通和團(tuán)隊(duì)寫作能力 5、特別優(yōu)秀人才，學(xué)歷可放寬至本科。
三、加分項(xiàng)
1、熟悉go語言，能夠使用golang開發(fā)應(yīng)用
工作地點(diǎn)
思明區(qū)福建省廈門市
熱門公司推薦
- 霸王茶姬招聘
- 肯德基招聘
- 順豐招聘
- 美團(tuán)招聘
- 京東招聘
- 餓了么招聘
- 比亞迪招聘
- 中國一汽招聘
- 北京汽車招聘
- 蔚來招聘
- 東風(fēng)汽車招聘
- 長城汽車招聘
- 奇瑞汽車招聘
- 理想汽車招聘
- 長鑫存儲(chǔ)招聘
- 天江藥業(yè)招聘
- 藍(lán)月亮招聘
- 安踏招聘
- TCL招聘
- 海信招聘
- 聯(lián)想招聘
- ?？低曊衅?/a>
- 寧德時(shí)代招聘
- 中興招聘
- 新松招聘
- 京東方招聘
- 申通招聘
- 圓通招聘
- 中通招聘
- 百世物流招聘
- 德邦物流招聘
- 麥當(dāng)勞招聘
- 星巴克招聘
- 海底撈招聘
- 蜜雪冰城招聘
- 瑞幸招聘
- 雀巢招聘
- 騰訊招聘
- 百度招聘
- 快手招聘
- 字節(jié)跳動(dòng)招聘
- 新華網(wǎng)招聘
- 小米招聘
- 招商銀行招聘
- 中信銀行招聘
- 北京銀行招聘
- 興業(yè)銀行招聘
- 交通銀行招聘
- 建發(fā)集團(tuán)招聘
- 中國移動(dòng)招聘
- 中國聯(lián)通招聘
- 中國電信招聘
- 中糧集團(tuán)招聘
- 國藥控股招聘
- 中廣核招聘
- 中國船舶招聘
- 強(qiáng)生中國招聘
- 匯豐中國招聘
- 宜家招聘
- 立邦中國招聘
- 伊利招聘
- 青島啤酒招聘
- 京港地鐵招聘
- 寶馬招聘
- 小鵬汽車招聘
- 華為招聘
- 特斯拉招聘
- 吉利招聘
- 奔馳招聘
- 海爾招聘
- 美的招聘
- 京東方招聘
- 施耐德電氣招聘
- 德邦物流招聘
職位發(fā)布者
劉先生/人事經(jīng)理
立即溝通
公安部第一研究所
公安部第一研究所是從事公安科學(xué)技術(shù)研究,為公安業(yè)務(wù)部門和社會(huì)公共安全領(lǐng)域提供技術(shù)、產(chǎn)品、工程和服務(wù)的綜合性研究所，建立于1960年初，至今走過了近50年的歷程，已發(fā)展成為公安部最大的直屬研究所，業(yè)務(wù)領(lǐng)域覆蓋安全檢查、安全防范與警用信息集成、證件與防偽、技術(shù)偵查、警用通信與指揮系統(tǒng)集成、特種警用裝備、信息安全、標(biāo)準(zhǔn)化與檢測等方面。進(jìn)入21世紀(jì)，科學(xué)技術(shù)迅猛發(fā)展，面對新形勢、新任務(wù)、新期待，我所進(jìn)一步明確定位，堅(jiān)持以“科技強(qiáng)警”為己任，以公安業(yè)務(wù)一線的需求為導(dǎo)向，積極開展科技創(chuàng)新，注重提高和完善公安技術(shù)手段與公共安全裝備技術(shù)，加大科技成果推廣力度，開發(fā)生產(chǎn)了大量用于公安和社會(huì)公共安全領(lǐng)域的高新技術(shù)產(chǎn)品，為維護(hù)社會(huì)穩(wěn)定和預(yù)防打擊犯罪做出了積極貢獻(xiàn)。作為一個(gè)現(xiàn)代化的研究所，我們非常重視開展國內(nèi)外技術(shù)交流與合作，與眾多的科研院所和高等院校建立了廣泛的學(xué)術(shù)交流和技術(shù)研發(fā)合作渠道。目前，我所擁有一支年齡、知識、專業(yè)結(jié)構(gòu)合理，富有朝氣的人才隊(duì)伍，為我所各項(xiàng)工作的全面發(fā)展奠定了堅(jiān)實(shí)的基礎(chǔ)。希望通過網(wǎng)站這個(gè)窗口，可以使您在第一時(shí)間了解我們，分享我所研究人員的科研成果，了解我所的學(xué)術(shù)交流和新產(chǎn)品動(dòng)態(tài)，得到及時(shí)的信息服務(wù)。在此，真誠希望社會(huì)各界對我們的工作繼續(xù)給予關(guān)心和指導(dǎo)，期盼與國內(nèi)外同仁開展全方位多層次的交流與合作。
公司主頁