国产一区二区免费,翔田千里AV,无码电影,红杏亚洲影院一区二区三区,国产精品欧美激情

更新于 6月4日

爬蟲(chóng)/數(shù)據(jù)開(kāi)發(fā)工程師

面議
  • 南京建鄴區(qū)
  • 5-10年
  • 本科
  • 全職
  • 招1人

雇員點(diǎn)評(píng)標(biāo)簽

  • 工作環(huán)境好
  • 同事很nice
  • 團(tuán)隊(duì)執(zhí)行強(qiáng)
  • 氛圍活躍
  • 人際關(guān)系好
  • 交通便利
  • 實(shí)力大公司
  • 吃住環(huán)境好

職位描述

爬蟲(chóng)開(kāi)發(fā)數(shù)據(jù)采集計(jì)算機(jī)軟件
崗位職責(zé) (1)負(fù)責(zé)服務(wù)端基于Java / Python編程技術(shù)實(shí)現(xiàn)系統(tǒng)內(nèi)外部數(shù)據(jù)同步、數(shù)據(jù)采集及數(shù)據(jù)分析等功能模塊的編碼工作,確保數(shù)據(jù)處理過(guò)程的代碼質(zhì)量與可維護(hù)性; (2)參與技術(shù)方案設(shè)計(jì),與項(xiàng)目經(jīng)理、前后端開(kāi)發(fā)、AI開(kāi)發(fā)協(xié)作,推動(dòng)數(shù)據(jù)采集需求與系統(tǒng)業(yè)務(wù)邏輯的精準(zhǔn)對(duì)接; (3)設(shè)計(jì)并開(kāi)發(fā)數(shù)據(jù)采集模塊,通過(guò)爬蟲(chóng)技術(shù)抓取外部公開(kāi)數(shù)據(jù),結(jié)合 ETL 工具實(shí)現(xiàn)數(shù)據(jù)同步,完成數(shù)據(jù)解析、清洗、轉(zhuǎn)換及結(jié)構(gòu)化入庫(kù); (4)遵循公司代碼規(guī)范,編寫(xiě)高可復(fù)用的爬蟲(chóng)與數(shù)據(jù)處理代碼,參與代碼審查,優(yōu)化數(shù)據(jù)采集性能(如分布式爬蟲(chóng)架構(gòu))與反爬策略(如 IP 池管理); (5)參與數(shù)據(jù)模塊的測(cè)試、聯(lián)調(diào)及上線工作,確保內(nèi)外部數(shù)據(jù)的一致性、準(zhǔn)確性,保障系統(tǒng)中數(shù)據(jù)相關(guān)功能的交付質(zhì)量。 任職資格 (1)本科或以上學(xué)歷,計(jì)算機(jī)科學(xué)、軟件工程、數(shù)據(jù)科學(xué)等相關(guān)專業(yè); (2)5 年及以上 Java 開(kāi)發(fā)經(jīng)驗(yàn),3 年及以上爬蟲(chóng)與數(shù)據(jù)開(kāi)發(fā)復(fù)合經(jīng)驗(yàn),具備爬蟲(chóng)類項(xiàng)目經(jīng)驗(yàn),具備企業(yè)級(jí)數(shù)據(jù)采集與處理的項(xiàng)目落地能力。有爬取過(guò)招標(biāo)類網(wǎng)站數(shù)據(jù)經(jīng)驗(yàn)者優(yōu)先考慮; (3)熟悉 Spring Boot、MyBatisplus開(kāi)發(fā)框架,能設(shè)計(jì)數(shù)據(jù)采集模塊與投標(biāo)系統(tǒng)的接口集成方案; (4)精通 MySQL/PostgreSQL 數(shù)據(jù)庫(kù),掌握索引優(yōu)化、分庫(kù)分表及數(shù)據(jù)建模,能設(shè)計(jì)爬蟲(chóng)與內(nèi)部數(shù)據(jù)的存儲(chǔ)架構(gòu);熟悉 Redis 緩存、Kafka 消息隊(duì)列,實(shí)現(xiàn)數(shù)據(jù)實(shí)時(shí)同步與異步處理; (5)精通 Scrapy、HttpClient 等爬蟲(chóng)框架,掌握 IP 池輪換、請(qǐng)求頻率控制、UA 隨機(jī)化等反爬技術(shù);熟悉 Selenium、Puppeteer 等,能抓取動(dòng)態(tài)頁(yè)面數(shù)據(jù);熟練使用 BeautifulSoup/JSoup 等解析 HTML,通過(guò)正則表達(dá)式提取關(guān)鍵信息;了解分布式爬蟲(chóng)架構(gòu)(如 Scrapy-Redis),具備 TB 級(jí)情報(bào)數(shù)據(jù)采集與處理經(jīng)驗(yàn); (6)熟悉 ETL 工具(如 Kettle、DataX)或其他數(shù)據(jù)同步框架,能完成企業(yè)內(nèi)部系統(tǒng)平臺(tái)的數(shù)據(jù)對(duì)接;熟悉數(shù)據(jù)清洗、轉(zhuǎn)換規(guī)則,能基于業(yè)務(wù)規(guī)范設(shè)計(jì)數(shù)據(jù)校驗(yàn)邏輯;掌握 SQL 優(yōu)化技巧,能編寫(xiě)復(fù)雜查詢語(yǔ)句實(shí)現(xiàn)數(shù)據(jù)關(guān)聯(lián)分析;了解數(shù)據(jù)可視化基礎(chǔ)(如 ECharts 圖表開(kāi)發(fā)),可配合前端展示數(shù)據(jù)采集結(jié)果; (7)熟練使用 Git 版本控制工具,理解前后端協(xié)作模式,具備容器化部署(Docker/Kubernetes)經(jīng)驗(yàn); (8)能夠適應(yīng)出差。

工作地點(diǎn)

南京建鄴區(qū)中通服咨詢?cè)O(shè)計(jì)研究院有限公司

職位發(fā)布者

劉女士/企業(yè)HR

昨日活躍
立即溝通
公司Logo中通服設(shè)計(jì)院公司標(biāo)簽
中通服咨詢?cè)O(shè)計(jì)研究院有限公司始建于1963年,系致力于通信、建筑、信息化、電力、節(jié)能環(huán)保的咨詢、設(shè)計(jì)、研究與實(shí)施的國(guó)家級(jí)重點(diǎn)高新技術(shù)企業(yè),住建部、工信部等政府部門國(guó)家標(biāo)準(zhǔn)和行業(yè)標(biāo)準(zhǔn)制定單位之一,通信運(yùn)營(yíng)商集團(tuán)總部主要技術(shù)支撐單位。國(guó)家發(fā)改委認(rèn)定的國(guó)家企業(yè)技術(shù)中心,江蘇省省長(zhǎng)質(zhì)量獎(jiǎng)獲獎(jiǎng)單位。公司以“成為國(guó)內(nèi)一流、國(guó)際有影響力的通信、建筑、信息化以及節(jié)能環(huán)保行業(yè)技術(shù)服務(wù)提供商”為愿景,多年來(lái)潛心傳承智慧網(wǎng)絡(luò),創(chuàng)意與靈感構(gòu)建無(wú)窮想象。公司定位于“新一代綜合智慧服務(wù)商”,以中國(guó)通服智慧城市工程院為載體,智慧城市總承包建設(shè)能力處于國(guó)內(nèi)領(lǐng)先地位。公司擁有一流的企業(yè)管理和有競(jìng)爭(zhēng)力的薪酬體系,奉行“以人為本”、“上善若水”的企業(yè)文化。公司注重員工能力的提升和職業(yè)生涯發(fā)展,培育出一批高素質(zhì)、高水平的學(xué)科帶頭人,期待優(yōu)秀的你與我們共同發(fā)展成長(zhǎng)!
公司主頁(yè)
国产成人99久久亚洲综合精品| 午夜福利国产精品久久| 在线播放无码高潮的视频| 97一区二区国产好的精华液| 日韩欧美日韩黄| 狠狠亚洲婷婷综合色香五月加勒比| 国产伦精品一区二区| 色 中文 亚洲| 国产精品大全| 激情丁香五月| 夜夜嗨av一区二区三区| 国产亚洲日本| 精品一区二区三区无码视频网| 99国产精品一二三区| 国产精品福利导航av| 你懂得的网站在线观看| 亚州欧美| 爱涩A∨| 久久无码专区| 色一情一乱一乱一区99av| 久久国产精品人人片| 大香蕉久操| 久久久久性色av无码一区二区 | 国产1页| 久久91中文字幕无码| 亚州,日韩,欧美变态另类一区| 五月丁香激情综合| 五月婷婷婷色| 蜜桃久久精品成人无码AV| 国产av三级| 亚洲综合视频| 亚洲一级无码毛片| h视频免费看| 免费国产精品久久久| 亚洲小说中文字幕在线观看| 中文一区小穴| 丁香伍月欧美| 超碰av国| 国产精品久久久久久| 欧美日韩精品黄片| 宝贝乖把胸罩脱了腿张开视频|