職位描述
Python數(shù)據(jù)清洗數(shù)據(jù)挖掘爬蟲開發(fā)ScrapyDataStage
我們正在為我們另外一家公司尋找一位優(yōu)秀的爬蟲工程師，歡迎您的投遞和聯(lián)系。
崗位職責(zé)：
1、數(shù)據(jù)爬取：根據(jù)業(yè)務(wù)需求獲取政策法規(guī)、行業(yè)數(shù)據(jù)等外部數(shù)據(jù)；
2、數(shù)據(jù)清洗與處理：確保數(shù)據(jù)質(zhì)量，格式標(biāo)準(zhǔn)化；
3、知識庫構(gòu)建：構(gòu)建和維護(hù)RAG系統(tǒng)的向量數(shù)據(jù)庫；
4、數(shù)據(jù)管道搭建：自動化數(shù)據(jù)更新和處理流程；
5、數(shù)據(jù)質(zhì)量監(jiān)控：監(jiān)控?cái)?shù)據(jù)質(zhì)量，及時發(fā)現(xiàn)和修復(fù)問題。
任職要求:
1、技能要求：
數(shù)據(jù)爬蟲：Python爬蟲框架(Scrapy、BeautifulSoup)；
數(shù)據(jù)處理：Pandas、NumPy等數(shù)據(jù)處理庫；
向量數(shù)據(jù)庫：Pinecone、Weaviate、 Supabase Vector等；
數(shù)據(jù)清洗：文本處理、數(shù)據(jù)去重、格式標(biāo)準(zhǔn)化；
SQL和數(shù)據(jù)庫：PostgreSQL、數(shù)據(jù)建模；
爬蟲與數(shù)據(jù)清洗：Scrapy、BeautifulSoup、Pandas；
數(shù)據(jù)庫管理：Supabase、PostgreSQL；
數(shù)據(jù)可視化與監(jiān)控：Grafana、 Metabase。
2、良好的團(tuán)隊(duì)溝通能力，能將技術(shù)方案轉(zhuǎn)化為業(yè)務(wù)視角的說明。
工作地點(diǎn)
北京市-海淀區(qū)-丹棱街1號B座18層
相似職位
- 爬蟲數(shù)據(jù)采集工程師9000-16000元
北京 - 海淀
拓爾思信息技術(shù)股份有限公司 - python爬蟲-計(jì)算機(jī)本科-北京1.6-1.7萬
北京 - 海淀
博彥科技承德有限公司 - 反爬風(fēng)控工程師8000-9000元
北京 - 朝陽
深圳南區(qū)人瑞人力資源服務(wù)有限公司 - 中高級python爬蟲工程師2-3萬
北京 - 石景山
北京大享科技有限公司 - 爬蟲工程師1.5-2萬
北京 - 石景山
云邊沖浪(上海)信息發(fā)展有限公司 北京 - 朝陽
中軟國際
熱門公司推薦
- 霸王茶姬招聘
- 肯德基招聘
- 順豐招聘
- 美團(tuán)招聘
- 京東招聘
- 餓了么招聘
- 比亞迪招聘
- 中國一汽招聘
- 北京汽車招聘
- 蔚來招聘
- 東風(fēng)汽車招聘
- 長城汽車招聘
- 奇瑞汽車招聘
- 理想汽車招聘
- 長鑫存儲招聘
- 天江藥業(yè)招聘
- 藍(lán)月亮招聘
- 安踏招聘
- TCL招聘
- 海信招聘
- 聯(lián)想招聘
- 海康威視招聘
- 寧德時代招聘
- 中興招聘
- 新松招聘
- 京東方招聘
- 申通招聘
- 圓通招聘
- 中通招聘
- 百世物流招聘
- 德邦物流招聘
- 麥當(dāng)勞招聘
- 星巴克招聘
- 海底撈招聘
- 蜜雪冰城招聘
- 瑞幸招聘
- 雀巢招聘
- 騰訊招聘
- 百度招聘
- 快手招聘
- 字節(jié)跳動招聘
- 新華網(wǎng)招聘
- 小米招聘
- 招商銀行招聘
- 中信銀行招聘
- 北京銀行招聘
- 興業(yè)銀行招聘
- 交通銀行招聘
- 建發(fā)集團(tuán)招聘
- 中國移動招聘
- 中國聯(lián)通招聘
- 中國電信招聘
- 中糧集團(tuán)招聘
- 國藥控股招聘
- 中廣核招聘
- 中國船舶招聘
- 強(qiáng)生中國招聘
- 匯豐中國招聘
- 宜家招聘
- 立邦中國招聘
- 伊利招聘
- 青島啤酒招聘
- 京港地鐵招聘
- 寶馬招聘
- 小鵬汽車招聘
- 華為招聘
- 特斯拉招聘
- 吉利招聘
- 奔馳招聘
- 海爾招聘
- 美的招聘
- 京東方招聘
- 施耐德電氣招聘
- 德邦物流招聘
職位發(fā)布者
吳女士/人事經(jīng)理
剛剛活躍立即溝通
北京正合綠勢生態(tài)科技有限公司北京正合綠勢生態(tài)科技有限公司（以下簡稱正合綠勢），注冊資金2000萬人民幣。公司順應(yīng)全國碳市場建設(shè)和發(fā)展步伐，為各級政府、碳減排企業(yè)、重點(diǎn)排放企業(yè)及其他碳市場參與方提供核證減排量開發(fā)、碳履約、碳交易及碳中和實(shí)施路徑等全方位服務(wù)。公司自成立以來，憑借著高效卓越的服務(wù)水平和穩(wěn)健務(wù)實(shí)的經(jīng)營作風(fēng)，取得了一系列卓越成績，贏得了客戶的信任和市場的認(rèn)可，成為國內(nèi)碳產(chǎn)業(yè)綜合服務(wù)的主要參與力量。公司主營業(yè)務(wù)分為三大板塊：一是碳經(jīng)濟(jì)規(guī)劃與管理。正合綠勢服務(wù)于碳產(chǎn)業(yè)鏈上下游，針對不同客戶需求訂制服務(wù)方案，同時結(jié)合碳金融服務(wù)工具，幫助客戶實(shí)現(xiàn)碳資產(chǎn)利益最優(yōu)化及低成本履約。二是碳交易信息服務(wù)平臺。圍繞國家核證自愿減排量(CCER)等減排指標(biāo)，打造中國最具影響力的智慧化碳指標(biāo)線下撮合交易服務(wù)平臺，提升碳交易市場活躍度，幫助市場各參與方實(shí)現(xiàn)經(jīng)濟(jì)效益和社會效益的最優(yōu)化。三是上市公司合作與服務(wù)。通過與上市公司合作成立碳基金、幫助上市公司進(jìn)行碳能力建設(shè)、圍繞上市公司主營業(yè)務(wù)開展“碳中和”轉(zhuǎn)型及其自身“碳中和”實(shí)施路徑等方式，提升上市公司的綜合競爭力和社會影響力。
公司主頁