職位描述
PythonFlinkSparkKafkaHive數(shù)據(jù)湖數(shù)據(jù)平臺
?數(shù)據(jù)采集與清洗?
從數(shù)據(jù)庫、API、日志文件等多元化數(shù)據(jù)源獲取原始數(shù)據(jù)，通過爬蟲或ETL工具完成自動化采集。
剔除無效數(shù)據(jù)（如空值、重復(fù)項），處理異常值，確保數(shù)據(jù)質(zhì)量符合分析標(biāo)準(zhǔn)79。
?數(shù)據(jù)轉(zhuǎn)換與加載?
使用SQL、Python或Spark進(jìn)行數(shù)據(jù)格式轉(zhuǎn)換（如JSON轉(zhuǎn)結(jié)構(gòu)化表）、字段合并及聚合計算。
將處理后的數(shù)據(jù)加載至數(shù)據(jù)倉庫（如Hive、Doris）或數(shù)據(jù)湖，保障數(shù)據(jù)的完整性和一致性。
?實時數(shù)據(jù)流處理?
基于Flink、Spark Streaming等技術(shù)搭建實時計算管道，處理Kafka等消息隊列中的流數(shù)據(jù)，支撐實時報表或業(yè)務(wù)預(yù)警。
二、?數(shù)據(jù)平臺與架構(gòu)建設(shè)?
?數(shù)據(jù)倉庫開發(fā)?
設(shè)計維度模型（星型/雪花模型），分層構(gòu)建ODS、DWD、DWS等數(shù)倉層級，優(yōu)化數(shù)據(jù)存儲結(jié)構(gòu)。
開發(fā)調(diào)度任務(wù)（如Airflow腳本），管理ETL作業(yè)的依賴關(guān)系與執(zhí)行時序。
?平臺運維與優(yōu)化?
工作地點
重慶市-南岸區(qū)-南坪西路23號805
相似職位
- 數(shù)據(jù)開發(fā)分析工程師1.6-2萬
重慶 - 渝北
浙江杰博人力資源股份有限公司 - 數(shù)據(jù)開發(fā)工程師（銀行）1.2-1.4萬
重慶 - 江北
深圳市法本信息技術(shù)股份有限公司 - 大數(shù)據(jù)工程師9000-18000元
重慶
重慶康洲大數(shù)據(jù)(集團(tuán))有限公司 - 報表開發(fā)工程師/實施工程師8000-12000元·13薪
重慶 - 渝北
智博融資租賃(深圳)有限公司 - 大數(shù)據(jù)開發(fā)工程師1-1.8萬
重慶 - 渝中
利寶保險有限公司 - 大數(shù)據(jù)工程師8000-15000元
重慶 - 渝北
浙江友華工程咨詢有限公司
熱門公司推薦
- 霸王茶姬招聘
- 肯德基招聘
- 順豐招聘
- 美團(tuán)招聘
- 京東招聘
- 餓了么招聘
- 比亞迪招聘
- 中國一汽招聘
- 北京汽車招聘
- 蔚來招聘
- 東風(fēng)汽車招聘
- 長城汽車招聘
- 奇瑞汽車招聘
- 理想汽車招聘
- 長鑫存儲招聘
- 天江藥業(yè)招聘
- 藍(lán)月亮招聘
- 安踏招聘
- TCL招聘
- 海信招聘
- 聯(lián)想招聘
- ?？低曊衅?/a>
- 寧德時代招聘
- 中興招聘
- 新松招聘
- 京東方招聘
- 申通招聘
- 圓通招聘
- 中通招聘
- 百世物流招聘
- 德邦物流招聘
- 麥當(dāng)勞招聘
- 星巴克招聘
- 海底撈招聘
- 蜜雪冰城招聘
- 瑞幸招聘
- 雀巢招聘
- 騰訊招聘
- 百度招聘
- 快手招聘
- 字節(jié)跳動招聘
- 新華網(wǎng)招聘
- 小米招聘
- 招商銀行招聘
- 中信銀行招聘
- 北京銀行招聘
- 興業(yè)銀行招聘
- 交通銀行招聘
- 建發(fā)集團(tuán)招聘
- 中國移動招聘
- 中國聯(lián)通招聘
- 中國電信招聘
- 中糧集團(tuán)招聘
- 國藥控股招聘
- 中廣核招聘
- 中國船舶招聘
- 強生中國招聘
- 匯豐中國招聘
- 宜家招聘
- 立邦中國招聘
- 伊利招聘
- 青島啤酒招聘
- 京港地鐵招聘
- 寶馬招聘
- 小鵬汽車招聘
- 華為招聘
- 特斯拉招聘
- 吉利招聘
- 奔馳招聘
- 海爾招聘
- 美的招聘
- 京東方招聘
- 施耐德電氣招聘
- 德邦物流招聘
職位發(fā)布者
梁女士/人事
三日內(nèi)活躍立即溝通
重慶航坤科技有限公司“航坤科技有限公司”隸屬于“現(xiàn)代金融控股（成都）有限公司”，均屬“中國國際能源集團(tuán)”名下投資企業(yè)。集團(tuán)總公司隸屬國企，由國務(wù)院批準(zhǔn)成立，注冊資金60億元人民幣，是一家以戰(zhàn)略投資和資源開發(fā)為主營，以資本運作為紐帶的多元化產(chǎn)業(yè)集團(tuán)。下轄六大業(yè)務(wù)板塊，業(yè)務(wù)主要覆蓋能源、金融、科技、礦業(yè)、文旅、健康等多個領(lǐng)域。公司總部位于北京，在國內(nèi)外擁有240余家分子公司、15000多名員工，年營業(yè)收入達(dá)到700億元。“航坤公司”主要經(jīng)營“銀行卡收單業(yè)務(wù)”，包含“互聯(lián)網(wǎng)收單”及“商家實體收款”，截止2019年，公司同1300多萬商家合作，年交易額達(dá)1000億以上，連續(xù)三年均完成集團(tuán)下達(dá)30%業(yè)績增長的目標(biāo)，年度凈利潤10億以上。公司目前已在20多個省市設(shè)立了30多家分公司，建立了完善的市場拓展及售后服務(wù)體系，同國內(nèi)3000余家代理商建立合作關(guān)系。公司積極響應(yīng)國家“大眾創(chuàng)業(yè)、萬眾創(chuàng)新”的號召，早于2015年提出了“員工創(chuàng)業(yè)計劃”：公司提供產(chǎn)品、資金等支持，全力培養(yǎng)優(yōu)秀員工成為核心代理商；截止2018年底，公司培養(yǎng)的600余名創(chuàng)業(yè)者已成功開辦800多家代理公司，為公司的發(fā)展提供了堅實的基礎(chǔ)；真正做到了“員工同企業(yè)共發(fā)展”的經(jīng)營理念。經(jīng)典案例：集團(tuán)經(jīng)過層層角逐，競標(biāo)成功為“成都公交集團(tuán)”提供了手機快捷支付解決方案：“天府通”，用戶下載天府通APP并掃描二維碼，即可支付公交車費，為公交集團(tuán)提供了先進(jìn)的收款方案，同時為1000萬蓉城市民出行提供便利。公司戰(zhàn)略：2022年達(dá)到年交易額3000億，年度凈利潤達(dá)30億以上。企業(yè)文化“用戶認(rèn)可產(chǎn)品、員工擁有發(fā)展、企業(yè)持續(xù)進(jìn)步”的三方共贏局面完善的人才培養(yǎng)計劃：業(yè)務(wù)：銷售專員→銷售組長→銷售主管→經(jīng)理→分公司總經(jīng)理客服：客服專員→客服組長→客服主管→客服經(jīng)理→客服總監(jiān)管理：培訓(xùn)生/儲備干部→見習(xí)主管→主管→部門經(jīng)理→總經(jīng)理行政人事：行政專員→分公司行政主管→行政經(jīng)理→行政總監(jiān)
公司主頁