1. 數(shù)據(jù)平臺(tái)建設(shè):設(shè)計(jì)和搭建公司大數(shù)據(jù)平臺(tái),保障數(shù)據(jù)的高效存儲(chǔ)和處理。
2. 數(shù)據(jù)采集:負(fù)責(zé)數(shù)據(jù)的采集、清洗、轉(zhuǎn)換和加載,確保數(shù)據(jù)的準(zhǔn)確性和完整性。
3. 數(shù)據(jù)處理:開(kāi)發(fā)和維護(hù)數(shù)據(jù)處理腳本,實(shí)現(xiàn)數(shù)據(jù)的 ETL 流程和批處理。
4. 數(shù)據(jù)分析:對(duì)業(yè)務(wù)數(shù)據(jù)進(jìn)行分析和挖掘,支持業(yè)務(wù)團(tuán)隊(duì)的數(shù)據(jù)需求。
5. 優(yōu)化提升:優(yōu)化數(shù)據(jù)處理流程,提高數(shù)據(jù)處理的效率和穩(wěn)定性。
任職要求:
教育背景:計(jì)算機(jī)科學(xué)、數(shù)據(jù)科學(xué)、統(tǒng)計(jì)學(xué)、信息系統(tǒng)等相關(guān)專業(yè),本科及以上學(xué)歷。
專業(yè)技能:熟悉 Hadoop 生態(tài)系統(tǒng),包括 HDFS、MapReduce、Hive、HBase、Spark 等;精通 SQL,能熟練編寫(xiě)復(fù)雜的查詢語(yǔ)句,優(yōu)化數(shù)據(jù)庫(kù)性能;了解 NoSQL 數(shù)據(jù)庫(kù),如 MongoDB、Cassandra 等。
編程能力:熟練使用 Python 或 Java 進(jìn)行數(shù)據(jù)處理和腳本開(kāi)發(fā)。數(shù)據(jù)敏感性:對(duì)數(shù)據(jù)有強(qiáng)烈的敏感度,能夠從海量數(shù)據(jù)中發(fā)現(xiàn)問(wèn)題和機(jī)會(huì)。
溝通協(xié)作:能夠理解業(yè)務(wù)需求,與數(shù)據(jù)分析師和業(yè)務(wù)團(tuán)隊(duì)緊密合作。