. 參與車控算法的RD和開發(fā)項目,負責(zé)車控算法數(shù)倉建立、數(shù)據(jù)集成的工作;
2. 設(shè)計和開發(fā)高效、可擴展的ETL數(shù)據(jù)管道,優(yōu)化數(shù)據(jù)清洗、轉(zhuǎn)換和加載流程;
3. 參與數(shù)據(jù)倉庫(如Hive、ClickHouse)、實時數(shù)倉(如Flink、Kafka)的架構(gòu)設(shè)計與開發(fā);
4. 對接業(yè)務(wù)需求,開發(fā)數(shù)據(jù)服務(wù)接口,為數(shù)據(jù)分析、機器學(xué)習(xí)等場景提供高質(zhì)量數(shù)據(jù)支持;
5. 解決大數(shù)據(jù)集群的性能瓶頸,調(diào)優(yōu)Hadoop/Spark/Flink等框架的資源利用率與計算效率;
職位要求
1、本科及以上學(xué)歷,統(tǒng)計學(xué)、計算機科學(xué)等相關(guān)專業(yè)背景,5年;
2、精通Java/Scala/Python至少一門語言(其中python必選),熟悉Linux開發(fā)環(huán)境與腳本編程;
3、深入理解并掌握Hadoop生態(tài)(HDFS/YARN/MapReduce)及Spark/Flink計算引擎的開發(fā)應(yīng)用,有性能調(diào)優(yōu)經(jīng)驗;
4、熟悉數(shù)據(jù)倉庫建模理論(維度建模、分層設(shè)計),掌握Hive、HBase、Kafka等組件的原理與應(yīng)用;
5. 熟練使用OLAP引擎(如Doris、ClickHouse)和SQL優(yōu)化技巧;
6、熟練使用主流可視化工具(Superset,Davinci等 )設(shè)計開發(fā)數(shù)據(jù)看板;
7. 如能使用統(tǒng)計分析和機器學(xué)習(xí)技術(shù)對數(shù)據(jù)進行建模和分析者優(yōu)先;