崗位職責:
1、負責數(shù)據中臺相關組件的開發(fā)工作;
2、制定數(shù)據治理方案,包括:數(shù)據清洗、數(shù)據規(guī)范、數(shù)據挖掘以及數(shù)據服務等方案的制定;
3、維護部門級大數(shù)據數(shù)據規(guī)范,包括:數(shù)據結構、數(shù)據字典、數(shù)據取值規(guī)范、數(shù)據共享規(guī)范等。
崗位要求:
1、統(tǒng)招本科及以上學歷,計算機相關專業(yè),工作年限5年以上,從事大數(shù)據工作3年以上;
2、熟練掌握Python、Java、Scala至少一門編程語言;
3、出色的業(yè)務學習能力、對于數(shù)據采集、加工、存儲、共享等數(shù)據架構處理都需要把控,精通各類大數(shù)據技術,如Hadoop、HBase、Hive、Kafka、Sqoop、flume、Spark、Sparkstream;掌握流處理技術,有Flink落地經驗者優(yōu)先;
4、熟悉各類數(shù)據庫、數(shù)據倉庫產品,包括RDBMS(如Oracle、Sqlserver、Mysql)、No-SQL、時序庫等,具備優(yōu)化Sql的能力;
5、了解DevOps,了解Docker等概念;
6、了解常用的機器學習算法。