職位描述:
1.數(shù)據(jù)清洗與加工:負(fù)責(zé)從各種數(shù)據(jù)源中提取、清洗和轉(zhuǎn)換數(shù)據(jù),確保數(shù)據(jù)的準(zhǔn)確性和一致性。
2.數(shù)據(jù)治理:制定和實(shí)施數(shù)據(jù)治理策略,確保數(shù)據(jù)的質(zhì)量、安全性和合規(guī)性。
3.知識庫構(gòu)建:設(shè)計(jì)和構(gòu)建本地知識庫,支持?jǐn)?shù)據(jù)的存儲、檢索和分析。
3.模型訓(xùn)練:參與機(jī)器學(xué)習(xí)模型的訓(xùn)練和優(yōu)化,支持?jǐn)?shù)據(jù)驅(qū)動的決策和自動化流程。
5.工具與技術(shù)棧:熟悉大數(shù)據(jù)處理工具(如Hadoop、Spark)、數(shù)據(jù)庫(如SQL、NoSQL)、數(shù)據(jù)清洗工具(如Pandas、PySpark)以及機(jī)器學(xué)習(xí)框架(如TensorFlow、PyTorch)。
技能要求:
1.編程語言:熟練掌握Python、Scala、Java等編程語言。
2.大數(shù)據(jù)技術(shù):熟悉Hadoop、Spark、Flink等大數(shù)據(jù)處理框架。
3.數(shù)據(jù)庫:熟悉SQL和NoSQL數(shù)據(jù)庫,如MySQL、PostgreSQL、MongoDB等。
4.數(shù)據(jù)清洗與ETL:有豐富的數(shù)據(jù)清洗和ETL(Extract, Transform, Load)經(jīng)驗(yàn)。
5.機(jī)器學(xué)習(xí):具備基本的機(jī)器學(xué)習(xí)知識,能夠參與模型的訓(xùn)練和優(yōu)化。
6.數(shù)據(jù)治理:了解數(shù)據(jù)治理的最佳實(shí)踐,熟悉數(shù)據(jù)質(zhì)量管理、元數(shù)據(jù)管理、數(shù)據(jù)安全等。
7.溝通能力:良好的溝通能力,能夠與業(yè)務(wù)部門和技術(shù)團(tuán)隊(duì)有效協(xié)作。
軟技能:
1.問題解決能力:能夠獨(dú)立解決復(fù)雜的數(shù)據(jù)問題。
2.團(tuán)隊(duì)合作:能夠在團(tuán)隊(duì)中協(xié)作,推動項(xiàng)目進(jìn)展。
3.學(xué)習(xí)能力:對新技術(shù),特別是AI新技術(shù)及工具有強(qiáng)烈的學(xué)習(xí)興趣,能夠快速掌握和應(yīng)用新工具。
4.會使用Cursor、MarsCode等AI輔助編程工具者,請準(zhǔn)備在面試時投屏演示講解;