崗位職責:
1.負責具身智能方向的多模態(tài)大模型研發(fā),包括視覺、語音、機器人控制等多模態(tài)感知與認知決策模塊的聯(lián)合建模;
2.設計、訓練和優(yōu)化具備語言、圖像、動作、環(huán)境狀態(tài)等多模態(tài)預訓練模型,推動模型的性能和泛化能力提升;
3.探索和研發(fā)多模態(tài)與動作決策的對齊機制,提升模型在真實機器人環(huán)境中的任務規(guī)劃與控制能力;
4.與機器人平臺團隊協(xié)作,實現(xiàn)模型的實際部署,進行仿真與真實環(huán)境下的驗證與迭代優(yōu)化;
5.跟蹤國際前沿技術與學術成果(如PaLM-E、RT-X、SayCan、Gato、VIMA、MineDojo等),及時推動最新研究成果在團隊內部的技術轉化。
任職資格:
1.計算機科學、人工智能、機器人學或相關領域碩士及以上學歷;
2.具備扎實的深度學習、多模態(tài)學習、強化學習等相關理論基礎;
3.有過多模態(tài)模型的訓練經驗(如LLaVA,QwenVL, InternVL, PaliGemma等);
4.有過多模態(tài)數(shù)據(jù)集或者測試集的構建經驗;
5.熟練掌握PyTorch、Jax等主流深度學習框架,有大模型訓練經驗者優(yōu)先;
6.具備優(yōu)秀的編程能力與工程實現(xiàn)能力,能獨立快速搭建原型并迭代;
7.較強的英文文獻閱讀和分析能力,能夠跟蹤和轉化前沿科研成果。
優(yōu)先考慮:
1.熟悉機器人仿真環(huán)境和平臺(如MuJoCo、Isaac Gym、Habitat、PyBullet等);
2.發(fā)表過NeurIPS、ICLR、CVPR、ICRA等領域頂級會議或期刊論文;
3.具備實際機器人平臺部署經驗(機械臂、移動機器人、服務機器人等);
4.開源過相關領域的代碼或工具。
5.有機器人操作學習(如模仿學習、強化學習、BC等)相關經驗,或參與過多模態(tài)(視覺-語言-動作)VLA預訓練大模型研發(fā)者優(yōu)先。