崗位職責(zé):
1. AI智能體算法研發(fā)與系統(tǒng)設(shè)計
1)主導(dǎo)基于大模型的自主決策、環(huán)境交互、多模態(tài)感知、長期記憶、工具調(diào)用(Function Calling)與持續(xù)學(xué)習(xí)等核心模塊研發(fā),構(gòu)建可進化的智能體系統(tǒng)。
2) 使用 Dify / LangGraph / LangChain / AutoGen 等框架搭建高可用AI Agent工作流,支持多智能體協(xié)作(Multi-Agent Collaboration)與動態(tài)任務(wù)調(diào)度。
3) 研發(fā)多模態(tài)智能體(文本+圖像+語音+視頻),實現(xiàn)跨模態(tài)對齊(如CLIP-style embedding)與聯(lián)合生成(如LLaVA、Flamingo等架構(gòu))。 優(yōu)化工具調(diào)用(API/函數(shù)調(diào)用)機制,支持復(fù)雜任務(wù)自動化(如數(shù)據(jù)分析+報告生成+可視化)。
2. 知識庫與智能體增強系統(tǒng)
1) 構(gòu)建行業(yè)級多模態(tài)知識庫,融合稠密檢索(DPR)+ 知識圖譜 + 語義路由技術(shù),支持復(fù)雜QA任務(wù)。
2) 開發(fā)自定義RAG系統(tǒng),優(yōu)化文檔/表格/公式/視頻幀的聯(lián)合檢索與推理能力。
3) 設(shè)計記憶管理模塊(如向量數(shù)據(jù)庫+時序數(shù)據(jù)庫混合存儲),實現(xiàn)長期上下文保持與動態(tài)更新。
3. 大模型訓(xùn)練與優(yōu)化
1) 基于LLaMA、CLIP、Whisper等架構(gòu),實施多模態(tài)聯(lián)合訓(xùn)練與領(lǐng)域適配。
2) 使用PyTorch/TensorFlow/JAX框架,結(jié)合Megatron-LM/DeepSpeed進行千億參數(shù)模型分布式訓(xùn)練。
3) 通過LoRA/P-Tuning等高效微調(diào)技術(shù),適配垂直場景需求。
4. 工程化落地與性能優(yōu)化
1) 使用FastAPI/Flask構(gòu)建低延遲API服務(wù)(P99延遲<200ms),支持流式響應(yīng)與異步任務(wù)。
2) 部署推理加速方案(vLLM/TensorRT-LLM),優(yōu)化GPU資源利用率。
3) 構(gòu)建多模態(tài)數(shù)據(jù)處理Pipeline(OpenCV/FFmpeg/Librosa),實現(xiàn)跨模態(tài)特征對齊。
崗位要求:
1. 熟悉大模型架構(gòu)和算法,具備自主決策、環(huán)境交互、多模態(tài)感知等研發(fā)經(jīng)驗。
2. 熟練使用Dify / LangGraph / LangChain / AutoGen 等框架。
3. 具備多模態(tài)智能體研發(fā)經(jīng)驗,掌握跨模態(tài)對齊和聯(lián)合生成技術(shù)。
4. 熟悉工具調(diào)用機制,有復(fù)雜任務(wù)自動化經(jīng)驗。
5. 精通知識庫構(gòu)建和增強系統(tǒng)開發(fā)。
6. 熟練使用PyTorch/TensorFlow/JAX等框架進行模型訓(xùn)練。
7. 掌握Megatron-LM/DeepSpeed等分布式訓(xùn)練技術(shù)。
8. 熟悉LoRA/P-Tuning等微調(diào)技術(shù)。
9. 有FastAPI/Flask等后端框架開發(fā)經(jīng)驗。
10. 熟悉推理加速方案和GPU資源優(yōu)化。
11. 具備多模態(tài)數(shù)據(jù)處理Pipeline構(gòu)建經(jīng)驗。