崗位職責(zé):
1、大模型優(yōu)化算法的研究與設(shè)計(jì):負(fù)責(zé)研究大模型領(lǐng)域(語(yǔ)言模型、多模態(tài)模型等)的優(yōu)化算法、網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化及改進(jìn)設(shè)計(jì)、大模型蒸餾訓(xùn)練,以及預(yù)訓(xùn)練研發(fā)任務(wù)等;
2、垂類(lèi)領(lǐng)域大模型研發(fā)與調(diào)優(yōu):負(fù)責(zé)針對(duì)專(zhuān)業(yè)領(lǐng)域場(chǎng)景和數(shù)據(jù),利用增量訓(xùn)練、微調(diào)訓(xùn)練、知識(shí)增強(qiáng)、超參數(shù)調(diào)整等技術(shù)訓(xùn)練垂類(lèi)領(lǐng)域大模型,提升模型性能,并維護(hù)線上模型的穩(wěn)定性,實(shí)現(xiàn)AI項(xiàng)目落地與交付;
3、大模型國(guó)產(chǎn)化性能優(yōu)化與適配:適配昇騰等國(guó)產(chǎn)硬件平臺(tái),優(yōu)化模型算子性能及分布式訓(xùn)練策;
4、技術(shù)探索與創(chuàng)新:跟蹤大預(yù)言模型、多模態(tài)大模型的預(yù)訓(xùn)練、大模型方向的最新成果,探索其在業(yè)務(wù)中的應(yīng)用價(jià)值。
任職資格:
1、碩士研究生及以上學(xué)歷,計(jì)算機(jī)及相關(guān)專(zhuān)業(yè);
2、具備五年以上相關(guān)工作經(jīng)驗(yàn)。參與過(guò)大模型相關(guān)開(kāi)發(fā)工作,包括但不限于:數(shù)據(jù)清洗、開(kāi)源模型實(shí)際微調(diào)、訓(xùn)練框架開(kāi)發(fā)、評(píng)測(cè)、推理部署等;
3、精通Python編程語(yǔ)言,熟悉Java等其他編程語(yǔ)言,熟悉常用框架如PyTorch,TensorFlow等深度學(xué)習(xí)框架;
4、熟悉大語(yǔ)言模型的增量預(yù)訓(xùn)練、指令微調(diào)、偏好微調(diào)等多種訓(xùn)練方法,有全場(chǎng)景訓(xùn)練實(shí)戰(zhàn)落地經(jīng)驗(yàn);
5、熟悉全參數(shù)、LoRA、QLoRA等微調(diào)方法,有微調(diào)場(chǎng)景落地經(jīng)驗(yàn);
6、熟悉DeepSpeed、flash-attn、vllm等大模型訓(xùn)練及推理加速方法;
7、熟悉數(shù)據(jù)收集、清洗和預(yù)處理的流程。有訓(xùn)練數(shù)據(jù)構(gòu)造落地經(jīng)驗(yàn)。