国产一区二区免费,翔田千里AV,无码电影,红杏亚洲影院一区二区三区,国产精品欧美激情

1. 負(fù)責(zé)業(yè)務(wù)算法的架構(gòu)支撐，實現(xiàn)推理模型部署的工程化能力，支持AI服務(wù)的高并發(fā)穩(wěn)定運(yùn)行。 2. 了解跨多卡的推理服務(wù)模式，能夠高效利用GPU資源，完成大模型的推理服務(wù)部署。 3. 負(fù)責(zé)設(shè)計和推動實現(xiàn)對推理服務(wù)的全鏈路監(jiān)控和診斷功能，落地監(jiān)控指標(biāo)，能夠定位和分析推理服務(wù)性能瓶頸并進(jìn)行優(yōu)化。 4. 能夠合理利用顯存、內(nèi)存、GPU、CPU等資源進(jìn)行組合優(yōu)化，不斷降低大模型部署成本。

1. 計算機(jī)相關(guān)專業(yè)，具有良好的計算機(jī)基礎(chǔ)理論和知識，3年以上相關(guān)工作經(jīng)驗。 2. 有大模型推理服務(wù)部署經(jīng)驗，了解Triton Server之類的推理服務(wù)框架。 3. 了解異構(gòu)并行計算模式，能夠利用kv cache、批量推理等技術(shù)手段提升模型推理計算效率。 4. 了解k8s資源調(diào)度的基礎(chǔ)原理和應(yīng)用。 5. 具有很強(qiáng)的自我學(xué)習(xí)更新能力，對算法工程相關(guān)的技術(shù)領(lǐng)域充滿興趣和熱情，良好的學(xué)習(xí)和溝通能力，有鉆研精神，用于挑戰(zhàn)新難題和創(chuàng)造新思路解決問題。