崗位職責(zé):
1、大模型推理開發(fā):負(fù)責(zé)大模型的服務(wù)化工作,包括模型部署、模型服務(wù)開發(fā),以維護(hù)和更新;
2、訓(xùn)練與推理加速:負(fù)責(zé)大模型的訓(xùn)練與推理加速工作,利用裁剪、量化、蒸餾等技術(shù),加速及優(yōu)化模型的推理效率,提升吞吐量,并解決推理性能瓶頸。
任職資格:
1、碩士研究生及以上學(xué)歷,計算機(jī)及相關(guān)專業(yè),具備五年以上相關(guān)工作經(jīng)驗;
2、編程語言與技能?:精通C++、Python、Go等編程語言,熟悉CPU/GPU架構(gòu)與工作原理,有深度學(xué)習(xí)系統(tǒng)研發(fā)經(jīng)驗,熟悉CUDA編程;
3、深度學(xué)習(xí)框架:熟悉主流深度學(xué)習(xí)框架如PyTorch、TensorFlow、PaddlePaddle等?;
4、大模型加速優(yōu)化工作經(jīng)驗:具有量化、剪枝、蒸餾等模型推理加速優(yōu)化的工作經(jīng)驗者優(yōu)先;掌握AI加速技術(shù)如TensorRT、TVM、VLLM等工作經(jīng)驗者優(yōu)先;
5、其他:具備快速學(xué)習(xí)能力和團(tuán)隊合作精神。