LLM推理優(yōu)化
崗位職責(zé):
1、負(fù)責(zé)大模型部署算法優(yōu)化;
2、負(fù)責(zé)設(shè)計(jì)和優(yōu)化大模型算法的推理技術(shù),如PD分離、投機(jī)推理等;
3、負(fù)責(zé)實(shí)現(xiàn)大模型推理的原型系統(tǒng),并結(jié)合算法和硬件優(yōu)化計(jì)算效率;
4、負(fù)責(zé)大模型推理算法在實(shí)際場(chǎng)景中的應(yīng)用和落地,提升產(chǎn)品和服務(wù)的智能化水平;
5、負(fù)責(zé)大模型推理算法的論文撰寫和投稿。
任職要求:
1、有MLsys相關(guān)框架工具開發(fā)經(jīng)驗(yàn);
2、熟悉PyTorch、熟悉一些推理框架(vLLM、SGLang、MLC-LLM等)以及框架最近進(jìn)展;
3、熟悉量化、投機(jī)推理、PD分離等常見LLM推理優(yōu)化技術(shù);
4、具備良好的編程能力,熟悉Python和C++;
5、有算子開發(fā)經(jīng)驗(yàn)及熟悉CUDA、cutlass、Triton等算子開發(fā)語(yǔ)言工具者優(yōu)先;
6、有MLsys相關(guān)會(huì)議論文發(fā)表經(jīng)驗(yàn)或開源項(xiàng)目貢獻(xiàn)經(jīng)驗(yàn)者優(yōu)先。