職位描述
1、負(fù)責(zé)LLM大語(yǔ)言模型評(píng)測(cè)工作,包括但不限于評(píng)測(cè)數(shù)據(jù)收集和更新、標(biāo)注規(guī)則制定、標(biāo)注培訓(xùn)和規(guī)則拉齊、標(biāo)注質(zhì)量質(zhì)檢以及評(píng)測(cè)報(bào)告輸出;
2、參與LLM大語(yǔ)言模型算法效果分析、問(wèn)題挖掘歸因,找到模型的短板并針對(duì)性提出模型改進(jìn);
3、對(duì)LLM基座模型和應(yīng)用模型進(jìn)行效果評(píng)測(cè),以及產(chǎn)品化后的端到端效果評(píng)測(cè)、質(zhì)量驗(yàn)收;
4、站在用戶角度,對(duì)產(chǎn)品、算法提出建設(shè)性的意見(jiàn),在評(píng)測(cè)參與的各個(gè)流程中以用戶視角保證產(chǎn)品體驗(yàn);
5、參與行業(yè)前沿模型跟蹤和調(diào)研,并與自研模型完成周期性的競(jìng)品對(duì)比。
任職要求
1、本科及以上學(xué)歷,計(jì)算機(jī)、通信、人工智能、大數(shù)據(jù)、統(tǒng)計(jì)等相關(guān)專業(yè)優(yōu)先;
2、有LLM評(píng)測(cè)、AI算法測(cè)試、LLM數(shù)據(jù)標(biāo)注任一工作經(jīng)驗(yàn)優(yōu)先;
3、有自動(dòng)化測(cè)試平臺(tái)使用工作經(jīng)驗(yàn)優(yōu)先;
4、有代碼編寫經(jīng)驗(yàn)優(yōu)先,或者能運(yùn)行腳本處理一些簡(jiǎn)單的數(shù)據(jù)文件優(yōu)先;
5、熟練使用word、excel等辦公工具;
6、具備良好的溝通和協(xié)作能力,嚴(yán)謹(jǐn)?shù)墓ぷ鲬B(tài)度與高質(zhì)量意識(shí),邏輯清晰、思維敏捷,善于分析與總結(jié);
7、具備良好的數(shù)據(jù)化思維,能夠基于數(shù)據(jù)分析結(jié)果給出分析結(jié)論;
8、具備良好的視野,善于學(xué)習(xí)新的知識(shí)、動(dòng)手能力強(qiáng)、有進(jìn)取心,同時(shí)具備一定的抗壓能力。
9、具有3年以上工作經(jīng)驗(yàn)。