職位描述
1、負責LLM大語言模型評測工作,包括但不限于評測數(shù)據(jù)收集和更新、標注規(guī)則制定、標注培訓和規(guī)則拉齊、標注質量質檢以及評測報告輸出;
2、參與LLM大語言模型算法效果分析、問題挖掘歸因,找到模型的短板并針對性提出模型改進;
3、對LLM基座模型和應用模型進行效果評測,以及產品化后的端到端效果評測、質量驗收;
4、站在用戶角度,對產品、算法提出建設性的意見,在評測參與的各個流程中以用戶視角保證產品體驗;
5、參與行業(yè)前沿模型跟蹤和調研,并與自研模型完成周期性的競品對比。
任職要求
1、本科及以上學歷,計算機、通信、人工智能、大數(shù)據(jù)、統(tǒng)計等相關專業(yè)優(yōu)先;
2、有LLM評測、AI算法測試、LLM數(shù)據(jù)標注任一工作經驗優(yōu)先;
3、有自動化測試平臺使用工作經驗優(yōu)先;
4、有代碼編寫經驗優(yōu)先,或者能運行腳本處理一些簡單的數(shù)據(jù)文件優(yōu)先;
5、熟練使用word、excel等辦公工具;
6、具備良好的溝通和協(xié)作能力,嚴謹?shù)墓ぷ鲬B(tài)度與高質量意識,邏輯清晰、思維敏捷,善于分析與總結;
7、具備良好的數(shù)據(jù)化思維,能夠基于數(shù)據(jù)分析結果給出分析結論;
8、具備良好的視野,善于學習新的知識、動手能力強、有進取心,同時具備一定的抗壓能力;
9、具有3年以上工作經驗。
上班時間:
10:00-19:30,周末雙休
薪資福利:
綜合10-15k,面試定薪,五險一金