職位描述
1、負責LLM大語言模型評測工作,包括但不限于評測數據收集和更新、標注規則制定、標注培訓和規則拉齊、標注質量質檢以及評測報告輸出;
2、參與LLM大語言模型算法效果分析、問題挖掘歸因,找到模型的短板并針對性提出模型改進;
3、對LLM基座模型和應用模型進行效果評測,以及產品化后的端到端效果評測、質量驗收;
4、站在用戶角度,對產品、算法提出建設性的意見,在評測參與的各個流程中以用戶視角保證產品體驗;
5、參與行業前沿模型跟蹤和調研,并與自研模型完成周期性的競品對比。
任職要求
1、本科及以上學歷,計算機、通信、人工智能、大數據、統計等相關專業優先;
2、有LLM評測、AI算法測試、LLM數據標注任一工作經驗優先;
3、有自動化測試平臺使用工作經驗優先;
4、有代碼編寫經驗優先,或者能運行腳本處理一些簡單的數據文件優先;
5、熟練使用word、excel等辦公工具;
6、具備良好的溝通和協作能力,嚴謹的工作態度與高質量意識,邏輯清晰、思維敏捷,善于分析與總結;
7、具備良好的數據化思維,能夠基于數據分析結果給出分析結論;
8、具備良好的視野,善于學習新的知識、動手能力強、有進取心,同時具備一定的抗壓能力。
9、具有3年以上工作經驗。