给模型设定角色真的有用吗？我做了个对比实验

一直听说给模型设定角色（比如"你是一个资深xxx"）能提升回答质量，但没认真验证过。上周专门做了个对比，分享结果。 测试方法：同样的问题，分别用"不带角色"和"带角色设定"的 prompt 各跑 20 次，人工盲评质量。 测试场景 1：技术文档写作 不带角色 vs "你是一个有十年经验的技术写作专家" 结果：带角色的输出更结构化，措辞更专业，盲评胜率约 65%。 测试场景 2：代码 review 不带角色 vs "你是一个注重代码质量和安全性的高级工程师" 结果：带角色的更倾向指出潜在问题和边界情况，不带角色的更倾向说"代码没问题"。带角色胜率约 70%。 测试场景 3：日常问答 几乎没有区别，角色设定对简单问答帮助不大。 结论：角色设定对专业性强的任务有一定帮助，对日常问答基本没用。有点用，但没有网上说得那么神。角色描述要具体，"资深工程师"比"专家"更有效。