测试显示OpenAI GPT在简历排序中存在种族偏见

摘要： 本文作者钰鹤责任编辑毛毛雨在娱乐圈这个将绯闻当作家常便饭的地方影帝丁勇岱不仅在演技方面将角色塑造的炉火纯青同时在情感方面零绯闻以专一钟情出了名划重点实验发现在使用虚构姓名进行简历排...

本文作者|钰鹤责任编辑|毛毛雨在娱乐圈这个将绯闻当作家常便饭的地方，影帝丁勇岱不仅在演技方面将角色塑造的炉火纯青，同时在情感方面零绯闻，以“专一”“钟情“出了名。

**划重点:**

1. 🕵️‍♂️ **实验发现:** 在使用虚构姓名进行简历排序时显示出对特定人种的偏见，可能影响招聘决策。

2. 🌐 **技术应用:** 企业纷纷采用生成式AI工具进行简历筛选，但《彭博》分析发现最知名的生成式AI工具存在系统性的人种偏见。

3. 🤖 **OpenAI回应:** OpenAI回应称，企业使用其技术时通常采取措施减轻偏见，例如微调软件的响应，管理系统消息等。

3月8日 消息:《彭博》的实验表明，OpenAI GPT3.5在使用虚构姓名进行简历排序时存在明显的种族偏见。该实验通过从选民和人口普查数据中提取与特定种族或族裔关联至少90%的姓名，随机分配给同等资格的简历。

在对这些简历进行1，000次排序时，GPT3.5倾向于更频繁地偏向某些族裔的姓名，违反了评估对受保护群体的工作歧视的基准。实验涉及的四个职位（人力资源业务合作伙伴、高级软件工程师、零售经理和金融分析师）中，与黑人美国人相关的姓名在金融分析师和软件工程师角色中最不可能被GPT评为最优秀候选人。

实验还显示，GPT在不同职位下的性别和种族偏好存在差异。尽管GPT并不一致地偏向某一特定群体，但在不同情境下会选择赢家和输家。此外，使用较少使用的GPT-4进行测试时，同样发现了明显的偏见。

对于《彭博》的详细问题，OpenAI回应称，使用GPT模型“开箱即用”的结果可能不反映其客户使用模型的方式。企业在使用其技术时通常会采取进一步减轻偏见的措施，包括微调软件的响应、管理系统消息等。

尽管生成式AI技术在人力资源领域的应用引起了广泛关注，但这项实验强调了在使用这些技术进行招聘和聘用时可能出现的严重自动歧视风险。对AI模型的偏见进行调整仍然是AI公司和研究人员面临的主要挑战，而自动招聘系统可能进一步加剧企业多样性努力的难度。