OpenAI计划建立「数据市场」，训出GPT-5短缺20万亿 token

摘要： 近年来人工智能发展迅速对于金融行业有一定的冲击但也伴随着一定的机遇作者从人工智能与数字化转型方向来讲解金融行业的挑战与机遇让我们一起来看看吧一对标斯坦福福耀科技大学来了日前西安交通...

近年来人工智能发展迅速，对于金融行业有一定的冲击，但也伴随着一定的机遇。作者从人工智能与数字化转型方向来讲解金融行业的挑战与机遇。让我们一起来看看吧～一、对标斯坦福？福耀科技大学来了！日前，西安交通大学校长王树国离任的消息在网络流传，在校师生及广大网友们纷纷表达不舍与惜别之情。随后，一张王树国...

划重点:

⭐️ AI 公司面临高质量数据短缺， 计划建立「数据市场」

⭐️ 数据供不应求可能导致人工智能发展受阻

⭐️ 公司探索合成数据训练方法以解决数据短缺问题

4月8日 消息:全网高质量数据集告急!据报道，AI 公司如 OpenAI、Anthropic 等正在努力寻找足够的信息来训练下一代人工智能模型。数据短缺问题日益突出，对训练下一代强大模型至关重要。面对这一挑战，AI 初创、互联网大厂开始寻找新的方法来解决算力和数据的瓶颈问题。

图源备注：图片由AI生成，图片授权服务商Midjourney

据悉，等强大系统的开发需要大量海量数据作为训练材料，然而高质量公共数据在互联网中已变得稀缺。

研究机构Epoch研究人员Pablo Villalobos估计，GPT-4是在多达12万亿个token上训练的。他继续表示，基于Chinchilla缩放定律的原理，如果继续遵循这样扩展轨迹，像这样的AI系统将需要60万亿-100万亿token的数据。也就是，利用所有可用的高质最语言和图像数据后，训出 GPT-5仍短缺20万亿 token。

一些数据所有者如 Reddit 等机构也制定政策限制 AI 公司访问数据，加剧了数据短缺的困境。为解决这一难题，一些公司正在尝试通过合成数据训练模型，但可能会面临「模型自噬障碍」等问题。

对于数据稀缺问题，AI 研究人员和公司纷纷寻求解决之道。OpenAI 的 Ari Morcos 指出，数据短缺是一个前沿的研究问题，他的公司 DatologyAI 致力于改进数据选择工具，以降低训练 AI 模型的成本。此外，OpenAI 还在讨论建立「数据市场」，通过确定数据点对模型训练的贡献来支付费用，以帮助缓解数据短缺问题。

数据短缺对 AI 发展构成重大挑战，各公司正在探索不同的方法来解决这一问题。从合成数据到建立数据市场，AI 领域正在不断寻求突破，以确保训练下一代强大人工智能模型所需的数据资源。